具体实施方式

(构成)

图1示出的作为本发明的一实施方式的作业机械用周边监视装置100构成为，监视作业机械200的周边的状况，并根据该状况对通过操作装置400来操作作业机械200的操作员输出警报。作业机械用周边监视装置100具备第1检测元件111、第2检测元件112、控制元件120和多个输出装置130。

作业机械200例如是履带挖掘机(工程机械)，如图2以及图3所示，具备履带式的下部行驶体210、和经由回转机构230可回转地搭载于下部行驶体210的上部回转体220。在上部回转体220的前方左侧部设置有驾驶室(司机室)222。在上部回转体220的前方中央部设置有作业附件240。

作业附件240具备：动臂241，可起落地安装于上部回转体220；斗杆243，可转动地连结于动臂241的前端；铲斗245，可转动地连结于斗杆243的前端。在作业附件240安装有由可伸缩的液压油缸构成的动臂油缸242、斗杆油缸244以及铲斗油缸246。

动臂油缸242介于该动臂241和上部回转体14之间，使得其通过接受工作油的供给来伸缩，使动臂241在起落方向转动。斗杆油缸244介于该斗杆243和该动臂241之间，使得其通过接受工作油的供给来伸缩，使斗杆243相对于动臂241绕水平轴转动。铲斗油缸246介于该铲斗245和该斗杆243之间，使得其通过接受工作油的供给来伸缩，使铲斗245相对于斗杆243绕水平轴转动。

操作装置400包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了开动下部行驶体210而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构230的液压式回转电机进行动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸242进行动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸244进行动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使铲斗油缸246进行动作而操作铲斗用操作装置的操作杆(铲斗杆)。操作装置400具备用于以无线方式与搭载于作业机械200的实机侧无线通信装置进行通信的无线通信装置。

构成操作装置400的各操作杆设置在远程操作室中操作员就座的座椅402的周围。例如，如图4所示，可以在座椅402的前方，左右并排地配置有与左右的履带对应的左右一对的行驶杆410。座椅402是带扶手的高靠背椅这样的方式，也可以是没有头枕的低靠背椅这样的方式、或者是没有靠背的椅子这样的方式等操作员能够就座的任意的方式。

在驾驶室222设置有：实机侧操作杆，与设置于远程操作室的操作杆相对应；驱动机构或者机器人，从远程操作室接收与各操作杆的操作方式对应的信号，并基于该接收信号开动实机操作杆。实机侧操作杆可以由存在于驾驶室222的操作员直接操作。即，操作装置400可以由该实机操作杆和遥控阀构成，所述遥控阀从与操作方向相对应的端口输出与其操作量相对应的大小的先导压力。在该情况下，操作装置400可以构成为可通过有线方式而不是无线方式与作业机械200通信。

一个操作杆可以兼作多种操作杆。例如，在图4示出的设置于座椅402的右侧框体的前方的右侧操作杆420在沿前后方向操作的情况下作为动臂杆发挥作用，且在沿左右方向操作的情况下作为铲斗杆发挥作用。同样地，在图4示出的设置于座椅402的左侧框体的前方的左侧操作杆440在沿前后方向操作的情况下作为斗杆杆发挥作用，且在沿左右方向操作的情况下作为回转杆发挥作用。可以根据操作员的操作指示任意地变更杆模式。

第1检测元件111检测用于由操作员使作业机械200动作的操作装置400的操作状态。例如由传感器和运算处理装置构成第1检测元件111，该传感器输出与由弹簧或者弹性部件构成的弹压机构的变形量或者位移量对应的信号，该弹簧或者弹性部件以使操作杆复原至与操作量为0相对应的原位置以及姿势的方式起作用，所述运算处理装置基于该传感器的输出信号，除了对为了使上部回转体220从上方观察沿逆时针以某个速度回转而操作了回转杆的情况进行推定外，还对操作了动臂、斗杆以及铲斗等的情况进行推定。

也可以由先导压力传感器和运算处理装置构成第1检测元件111，所述先导压力传感器输出与先导压力对应的信号，该先导压力与实机侧操作杆的操作量对应，所述运算处理装置基于该先导压力传感器的输出信号，除了对为了使上部回转体220从上方观察沿逆时针以某个速度回转而操作了回转杆的情况进行推定外，还对操作了动臂、斗杆以及铲斗等的情况进行推定。

第2检测元件112检测存在于作业机械200的周围的物体的位置。第2检测元件112由分别配置于上部回转体220的右侧、前侧、左侧和后侧的右侧传感器C1、前方传感器C2、左侧传感器C3和后方传感器C4以及运算处理装置构成，所述运算处理装置基于传感器C1～C4各自发出的输出信号，确定位置以及姿势相对于上部回转体220固定的作业机械坐标系(X,Y,Z)(参照图3)中的物体的实际空间位置。传感器C1～C4各自例如由TOF方式的距离图像传感器构成。除了距离图像传感器外，传感器C1～C4各自也可以由CCD照相机等可对将亮度、色彩等距离以外的物理量设为像素值的图像进行感测的拍摄装置构成。

基于利用各传感器C1～C4得到的三维距离图像中的像素位置以及像素值(距离)，确定存在于该像素位置的物体的各传感器坐标系中的三维位置。基于各传感器坐标系中的物体的三维位置，根据表示作业机械坐标系中的各传感器C1～C4的位置以及姿势的坐标转换运算符(旋转矩阵或者四元数)，求出作业机械坐标系中的该物体的三维位置。

传感器C1～C4分别获取存在于图3所示的向上部回转体220的右侧、前方、左侧以及后方分别扩展的、大致扇形柱状的右侧检测对象空间A1、前方检测对象空间A2、左侧检测对象空间A3以及后方检测对象空间A4的各空间的物体的距离图像。期望右侧检测对象空间A1以及左侧检测对象空间A3各自分别与前方检测对象空间A2以及后方检测对象空间A4部分重叠，但是也可以不重叠。

例如，在上部回转体220绕Z轴逆时针回转的情况下，与存在于上部回转体220的左斜前方以及右斜后方的空间的物体接触的可能性变高(参照图8A)。在上部回转体220绕Z轴顺时针回转的情况下，与存在于上部回转体220的右斜前方以及左斜后方的空间的物体接触的可能性变高(参照图8B)。在作业机械200后退的情况下，与存在于作业机械200的后方的空间的物体接触的可能性变高(参照图8C)。

鉴于这些情况，在本实施方式中，如图5所示，将分别以上部回转体220的右斜前方、前方、左斜前方、左斜后方、后方以及右斜后方为基准扩展的大致扇形柱状的右斜前方对象空间S1、前方对象空间S2、左斜前方对象空间S3、左斜后方对象空间S4、后方对象空间S5以及右斜后方对象空间S6定义为“多个对象空间”。作业机械坐标系(X,Y,Z)中的对象空间S1～S6各自的延伸方式(表示一个或者多个边界面(平面或者曲面)的方程式)被保存至存储装置。与各空间相对应的大致扇形柱的上表面以及下表面分别可以是水平面(与X-Y平面平行的平面)，也可以是倾斜面。与各空间相对应的大致扇形柱的上表面以及下表面各自的重心的Z坐标值可以相同，也可以不同。

多个输出装置130各自以将作业机械200作为基准而与多个对象空间S1～S3各自的方位相对应的方式，分别配置在以作业机械200的驾驶空间即远程操作室(或者驾驶室222的内部空间)中操作员就座的座椅402(操作员的所在处)的座部为基准的右斜前方、前方、左斜前方、左斜后方、后方以及右斜后方的各个方位各自作为右斜前方输出装置131、前方输出装置132、左斜前方输出装置133、左斜后方输出装置134、后方输出装置135以及右斜后方输出装置136。输出装置131～133例如由显示器等图像输出装置和扬声器等语音输出装置构成，通过图像以及语音对操作员输出警报。输出装置134～136例如由扬声器等语音输出装置构成，通过语音对操作员输出警报。

在由第1检测元件111检测到第1操作状态作为操作装置400的操作状态、且由第2检测元件112检测到在对象空间A1～A4的任一个中存在物体的情况下，控制元件120使输出装置130以第1方式输出警报。在由第1检测元件111检测到不同于第1操作状态的第2操作状态作为操作装置400的操作状态、且由第2检测元件112检测到在对象空间A1～A4的任一个中存在物体的情况下，控制元件120使输出装置130以信息量多于第1方式的第2方式输出警报。

控制元件120由运算处理装置(单核处理器或者多核处理器、或者构成处理器的处理器内核)构成，从存储器等存储装置读取需要的数据以及软件，通过以该数据为对象执行根据该软件的运算处理，从而输出该运算处理结果。

(功能)

对上述构成的作业机械用周边监视装置100的功能进行说明。

由第1检测元件111检测操作员用于使作业机械200动作的操作装置400的操作状态(图6/步骤002)。

利用控制元件120判定由第1检测元件111检测到的操作状态是“第1操作状态”、“第2操作状态”以及“其他状态”中的哪一个(图6/步骤010)。例如，操作4个操作杆(动臂杆、铲斗杆、斗杆杆以及回转杆)中的第1操作杆(例如，铲斗杆以及斗杆杆中的至少一个杆)的状态属于“第1操作状态”。此外，操作4个操作杆中的第2操作杆(例如，回转杆以及动臂杆中的至少一个杆)的状态属于“第2操作状态”。在存在均不属于第1操作杆以及第2操作杆的操作杆的情况下，对该操作杆进行操作的状态属于“其他操作状态”。

在判定为由第1检测元件111检测到的操作状态为“第1操作状态”的情况下(图6/步骤010‥1)，表示操作状态的标志f被设定为“1”(图6/步骤012)。在判定为由第1检测元件111检测到的操作状态为“第2操作状态”的情况下(图6/步骤010‥2)，表示操作状态的标志f被设定为“2”(图6/步骤014)。在判定为由第1检测元件111检测到的操作状态为“其他操作状态”的情况下，本次控制周期中的一系列的处理结束。

在标志f被设定为“1”或者“2”的情况下，利用控制元件120判定对象空间中是否包含由第2检测元件112检测到的物体的位置(图6/步骤016)。

在判定为对象空间中不包含物体的位置的情况下(图6/步骤016‥“否”)，本次控制周期中的一系列的处理结束。在判定为对象空间中包含物体的位置的情况下(图6/步骤016‥“是”)，利用控制元件120判定标志f是1以及2中的哪一个(图6/步骤020)。

在标志f为1的情况下(图6/步骤020‥1)，利用控制元件120通过多个输出装置130输出第1方式的警报(图6/步骤022)。在构成输出装置131～133的显示器等图像输出装置显示作业机械200、对象空间以及存在于该对象空间的物体的鸟瞰图作为“第1方式的输出”。物体以及包含该物体的位置的对象空间中的至少一方可以通过色彩等的不同以从其他图像容易识别出的方式突出显示。

在标志f为2的情况下(图6/步骤020‥2)，利用控制元件120通过多个输出装置130输出第1方式的警报(图6/步骤024)。作为“第2方式的输出”，除了在构成输出装置131～133的显示器等图像输出装置显示作业机械200、对象空间以及存在于该对象空间的物体的鸟瞰图外，还从构成输出装置131～136的语音输出装置输出示出该物体存在的声音或者语音信息。也可以从输出装置131～136中、配置在驾驶空间中与实际空间中的物体所存在的对象空间相对应的方位的输出装置(指定输出装置)选择性地输出语音等警报。

(作用效果)

根据本发明的作业机械用周边监视装置，在操作员对操作装置400的操作状态为“第1操作状态”、且作业机械200的周围的对象空间中存在物体的情况下，以“第1方式”输出警报(图6/步骤010‥1→‥→步骤016‥“是”→‥→步骤022)。在操作员对操作装置400的操作状态为“第2操作状态”、且作业机械200的周围的对象空间中存在物体的情况下，以信息量多于第1方式的“第2方式”输出警报(图6/步骤010‥2→‥→步骤016‥“是”→‥→步骤024)。

由此，操作员对操作装置400的操作状态为“第1操作状态”的情况与操作员对操作装置400的操作状态为“第2操作状态”的情况相比，警报的信息量降低，与该降低的量相应地能够在避免或者抑制作业机械200的操作员的注意力减弱的同时，使作业机械200的操作员了解在作业机械200的周边有无物体。

(本发明的另一实施方式)

在上述步骤002中，操作状态的判定可以通过判定作业机械200的作业模式来进行。

在进行挖掘、装载、平地、回转等作业时作业机械200的机械速度较快的情况下不期望专注度下降。另一方面，对于作业机械200的移动速度较慢的作业，即使专注度下降也能够充分地进行应对。例如，在将作业机械200装载至拖车的作业、更换作业机械200的铲斗的作业、作业机械200的停机状态等中，由于作业机械200比较缓慢地进行动作，因此存在即使不以第2方式输出警报而是以第1方式发出警报也足够的情况。在这样的情况下，通过检测作业状态，能够检测到操作状态是“第1操作状态”。

在上述步骤002中，操作状态的判定可以包括判定反复动作的情况。例如，在反复进行将挖掘的泥沙装载至翻斗车等这样的作业的情况下，每次都对周边的障碍物等发出警报。由于操作员在反复作业时已经了解到周边的障碍物等，因此有时即使以第1方式发出警报也足够了。因此，在判定反复动作作为操作状态的情况下，能够检测到操作状态是“第1操作状态”。在该情况下也可以搭载如下功能：即，在检测到反复动作的情况下，能够选择是否将警报从第2方式改变为第1方式。例如，如果构成为能够通过在作业机械200的驾驶室内的显示装置等进行“连续检测到相同的对象物。是否解除检测？”这样的显示来询问“是”“否”而将警报从第2方式改变为第1方式，操作员若已经了解存在怎样的障碍物，就能够通过选择“是”来将警报改变为第1方式，能够通过选择“否”来维持第2方式的警报。此外，也可以在反复作业中检测到新的障碍物的情况下以第2方式发出警报。

也可以根据检测到的对象物的不同而使警报不同。可以根据对象物的性质的不同来改变警报声的音色，如果对象物是人则以脚步声、如果是卡车则以引擎声、如果是墙壁则以敲墙声等。

控制元件120也可以根据由第2检测元件112检测到的物体，使输出装置130以信息量多于第1方式的第2方式输出警报。根据该构成的作业机械用周边监视装置，通过根据物体而以信息量较多的第2方式输出警报，能够可靠地对要注意的物体发出警报。

也可以根据检测到的对象物的状况变化来改变警报。例如，在对象物为卡车等移动物体的情况下，在该移动物体停止时以第1方式发出警报，在该移动物体移动时将警报改变为第2方式，由此能够提高专注度。

即使在判定为上述对象空间中包含物体的位置的情况(图6/步骤016‥“是”)下、且标志f为1的情况(图6/步骤020‥1)下，也可以在检测到的物体是人的情况下以第2方式输出警报。

在该情况下，作业机械200除了具备对象物的检测机构外，还具备人的检测机构(例如，从照相机图像提取特征量来检测人的机构)。通过如上述那样起作用，能够对要特别提高专注度的与人相关的信息以信息量较多的第2方式输出警报。

在上述实施例中，流程为在步骤010中判定为其他作业状态的情况下不发出警报，但是也可以设为输出第1或者第2方式的警报。

可以通过以下方式控制该警报的输出方式：将多重围绕作业机械200的基准点或者基准轴线的多个环状空间分别定义为与多个对象空间中的任一个重复，越是在该多个环状空间中接近基准点的环状空间中存在物体的情况下，从输出装置130输出的警报的等级(了解的容易度或者注意唤起力)越高。

如图7A所示，可以定义将上部回转体220相对于下部行驶体210的回转轴线作为基准点的同心圆环状的多个环状区域R11～R14。如图7B所示，可以定义将上部回转体220相对于下部行驶体210的回转轴线作为基准点的同心矩形环状的多个环状区域R21～R23。也可以将作业机械200的驾驶空间即远程操作室(或者驾驶室222的内部空间)中操作员就座的座椅402(操作员的所在处)的座部作为基准点，定义多个环状区域。

例如，即使由物体的位置的时间序列决定的物体相对于作业机械的相对位置的变化方式相同，也可以控制警报的输出方式，使得相比于该物体的位置包含在环状区域R14的情况，在该物体的位置包含在环状区域R13的情况下警报的输出等级变得更高。

附图标记说明

100 作业机械用周边监视装置

111 第1检测元件

112 第2检测元件

120 控制元件

130 输出装置

131 右斜前方输出装置

132 前方输出装置

133 左斜前方输出装置

134 左斜后方输出装置

135 后方输出装置

136 右斜后方输出装置

200 作业机械

400 操作装置

402 座椅(操作员的所在处)

A1 右侧检测对象空间

A2 前方检测对象空间

A3 左侧检测对象空间

A4 后方检测对象空间

C1 右侧传感器

C2 前方传感器

C3 左侧传感器

C4 后方传感器

S1 右斜前方对象空间

S2 前方对象空间

S3 左斜前方对象空间

S4 左斜后方对象空间

S5 后方对象空间

S6 右斜后方对象空间。