具体实施方式

(构成)

图1示出的作为本发明的一实施方式的远程操作系统具备第1远程操作装置10、第2远程操作装置20和作业机械40。共通的作业机械40的远程操作主体可以在第1远程操作装置10以及第2远程操作装置20之间切换。

(作业机械的构成)

作业机械40具备作业机械控制装置400、拍摄装置401、无线通信机器402和工作机构440。作业机械控制装置400由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，将该数据作为对象执行依照该软件的运算处理。

作业机械40例如是履带挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)422。在上部回转体220的前方中央部设置有作业附件440。

作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。

动臂油缸442介于该动臂441和上部回转体420之间，使得其通过接受工作油的供给来伸缩，使动臂441在起落方向上转动。斗杆油缸444介于该斗杆443和该动臂441之间，使得其通过接受工作油的供给来伸缩，使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445和该斗杆443之间，使得其通过接受工作油的供给来伸缩，使铲斗445相对于斗杆443绕水平轴转动。

拍摄装置401例如设置于驾驶室422的内部，透过驾驶室422的前窗对包含工作机构440的至少一部分的环境进行拍摄。

在驾驶室422设有：实机侧操作杆，与构成第1远程操作装置10的操作杆(后述)对应；驱动机构或者机器人，从远程操作室接收与各操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。

(第1远程操作装置的构成)

第1远程装置10具备第1客户控制装置100、第1输入接口110和第1输出接口120。第1客户控制装置100由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并按照该软件以该数据为对象执行运算处理。第1输入接口110具备第1操作机构111和视线检测器112。第1输出接口120具备第1图像输出装置121和第1无线通信机器122。

在第1操作机构111包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆)。为了使铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。

例如，如图3所示，构成第1操作机构111的各操作杆配置在用于供操作员就座的座椅1100的周围。座椅1100是带扶手的高靠背椅这样的方式，也可以是没有头枕的低靠背椅这样的方式、或者是没有靠背的椅子这样的方式等操作员能够就座的任意的方式。

在座椅1100的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆110。一个操作杆可以兼作多种操作杆。例如，可以使在图3示出的设置于座椅1100的右侧框体的前方的右侧操作杆1111在沿前后方向操作的情况下作为动臂杆发挥作用，且在沿左右方向操作的情况下作为铲斗杆发挥作用。同样地，可以使在图3示出的设置于座椅1100的左侧框体的前方的左侧操作杆1112在沿前后方向操作的情况下作为斗杆杆发挥作用，且在沿左右方向操作的情况下作为回转杆发挥作用。可以根据操作员的操作指示任意地变更杆模式。

例如，如图3所示，第1图像输出装置121由分别配置于座椅1100的右斜前方、前方以及左斜前方的右斜前方图像输出装置1211、前方图像输出装置1212以及左斜前方图像输出装置1213构成。该图像输出装置1211～1213也可以进一步具备扬声器(语音输出装置)。

视线检测器112基于相对于就座于座椅1100的操作员的眼睛的基准点(不移动的部分)的动点(移动的部分)的位置，检测该操作员的视线。在确定“眼角”的位置作为基准点，且确定“虹膜”的位置作为动点的情况下，视线检测器112由一个或者多个可视光照相机构成。在确定“角膜反射”的位置作为基准点，且确定“瞳孔”的位置作为动点的情况下，视线检测器112由红外线LED以及红外线照相机的一组或者多组构成。除了检测操作员的眼睛的移动外，还可以检测操作员的头部的移动，并将视线检测器112的位置以及姿势变更至最适合捕捉操作员的视线的位置以及姿势。在该情况下，也可以切换为多个视线检测器112中的最适合捕捉操作员的视线的一个视线检测器112。

在由视线检测器112获取的拍摄图像中，确定与第1操作员的眼睛的基准点以及动点分别对应的像素区域。通过确定与该像素区域对应的实际空间位置，来确定表示实际空间中操作员的视线的矢量(起点位置以及终点位置)。为了确定眼睛的实际空间位置，也可以附加使用测距传感器。在表示实际空间中的图像输出装置1211～1213各自的显示图像坐标系的平面中，将与该矢量的交点确定为操作员的视线所朝向的显示图像中的关注区域的中心。

(第2远程操作装置的构成)

第2远程操作装置20具备第2客户控制装置200、第2输入接口210和第2输出接口220。第2客户控制装置200由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据作为对象执行依照该软件的运算处理。第2输入接口210具备第2操作机构211。第2输出接口220具备第2图像输出装置221和第2无线通信机器222。

在第2远程操作装置20的详细的构成中，除了将视线检测器112省略、以及后述的第2客户控制装置200的功能外，其与第1远程操作装置10的构成几乎相同，因此省略说明(参照图3)。

(功能)

在第1远程操作装置10中，由第1操作员进行规定的操作(图4/步骤102)。规定的操作例如是构成第1输入接口110或者第1操作机构111的按钮或者操作杆的操作。相应地，利用第1客户控制装置100通过第1无线通信机器122从第1远程操作装置10对作业机械40发送操作开始指令(图4/步骤104)。

同样地，在第2远程操作装置20中，由第2操作员进行规定的操作(图4/步骤202)。规定的操作例如是构成第2输入接口210或者第2操作机构211的按钮或者操作杆的操作。相应地，利用第2客户控制装置200通过第2无线通信机器222从第2远程操作装置20对作业机械40发送操作开始指令(图4/步骤204)。

在作业机械40中，利用作业机械控制装置400通过无线通信机器402接收操作开始指令(图4/步骤402)。相应地，作业机械控制装置400向拍摄装置401输出指令，根据该指令由拍摄装置401获取拍摄图像(图4/步骤404)。利用作业机械控制装置400通过无线通信机器402对第1远程操作装置10以及第2远程操作装置20发送表示该拍摄图像的拍摄图像数据(图4/步骤406)。

在第1远程操作装置10中，利用第1客户控制装置100通过第1无线通信机器122接收拍摄图像数据(图4/步骤106)。利用第1客户控制装置100，将与拍摄图像数据对应的环境图像(拍摄图像本身的全部或者一部分、或者基于其生成的模拟的环境图像)显示于第1图像输出装置121(图4/步骤108)。同样地，在第2远程操作装置20中，利用第2客户控制装置200通过第2无线通信机器122接收拍摄图像数据(图4/步骤206)。利用第2客户控制装置200，将与拍摄图像数据对应的环境图像显示于第2图像输出装置211(图4/步骤208)。由此，例如，如图5所示，将包含作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445以及斗杆油缸444的环境图像分别显示于第1图像输出装置121以及第2图像输出装置221。

在第1远程操作装置10中，由第1操作员操作第1操作机构111(图4/步骤110)，相应地，利用第1客户控制装置100通过第1无线通信机器122对作业机械40发送与该操作方式对应的操作指令(图4/步骤112)。

在作业机械40中，利用作业机械控制装置400通过无线通信机器402接收操作指令(图4/步骤408)。相应地，利用作业机械控制装置400控制作业附件440等的动作(图4/步骤410)。例如执行以下作业：利用铲斗445铲起作业机械40的前方的土，使上部回转体410回转后使土从铲斗445中掉落。

在第1远程操作装置10中，利用视线检测器112检测第1操作员的视线(图4/步骤114)。由此，确定显示于第1图像输出装置111的环境图像中的该第1操作员的关注区域。利用第1客户控制装置100通过第1无线通信机器122对第2远程操作装置20发送与该视线检测结果对应的视线检测数据(图4/步骤116)。

在第2远程操作装置20中，利用第2客户控制装置200通过第2无线通信机器222接收视线检测数据(图4/步骤210)。利用第2客户控制装置200使由该视线检测数据确定的图像区域比其他的图像区域突出显示于第2图像输出装置211(图4/步骤212)。例如，在第1操作员的视线乃至环境图像的关注区域是相当于铲斗445的图像区域的情况下，该图像区域作为“指定图像区域”，以比周围的图像区域更显眼的方式突出显示。

如图6A所示，指针(pointer)等图形可以重叠显示于包含相当于铲斗445的图像区域的指定图像区域S。如图6B所示，也可以显示包围相当于铲斗445的指定图像区域S的圆图形等图形。如图6C所示，也可以使包含相当于铲斗445的图像区域的矩形状的指定图像区域S的画质高于其他的图像区域的画质。由此，可以用彩色图像显示指定图像区域S，另一方面以灰度图像显示其他的图像区域。此外，可以用高于其他的图像区域的分辨率显示指定图像区域S。如图6D所示，可以使包含相当于铲斗445的图像区域的矩形状的指定图像区域S的亮度高于其他的图像区域的亮度。

(效果)

根据该构成的远程操作系统，从使通过第2远程操作装置20操作作业机械40的第2操作员掌握第1操作员所关注的对象的观点出发，可以将显示于第2图像输出装置221的环境图像中相比于周围的图像区域突出显示的指定图像区域作为适宜的信息提供给该第2操作员，来作为通过第1远程操作装置10操作作业机械40的第1操作员进行的作业机械40的远程操作方式(参照图4/步骤212以及图6A～图6D)。第2操作员能够通过对显示于第2图像输出装置221的环境图像中的突出显示的指定图像区域的视觉辨认，了解由第1操作员所进行的操作杆的动作方法或者操作方式。

(本发明的另一实施方式)

在所述实施方式中，第1远程操作装置10、第2远程操作装置20以及作业机械40依照无线通信方式直接地相互通信，但作为另一实施方式，也可以经由图7所示的远程操作服务器30使第1远程操作装置10、第2远程操作装置20以及作业机械40间接地相互通信。

远程操作服务器30具备第1服务器运算处理元件31和第2服务器运算处理元件32。第1服务器运算处理元件31从第1远程操作装置10接收与在第1远程操作装置10中检测到的操作员的视线对应的视线检测数据。第2服务器运算处理元件32通过对第2远程操作装置20发送视线检测数据，使指定图像区域以不同于其周围的图像区域的方式显示于第2图像输出装置221(参照图6A～图6D)。

附图标记说明

10 第1远程操作装置

20 第2远程操作装置

30 远程操作服务器

31 第1服务器运算处理元件

32 第2服务器运算处理元件

40 作业机械

100 第1客户控制装置

110 第1输入接口

111 第1操作机构

112 视线检测器

120 第1输出接口

121 第1图像输出装置

122 第1无线通信机器

200 第2客户控制装置

210 第2输入接口

211 第2操作机构

220 第2输出接口

221 第2图像输出装置

222 第2无线通信机器

401 拍摄装置

402 无线通信机器

440 作业附件(工作机构)。