阅读说明：本技术 操作引导系统 (Operation guidance system ) 是由 寺田彻 戎野聪一 岩野贤治 于 2018-05-15 设计创作，主要内容包括：本发明提供一种操作引导系统,不管操作人员的位置如何,均能以易于理解的方式提供操作对象的动作方向。操作引导系统(101)具有：操作终端(2),接受操作人员对机器(8)的可动部件(9)的操作指示,并检测能够接受操作指示的操作准备状态；图像传感器(31),沿着操作人员的视线进行拍摄；位置关系推定部(321),推定操作人员与机器(8)之间的位置关系；指引显示模型生成部(322),若操作终端(2)检测到操作准备状态,则根据所述位置关系,在与操作人员观察到机器(8)的方向对应的方向上生成动作方向指示图像,所述动作方向指示图像表示根据操作指示而动作的可动部件(9)动作的方向；图像合成部(324),将所述动作方向指示图像与通过图像传感器(31)拍摄到的所述可动部件的拍摄图像合成；影像输出设备(33),显示合成图像。(The invention provides an operation guidance system which can provide the motion direction of an operation object in a manner of easy understanding regardless of the position of an operator. An operation guidance system (101) comprises: an operation terminal (2) that receives an operation instruction from an operator to a movable member (9) of a machine (8), and detects an operation preparation state in which the operation instruction can be received; an image sensor (31) that takes an image along the line of sight of the operator; a positional relationship estimation unit (321) that estimates the positional relationship between the operator and the machine (8); a guidance display model generation unit (322) that, when the operation terminal (2) detects an operation preparation state, generates, based on the positional relationship, an operation direction instruction image that indicates the direction in which the movable member (9) that is operated in response to the operation instruction moves in a direction corresponding to the direction in which the operator views the machine (8); an image synthesis unit (324) that synthesizes the motion direction instruction image with the image of the movable member captured by the image sensor (31); and a video output device (33) for displaying the composite image.)

操作引导系统

技术领域

本发明涉及一种对操作对象的操作进行引导的操作引导系统。

背景技术

以往，在对包括可动部件的机器等的操作中，为了易于理解地向操作人员提示操作内容，会进行显示来引导操作。

作为这样的操作引导的例子，可以举出使用增强现实(AR：Augmented Reality)技术在操作对象的图像上叠加并显示操作指导另外，专利文献1公开了一种机器人操作系统，其根据所获取的用户位置和视野信息，生成可识别地表示机器人的动作状态的线图像，将该线图像在眼镜型显示器中与用户的视野叠加显示。

另外，专利文献2公开了一种头戴式显示器，其具有能够半压操作和全压操作的按压型开关，在对按压型开关进行全压操作前，显示通过半压操作选择的按压型开关的设置位置。

另外，专利文献3公开了一种对具有可动部件的机器人进行远程操作的操作装置。若该操作装置检测到开关操作小于规定的操作量，则通过颜色使表示与该开关操作对应地工作的可动部件的可动部位图像能够区分于未工作的其他可动部件的可动部位图像而被识别地进行显示。

现有技术文献

专利文献

专利文献1：日本公开专利公报“特开2017-100204号(2017年6月8日公开)”

专利文献2：日本公开专利公报“特开2008-70817号(2008年3月27日公开)”

专利文献3：日本公开专利公报“特开2011-161586号(2011年8月25日公开)”

发明内容

发明要解决的技术问题

在使用增强现实技术的系统和专利文献1所公开的机器人操作系统中，通过确定操作人员与操作对象之间的位置关系，能够在操作对象位置、指定部位显示用于引导的信息。但是，通过操作人员基于这样的信息而执行的操作，无法在操作对象的动作之前通知操作人员操作对象是怎样移动的。

另外，专利文献2所公开的头戴式显示器无法确定操作人员与操作对象之间的位置关系。操作人员与操作对象之间的位置关系不同，操作人员所观察到的操作对象的动作方向也不同。因此，该头戴式显示器无法确定并通知操作人员操作对象的动作方向。

另外，专利文献3所公开的装置能够直观地显示成为操作人员的操作对象的可动部件的动作方向。但是，远程操作机器人的可动部件的操作装置配置在固定位置，所以，操作装置与机器人之间的位置关系无法反映在可动部件的动作方向上。所以，存在当操作人员不停留在固定位置操作可动部件时，难以根据操作人员的位置了解移动方向的问题。

例如，当如图8(a)所示使用操作终端301操作起重机300时，如图8(b)所示，按下操作终端301的开关时的起重机300的移动方向通过文字显示在操作指导图像上。

但是，操作人员观察到的起重机300的移动方向随着操作人员的位置而不同。所以，即使通常以相同状态表示起重机300的移动方向，但是，例如，如果操作人员向与起重机300相反位置移动，则对于操作人员而言操作指导图像所表示的起重机300的移动方向变为反向，难以把握操作方向。

本发明的一个方式的目的在于，不管操作人员的位置如何，均能以易于理解的方式提供操作对象的动作方向。

用于解决技术问题的手段

为了解决上述课题，本发明的一个方式的操作引导系统是一种引导操作人员操作包括作为操作对象的可动部件的可动装置的操作引导系统，所述操作引导系统具有：操作装置，接受操作人员对所述可动部件的操作指示，并检测能够接受所述操作指示的操作准备状态；拍摄装置，拍摄位于操作人员的视线方向上的拍摄对象物；推定部，推定操作人员与所述可动装置之间的位置关系；图像生成部，若所述操作装置检测到所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据所述操作指示而动作的所述可动部件动作的方向；图像合成部，生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动部件的拍摄图像合成的合成图像；显示装置，显示所述合成图像。

发明效果

根据本发明的一个方式，能够不管操作人员的位置如何，均能以易于理解的方式提供操作对象的动作方向。

附图说明

图1是表示本发明的第一实施方式的操作引导系统的结构的框图。

图2是表示上述操作引导系统所具有的头戴式显示器上设置的计算处理装置的结构的框图。

图3是表示上述操作引导系统的动作顺序的流程图。

图4(a)～图4(c)中，图4(a)是表示操作人员对被操作引导系统作为操作对象的起重机的可动部件进行操作的状态的立体图，图4(b)是通过上述操作引导系统表示包括上述可动部件的动作方向的操作指导图像的图，图4(c)是表示其他操作指导图像的图。

图5(a)～(d)是表示被上述操作引导系统作为操作对象的机械手的操作指导图像的图。

图6是表示本发明的第二实施方式的操作引导系统的结构的框图。

图7是表示本发明的第三实施方式的操作引导系统的结构的框图。

图8(a)～图8(b)中，图8(a)是表示操作人员对被以往的系统作为操作对象的起重机的可动部件进行操作的状态的立体图，图8(b)是通过上述系统表示包括上述可动部件的动作方向的操作指导图像的图。

具体实施方式

〔第一实施方式〕

基于图11～图5对本发明的第一实施方式进行如下说明。

图1是表示本实施方式的操作引导系统101的结构的框图。

如图1所示，操作引导系统101具有机器控制装置1(控制装置)、操作终端2(操作装置)、头戴式显示器(以下，称作“HMD”)3。

首先，对机器控制装置1所控制的机器8(可动装置)进行说明。机器8包括分别至少为一个的可动部件9和致动器10。可动部件9设置为能够沿规定方向在规定范围内移动。致动器10是驱动可动部件9的装置，其个数与移动可动部件9的方向(轴)的数量相对应。

机器控制装置1是控制机器8(致动器10)的动作的装置。机器控制装置1具有输入部11、控制部12、输出部13。

输入部11是输入来自操作终端2的信息和来自HMD3的信息的界面部分。

控制部12根据从输入部11输入的信息生成用于控制机器8的机器控制信息(控制信息)。作为机器控制信息，可举出机器8的动作模式、各种设定、致动器10的当前位置、致动器10的当前角度等。

输出部13是输出来自控制部12的机器控制信息的界面部分。

操作终端2是用于输入操作人员操作机器8的操作指示的装置。操作终端2具有开关21和接触式传感器22。

开关21是输入操作指示的按压操作型输入设备，通过操作人员的按压操作而进行打开(ON)动作。开关21输出表示已执行按压操作的开关信息。开关21的个数与操作种类相对应。

开关21可以是机械式开关，也可以是由触摸面板构成的开关。由触摸面板构成的开关21可以使用在操作人员手指触碰前便能够检测该位置的悬浮检测型触摸面板。若使用这样的开关21，则可以不使用接触式传感器22。

接触式传感器22设置在开关21上，通过静电容量的变化等检测操作人员的手指对开关21的触碰。接触式传感器22输出接触式传感器信息，该接触式传感器信息表示检测到操作人员手指已触碰的检测结果。

作为检测手指对开关21的触碰的传感器，除接触式传感器22外，还能够使用光电传感器、两段式开关等。

另外，取代开关21和接触式传感器22，操作终端2可以具有使能开关和操作开关。可以在仅按压操作开关时，如后述那样显示指引显示模型，可以在同时按压使能开关和操作开关时，启动机器8。

若识别操作准备状态，则操作终端2向外部输出从接触式传感器22输出的接触式传感器信息。操作准备状态是操作人员的手指虽触碰开关21但是没有将开关21按压至打开(ON)程度的状态，是能够接受操作指示的状态。另外，操作终端2在操作人员的手指以打开(ON)程度按压开关21的状态下接受操作指示，作为开关信息向外部输出从开关21输出的打开(ON)信号。

此外，作为操作装置，还能够使用一种在仅按压一次的情况下不作为操作被接受、按压两次才作为操作被接受的开关。在使用这样的开关的情况下，第一次操作相当于操作准备状态。

HMD3是头戴式显示装置。HMD3具有图像传感器31(拍摄装置)、计算处理装置32、影像输出设备33(显示装置)、存储部34。

图像传感器31是一种拍摄存在于佩戴有HMD3的操作人员面朝方向的拍摄对象物并输出拍摄图像信息的传感器。图像传感器31拍摄位于操作人员视线方向(面部朝向)上的拍摄对象。

计算处理装置32根据输入信息生成合成图像，所述合成图像是在操作人员所看到的机器8的图像上叠加显示指引显示模型。作为输入到计算处理装置32的输入信息，可以举出来自图像传感器31的拍摄图像信息、来自机器控制装置1的机器控制信息、来自操作终端2的开关信息及接触式传感器信息、存储在后述存储部34的机器模型信息等。另外，计算处理装置32根据从图像传感器31获取的拍摄图像信息，向机器控制装置1的输入部11发送表示操作人员正在视觉辨认机器8的视觉辨认信息。

影像输出设备33是一种将从计算处理装置32输出的合成图像显示在操作人员眼前的设备(液晶显示器等)。

存储部34由存储器等构成，存储有机器模型信息。机器模型信息是表示机器8的整体形状、可动部件9的形状等的信息，可以使用CAD(计算机辅助设计：Computer AidedDesign)数据等。

此外，也可以设置为能够从外部获取机器模型信息。

接下来，详细说明计算处理装置32。图2是表示计算处理装置32的结构的框图。

如图2所示，计算处理装置32具有位置关系推定部321(推定部)、指引显示模型生成部(以下，称作“模型生成部”)322(图像生成部)、坐标变换部323(图像生成部)、图像合成部324。

位置关系推定部321根据来自图像传感器31的拍摄图像信息，推定操作人员与机器8之间的位置关系。具体而言，位置关系推定部321从拍摄图像信息识别机器8的图像的大小，通过比较对照作为标准的机器8的图像的大小与距离之间的关系以及识别出的图像的大小，来计算操作人员与机器8之间的距离。另外，位置关系推定部321根据与识别出的图像的正面所成的倾斜度来计算操作人员相对于机器8的正面的角度(方向)。位置关系推定部321输出计算出的距离和角度作为位置关系的推定信息。根据位置关系推定部321所推定的位置关系，能够确定操作人员观察机器8的方向。

另外，位置关系推定部321也可以根据来自图像传感器31的拍摄图像信息之外的信息，推定操作人员与机器8之间的位置关系。

作为这样的信息，例如，可以举出用机器8上设置的照相机所拍摄的操作人员的面部图像信息。机器8根据操作人员的面部图像进行面部认证，通过机器控制装置1向HMD3发送认证为是允许操作机器8的操作人员的操作人员的面部图像。位置关系推定部321根据从照相机获取的操作人员的面部图像，以与基于上述来自图像传感器31的拍摄图像信息的位置关系推定方法同样的方法来推定操作人员与机器8之间的位置关系。

另外，作为上述信息，可以举出利用在设置有机器8的房间的屋顶等设置的多个照相机所拍摄到的操作人员的图像信息。位置关系推定部321通过解析从各个照相机获取的多个图像信息，确定操作人员面向的方向和操作人员与机器8之间的距离，从而，推定操作人员与机器8之间的位置关系。

进一步，作为上述信息，可以举出由GPS(全球定位系统：Global Posi tioningSystem)得到的操作人员和机器8的位置检测信号。位置关系推定部321根据这样的位置检测信号推定操作人员与机器8之间的位置关系。

模型生成部322生成表示引导机器8的操作的指引显示模型的三维模型数据。指引显示模型是一种表示机器8的可动部件9按照操作人员对开关21的操作而动作的方向等的模型。模型生成部322根据从存储部34获取的机器模型信息、从机器控制装置1获取的机器控制信息、从操作终端2获取的开关信息及接触式传感器信息生成三维模型数据。

坐标变换部323变换模型生成部322生成的三维模型数据的坐标，以在与操作人员观察机器8的方向相应的方向上显示指引显示模型。为了这样显示指引显示模型，坐标变换部323根据能够确定操作人员观察机器8的方向的上述位置关系，变换三维模型数据的坐标。

图像合成部324合成三维模型数据和拍摄图像信息(拍摄图像数据)，以使坐标变换后的三维模型数据与拍摄图像叠加。图像合成部324向影像输出设备33输出合成后的合成图像数据。

对如上述那样构成的操作引导系统101的动作进行说明。图3是表示操作引导系统101的动作顺序的流程图。

如图3所示，首先，在HMD3中，计算处理装置32获取来自图像传感器31的拍摄图像信息(步骤S1)。然后，计算处理装置32获取来自机器控制装置1的机器控制信息(步骤S2)，进而，从操作终端2获取接触式传感器信息(步骤S3)。

位置关系推定部321解析包含于拍摄图像信息的拍摄图像数据，推定相对于机器8的拍摄位置和拍摄角度(步骤S4)。位置关系推定部321通过推定拍摄位置和拍摄角度来推定操作人员与机器8之间的位置关系。

拍摄位置是操作人员所佩戴的HMD3拍摄到机器8时操作人员的位置。拍摄角度是操作人员面对机器8的部分相对于机器8的正面的倾斜角度。

计算处理装置32的位置关系推定部321根据拍摄图像信息，判断机器8是否位于图像传感器31所拍摄的范围即操作人员的视野内(步骤S5)。若位置关系推定部321判断为机器8位于操作人员的视野内(步骤S5的“是”)，则通知机器控制装置1允许操作机器8(步骤S6)。位置关系推定部321通过发出机器8的视觉辨认状态的信息(正在视觉辨认这一信息)来通知允许操作。

其中，计算处理装置32根据来自接触式传感器22的接触式传感器信息的有无，来判断接触式传感器22是否打开(ON)(步骤S7)。若计算处理装置32判断接触式传感器22为打开(ON)状态(步骤S7的“是”)，则模型生成部322根据输入信息生成三维模型数据(步骤S8)。

模型生成部322由接触式传感器信息确定操作人员所触碰的开关21。另外，模型生成部322使用机器模型信息生成表示由所确定的开关21操作的可动部件9动作的方向的图像的图像数据，来作为三维模型数据。另外，模型生成部322以由机器控制信息确定的可动部件9的当前位置为标准，确定配置三维模型的位置。

通过坐标变换部323根据推定出的操作人员与机器8之间的位置关系变换三维模型数据的坐标，图像合成部324合成变换坐标后的三维模型数据和拍摄图像数据，从而，输出合成图像数据(步骤S9)。

坐标变换部323由上述位置关系识别从操作人员的位置到机器8的距离、相对于机器8的正面操作人员面对机器8的角度，并主要根据角度，识别三维模型相对于操作人员表示的方向。并且，坐标变换部323根据该方向，计算用于确定三维模型数据中的方向的方向确定坐标，将变换前的方向确定坐标替换为计算出的方向确定坐标。

例如，当三维模型是箭头时，方向确定坐标是箭头顶端的坐标和箭头后端的坐标。因此，若坐标变换部323计算出箭头的顶端和后端的方向确定坐标，则将包含于来自模型生成部322的三维模型数据中的方向确定坐标替换为计算出的方向确定坐标。

另外，若位置关系推定部321(操作禁止部)判断为机器8没有位于操作人员的视野内(步骤S5的“否”)，则通知机器控制装置1禁止操作机器8(步骤S10)，并结束处理。位置关系推定部321通过向机器控制装置1发出机器8的视觉辨认状态的信息(未进行视觉辨认这一信息)，从而通知禁止操作。

另外，当计算处理装置32判断接触式传感器22未打开(ON)时(步骤S7的“否”)也结束处理。

影像输出设备33根据合成图像数据，将在机器8的拍摄图像上显示了指引显示模型(三维模型)的合成图像显示为操作指导图像。

因此，若收到来自位置关系推定部321的允许操作的通知(指令)，则机器控制装置1的控制部12启动致动器10。另一方面，若收到来自位置关系推定部321的禁止操作的通知(指令)，则即使从操作终端2收到开关信息，控制部12也不启动致动器10。

如此，当机器8(成为操作对象的可动部件9)未包含于拍摄图像时，即，机器8不在操作人员的视野内时，位置关系推定部321禁止操作机器8。由此，能够使操作终端2的操作无效化。因此，能够避免操作人员在观察不到机器8的状态下操作操作终端2而发生的误操作。

另外，当位置关系推定部321(方向显示部)通知机器控制装置1禁止操作时，可以使影像输出设备33显示操作人员角度的机器8的方向。由此，能够促使操作人员观察机器8。

另外，当位置关系推定部321(警告部)通知机器控制装置1禁止操作时，如果通过接触式传感器信息检测到接触式传感器22的打开(ON)状态，或者，通过开关信息检测到开关21的打开(ON)状态，可以发出禁止操作的警告。具体而言，位置关系推定部321可以使影像输出设备33显示警告，或者，也可以使设置于HMD3的扬声器用声音输出该警告。由此，能够促使操作人员观察机器8。

另外，位置关系推定部321(方向变更部)可以根据推定的位置关系向机器控制装置1发出指示，以变更根据由开关21的操作而输入的操作指示而动作的可动部件9的动作方向。机器控制装置1收到该指示并控制致动器10，以使可动部件9沿变更后的动作方向动作。

如此，通过变更与操作指示对应的可动部件9的动作方向，从而，能够使由于操作人员相对于机器8的位置的变化而难以了解的可动部件的动作方向变得容易了解。例如，通常面对机器8的正面进行操作，与此相对，当从机器8的背面侧操作时，可动部件9的操作感与通常的操作感相反。因此，通过将与开关21的操作指示相对应的可动部件9的动作方向变更为相反方向，从而，在机器8的背面侧也能够获得与正面侧相同的操作感。另外，如宇宙空间般，当固定位置上的操作困难时，从保持固定的操作感的观点出发，优选根据需要变更与操作指示对应的可动部件9的动作方向。

但是，若在操作人员不期望的时机变更动作方向，则发生误操作的可能性增大。因此，位置关系推定部321使用与上述禁止操作的警告相同的输出方法报告与开关21对应的可动部件9的动作方向已经变更。或者，位置关系推定部321也可以在操作人员操作操作终端2时(包括操作准备状态和最近的操作完成后的规定时间(例如，几秒))，不向机器控制装置1发出上述动作方向变更的指示。

接下来，对操作引导系统101进行的操作引导的具体例子进行说明。

图4(a)是表示操作人员相对于被操作引导系统101作为操作对象的起重机150的可动部件150a进行操作的状态的立体图。图4(b)是通过操作引导系统101表示的包括可动部件150a的动作方向的操作指导图像201的图。图4(c)是表示其他操作指导图像202的图。图5(a)～(d)是表示被操作引导系统101作为操作对象的机械手的操作指导图像210的图。

如图4(a)所示，当使用操作终端2操作作为操作对象即机器8的起重机150时，在操作人员佩戴的HMD3上显示图4(b)所示的操作指导图像201。在该状态下，包括起重机150的可动部件150a的部分被图像传感器31拍摄，且其位于操作人员的视野内。在该状态下，在操作指导图像201中，作为指引显示模型，显示表示可动部件150a移动的方向的箭头201a(动作方向指示图像)。由此，操作人员能够把握由在操作终端2触碰的开关21操作的可动部件150a的动作方向。并且，操作人员能够通过按压开关21来操作可动部件150a。

当操作人员改变操作可动部件150a的位置时，计算处理装置32重新计算操作人员与起重机150之间的位置关系，输出根据该位置关系生成的三维模型数据、和操作人员的位置角度的拍摄图像数据的合成图像数据。由此，新获得的操作指导图像201包括从已变更的操作人员的位置观察的起重机150、表示可动部件150a的动作方向的箭头201a。因此，即使操作人员改变了相对于起重机150的位置，但由于根据该位置显示了可动部件150a的动作方向，因此对于操作人员而言，可动部件150a的移动方向变得易于把握。

另外，在设置有高速动作模式和低速动作模式作为起重机150的动作模式的情况下，可以将箭头201a的长度作为可动部件150a的动作速度即高速动作模式和低速动作模式的区别来进行表示。具体而言，在低速动作模式的情况下，图4(b)所示的操作指导图像201中显示短箭头201a，在高速动作模式的情况下，图4(c)所示的操作指导图像202中显示长箭头202a(动作方向指示图像)。由此，操作人员能够从视觉上辨别动作模式。

如此，箭头201a、202a(指引显示模型)可以表达可动部件150a的动作方向之外的信息。

在使用操作终端2操作作为操作对象即机器8的机械手的情况下，在操作人员佩戴的HMD3中显示图5(a)～(d)所示的操作指导图像210。在操作指导图像210中显示机械手211的实际图像和表示机械手211的移动方向的箭头212(指引显示模型)。

如图5(a)和(b)所示，箭头212、213设置在与操作人员触碰的开关21相对应的可动部件9(机械手211的手)附近。根据由模型生成部322从机器控制信息获得的机械手211的致动器(致动器10)的当前位置和角度等，确定箭头212、213的位置。

图5(c)和(d)所示的操作指导图像210反映了从机器控制信息获得的动作模式。在动作模式为单轴指定的情况下，在图5(c)所示的操作指导图像210中，箭头214显示为使可动部件9(手)动作的单轴的两个方向的箭头中、表示动作方向的箭头与其他方向的箭头颜色不同。另外，在动作模式为顶端位置指定的情况下，在图5(d)所示的操作指导图像210中，朝向四个方向的箭头215显示为仅表示可动部件9(手)的动作方向的箭头与其他方向的箭头颜色不同。

如上所述，本实施方式的操作引导系统101具备操作终端2、具有计算处理装置32的HMD3。

操作终端2接受操作人员对可动部件9的操作指示，并检测能够接受操作指示的操作准备状态。

计算处理装置32具有位置关系推定部321，该位置关系推定部321根据从图像传感器31获取的机器8的图像和操作人员的位置，推定操作人员与机器8之间的位置关系。另外，计算处理装置32具有模型生成部322和坐标变换部323，此二者当操作终端2检测到操作准备状态时，根据上述位置关系，在与操作人员观察机器8的方向对应的方向上生成表示根据操作指示动作的可动部件9动作的方向的三维模型。另外，计算处理装置32具有图像合成部324，该图像合成部324将三维模型与由图像传感器31拍摄的机器8的拍摄图像合成。

由此，因为通过三维模型在拍摄图像上显示可动部件9的动作方向，所以，操作人员能够容易确认可动部件9的动作方向。另外，因为在与操作人员观察机器8(可动部件9)的方向对应的方向上生成三维模型，所以，若操作人员改变位置，则三维模型的方向也随其位置变化。

因此，能够正确地把握操作人员观察到的可动部件9的动作方向。由此，不论操作人员的位置如何，都能够以易于理解的方式提供操作人员给出操作指示的可动部件9的动作方向。

另外，三维模型直观地表示与开关21的功能相关的信息(动作方向)，从而，不仅能够减少误操作，还能够有效地学习机器操作。

另外，能够最小限度地抑制视线的移动。由此，能够提高操作效率，并能够抑制因操作人员的疏忽而导致的事故。

此外，在本实施方式中，对具有操作终端2、HMD3的操作引导系统101进行了说明，但是，这样的结构归根结底只是一个例子。除这样的结构外，包括本实施方式的各个实施方式还适用于平板终端、机器人的示教板等操作部与显示部一体化的结构。

在本实施方式中，说明了在拍摄到机器8的图像中用箭头表示可动部件9的动作方向的例子。但是，指引显示模型表示可动部件9的动作方向的方式并不限定于箭头。例如，可以显示机器8的3D模型并用动画表示可动部件9的动作方向，也可以用图标、弹窗图像等表示可动部件9的动作方向。

另外，可以在HMD3中显示表示开关21已被按压的标记等通知图像。该通知图像例如由模型生成部322生成。

另外，操作指导图像不仅包括可动部件9的动作方向，还可以包括操作人员所触碰的开关21的名称、功能信息。这样的信息也由模型生成部322生成。

另外，显示上述操作指导图像的方式并不限定于HMD3的显示方式，也可以是如投影映射这样的投影手法的显示方式。

另外，HMD3可以具有多种多样的形状，并使用显示器方式、投影方式等多种多样的方式。显而易见地，包括本实施方式的各个实施方式并不依赖于HMD3的形状或方式。

另外，计算处理装置32可以内置于HMD3，也可以设置在HMD3外部。

另外，操作终端2并不一定是可移动型。例如，在大规模设备中，对通过远程操作使照相机移动并进行拍摄的装置进行操作的系统、依靠轮移动的货车型操作装置等均不属于可移动型的范畴。

另外，作为进行机器8与操作人员(图像传感器31)之间的位置关系的推定、进行对可动部件9的动作方向的指引显示模型进行显示的位置的检测的方式，可以使用标记。

另外，在包括本实施方式的各个实施方式中，将图像传感器31用作拍摄机器8的装置(照相机)，取而代之，也可以使用距离图像传感器。另外，除照相机外，还可以并用各种传感器(加速度传感器、陀螺仪、磁传感器等)来提高机器8与照相机之间的位置关系的推定精度。

计算处理装置32从机器控制装置1和操作终端2获取的信息包括前述开关信息、接触式传感器信息、机器控制信息等。可以用通信(无线/有线)(参见后述第二、第三实施方式)、也可以用数字/模拟输入输出来通知和获取这些信息。另外，HMD3获取信息的路径可以是经由机器控制装置1或外部的通信设备。

〔第二实施方式〕

根据图6对本发明的第二实施方式进行如下说明。此外，在本实施方式中，对于与第一实施方式中的结构要素具有相同的功能的结构要素附以相同标记，并省略其说明。

图6是表示本实施方式的操作引导系统102的结构的框图。

如图6所示，操作引导系统102具有机器控制装置1A(控制装置)、操作终端2A(操作装置)、HMD3A。

与第一实施方式的操作引导系统101中的机器控制装置1相同地，机器控制装置1A具有输入部11、控制部12、输出部13。此外，机器控制装置1A还具有通信部14、15。

通信部14向输入部11发出从操作终端2A接收的信息(开关信息和接触式传感器信息)。通信部15向HMD3发送从输出部13输出的机器控制信息。另外，通信部15向HMD3发送经由输入部11、控制部12和输出部13输出的来自操作终端2A的接收信息。并且，通信部15接收从HMD3A发送的关于机器8的视觉辨认状态的信息并将其发给输入部11。

与操作引导系统101中的操作终端2相同地，操作终端2A具有开关21和接触式传感器22。此外，操作终端2A还具有通信部23。通信部23向机器控制装置1A的通信部14发送开关信息和接触式传感器信息。

与操作引导系统101中的HMD3同样地，HMD3A具有图像传感器31、计算处理装置32、影像输出设备33、存储部34。此外，HMD3A还具有通信部35。

通信部35向机器控制装置1A的通信部15发送从计算处理装置32输出的关于机器8的视觉辨认状态的信息。另外，通信部35接收从机器控制装置1A的通信部15发送的机器控制信息和来自操作终端2A的接收信息并将其发给计算处理装置32。

在如此构成的操作引导系统102中，通过通信(有线或无线)进行各种信息的互换。由此，能够使用LAN(局域网：Local Area Network)、近场通讯等在机器控制装置1A、操作终端2A和HMD3A之间交换各种信息。

〔第三实施方式〕

根据图7对本发明的第三实施方式进行如下说明。此外，在本实施方式中，对于与第一实施方式中的结构要素具有相同的功能的结构要素附以相同标记，并省略其说明。

图7是表示本实施方式的操作引导系统103的结构的框图。

如图7所示，操作引导系统103具有机器控制装置1B(控制装置)、操作终端2B(操作装置)、HMD3B。

与第一实施方式的操作引导系统101中的机器控制装置1相同地，机器控制装置1B具有输入部11、控制部12、输出部13。但是，输入部11不从HMD3B输入关于机器8的视觉辨认状态的信息。并且，输出部13也不向HMD3B输出机器控制信息。

与操作引导系统101中的操作终端2同样地，操作终端2B具有开关21和接触式传感器22。此外，操作终端2B还具有通信部24。通信部24向HMD3B的通信部35发送开关信息和接触式传感器信息。

与第二实施方式的操作引导系统102中的HMD3A同样地，HMD3B具有图像传感器31、计算处理装置32、影像输出设备33、存储部34、通信部35。但是，通信部35并不向机器控制装置1B的输出部13发送关于机器8的视觉辨认状态的信息。

在这样构成的操作引导系统103中，在机器控制装置1B与HMD3B之间，并不进行信息交换。因此，HMD3B不从机器控制装置1获取机器控制信息，机器控制装置1B也不从HMD3B获取关于机器8的视觉辨认状态的信息。

因此，计算处理装置32(模型生成部322)不使用机器控制信息而生成指引显示模型。另外，机器控制装置1B不像操作引导系统101的机器控制装置1那样当操作人员没有视觉辨认出机器8时停止控制机器8。

因此，与上述操作引导系统101、102相比，操作引导系统103的结构简化，能够作为简易型系统廉价地使用。

〔软件的实现例子〕

HMD3、HMD3A、HMD3B的计算处理装置32由软件实现。HMD3、HMD3A、HMD3B具有执行用于实现各个功能的软件即程序的命令的计算机。该计算机例如具有一个以上的处理器，并具有存储有上述程序的计算机可读取存储介质。并且，在上述计算机中，上述处理器从上述存储介质读取并执行上述程序，从而达到本发明的目的。

作为上述处理器，例如能够使用CPU(中央处理器：Central Processing Unit)。作为上述存储介质，能够使用ROM(只读存储器：Read Only Memory)等“非临时有形介质”，除此之外，能够使用磁带、光盘、卡、半导体存储器、可编程的逻辑电路等。另外，还可以具有展开上述程序的RAM(随机存取存储器：Random Access Memory)等。另外，上述程序也可以通过能够传送该程序的任意的传送介质(通信网络、广播波等)提供给上述计算机。此外，本发明的一个方式还能够以上述程序通过电子化传送而被具体化了的、嵌入载波的数据信号的方式来实现。

〔实施方式的概括〕

各个实施方式的操作引导系统101～103是一种引导操作人员操作包括作为操作对象的可动部件9的可动装置(机器8)的操作引导系统101～103，具备：操作装置(操作终端2、2A、2B)，其接受操作人员对所述可动部件9的操作指示，并检测能够接受所述操作指示的操作准备状态；拍摄装置(图像传感器31)，其拍摄位于操作人员的视线方向上的拍摄对象物；推定部(位置关系推定部321)，其推定操作人员与所述可动装置之间的位置关系；图像生成部(模型生成部322)，若所述操作装置检测到所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据所述操作指示而动作的所述可动部件9动作的方向；图像合成部324，其生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动部件9的拍摄图像合成的合成图像；显示装置(影像输出设备33)，其显示所述合成图像。

根据上述结构，可动部件9的动作方向通过动作方向指示图像显示在拍摄图像上，因此，操作人员能够容易地确认可动部件9的动作方向。另外，因为动作方向指示图像在与操作人员观察可动装置的方向相对应的方向上生成，因此，若操作人员改变位置，则动作方向指示图像的方向也随着该位置变化。由此，能够准确把握操作人员观察可动部件9的动作方向。因此，能够不管操作人员的位置如何，均能以易于理解的方式提供操作人员给出操作指示的可动部件9的动作方向。

在所述操作引导系统101～103中，进一步地，所述图像生成部还可以根据从控制所述可动装置的控制装置(机器控制装置1、1A、1B)获取的用于控制所述可动装置的控制信息，生成所述动作方向指示图像。

根据上述结构，能够在动作方向指示图像中反映由控制信息获得的可动部件9的位置和角度这些可动部件9的当前状态、可动装置的动作模式这一可动部件9的动作状态。由此，能够从视觉上将这些信息表达为动作方向指示图像。因此，能够从动作方向指示图像获得多种信息。由此，能够根据这些信息执行有效操作。

所述操作引导系统101～103还具有操作禁止部(位置关系推定部321)，其在所述拍摄装置没有拍摄到所述可动装置时，禁止操作所述可动部件9。

根据上述结构，由于在拍摄装置未拍摄可动部件9的状态即操作人员未观察到可动部件9的状态下禁止操作可动部件9，因此，能够避免操作人员在未观察到可动部件9的状态下进行操作而产生的误操作。

所述操作引导系统101～103还可以具有方向显示部(位置关系推定部321)，当所述拍摄装置没有拍摄到所述可动装置时，所述方向显示部使所述显示装置显示操作人员角度的所述可动装置的方向。

根据上述结构，能够在操作人员未观察到可动装置的状态下，促使操作人员观察可动装置。

所述操作引导系统101～103还可以具有警告部(位置关系推定部321)，当所述拍摄装置没有拍摄到所述可动装置时，若检测到所述操作装置的所述操作准备状态或者所述操作装置已接受所述操作指示的状态，则所述警告部发出警告。

根据上述结构，能够在操作人员没有观察到可动装置的状态下，促使操作人员观察可动装置。

所述操作引导系统101～103还可以具有方向变更部(位置关系推定部321)，其根据所述位置关系，变更与所述操作指示对应的所述可动部件9的动作方向。

根据上述结构，通过变更与操作指示对应的所述可动部件9的动作方向，能够将因操作人员相对于可动装置的位置变化而难以了解的可动部件9动作方向变得易于了解。

〔备注内容〕

本发明并不限于所述的各个实施方式，能够在权利要求所示范围内进行多种变更，适当组合不同实施方式分别公开的技术手段所得到的实施方式也属于本发明的技术范围之内。

附图标记说明

1、1A、1B 机器控制装置(控制装置)

2、2A、2B 操作终端(操作装置)

8 机器(可动装置)

9 可动部件

31 图像传感器(拍摄装置)

33 影像输出设备(显示装置)

101～103 操作引导系统

321 位置关系推定部(推定部、操作禁止部、方向显示部、警告部、方向变更部)

322 模型生成部(图像生成部)

323 坐标变换部(图像生成部)

324 图像合成部

权利要求书(按照条约第19条的修改)

1.一种操作引导系统，引导操作人员操作包括作为操作对象的、能够在多个动作方向动作的可动部件的可动装置，其特征在于，

所述操作引导系统具有：

开关，输入如下操作，即，在接受操作人员针对所述可动部件的、对应于所述动作方向中的任一方向的操作指示之前生成能够接受所述操作指示的操作准备状态的操作，以及接受所述操作指示的操作；

拍摄装置，拍摄位于操作人员的视线方向上的拍摄对象物；

推定部，推定操作人员与所述可动装置之间的位置关系；

图像生成部，若所述开关生成所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示被限定的一个所述动作方向；

图像合成部，生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动装置的拍摄图像合成的合成图像；以及

显示装置，显示所述合成图像。

2.根据权利要求1所述的操作引导系统，其特征在于，

所述图像生成部还根据从控制所述可动装置的控制装置获取的用于控制所述可动装置的控制信息，生成所述动作方向指示图像。

3.根据权利要求1或2所述的操作引导系统，其特征在于，

还具有：操作禁止部，在所述拍摄装置未拍摄到所述可动装置时，禁止所述可动部件的操作。

4.根据权利要求1至3任一项所述的操作引导系统，其特征在于，

还具有：方向显示部，在所述拍摄装置未拍摄到所述可动装置时，使所述显示装置显示操作人员角度的所述可动装置的方向。

5.根据权利要求1至4任一项所述的操作引导系统，其特征在于，

还具有：警告部，在所述拍摄装置未拍摄到所述可动装置时，若检测到所述操作装置的所述操作准备状态或者所述操作装置已接受所述操作指示的状态，则发出警告。

6.根据权利要求1至5任一项所述的操作引导系统，其特征在于，

还具有：方向变更部，根据所述位置关系，变更与所述操作指示对应的所述可动部件的动作方向。