阅读说明：本技术 信息处理装置和非暂时性计算机可读介质 (Information processing apparatus and non-transitory computer readable medium ) 是由 得地贤吾 于 2018-12-18 设计创作，主要内容包括：信息处理装置和非暂时性计算机可读介质。一种与用户接触使用的信息处理装置包括检测单元和控制单元。检测单元检测用户在不接触存在于真实空间中的物体的情况下在真实空间中执行的动作。在检测到用户针对共同物体的多个动作的情况下,控制单元指示物体执行特定功能。所述特定功能与所述多个动作相关。(An information processing apparatus and a non-transitory computer readable medium. An information processing apparatus for use in contact with a user includes a detection unit and a control unit. The detection unit detects an action performed in a real space by a user without contacting an object existing in the real space. In the case where a plurality of motions of the user with respect to a common object are detected, the control unit instructs the object to perform a specific function. The particular function is associated with the plurality of actions.)

信息处理装置和非暂时性计算机可读介质

技术领域

本公开涉及一种信息处理装置和非暂时性计算机可读介质。

背景技术

提供一种识别使用用户所操作的便携式设备中内置的摄像头拍摄的图像中所包括的设备并在增强现实空间中显示与所识别的设备对应的虚拟用户界面以允许通过该虚拟用户界面操作设备的技术(参见例如日本未审查专利申请公布No.2013-172432。)

发明内容

基于通过用户的接触给予的指令操作设备。

本公开允许在不使用通过用户接触进行操作的情况下操作存在于真实空间中的物体。

根据本公开的第一方面，提供了一种与用户接触使用的信息处理装置，包括：检测单元，其检测用户在不接触存在于真实空间中的物体的情况下在真实空间中执行的动作；以及控制单元，在检测到用户针对共同物体的多个动作的情况下，所述控制单元指示物体执行特定功能，所述特定功能与所述多个动作相关。

根据本公开的第二方面，提供了根据第一方面的信息处理装置，其中所述多个动作是预先规定的相同不同的操作。

根据本公开的第三方面，提供了根据第二方面的信息处理装置，其中各个用户所需的操作的分配根据用户的组合而不同。

根据本公开的第四方面，提供了根据第二方面的信息处理装置，其中针对各个特定功能设定了与该特定功能的执行相关联的多个动作。

根据本公开的第五方面，提供了根据第一方面的信息处理装置，其中所述多个动作与所述特定功能所关联的不同操作元件相关。

根据本公开的第六方面，提供了根据第一方面的信息处理装置，其中针对各个物体设定多个动作。

根据本公开的第七方面，提供了根据第一方面的信息处理装置，其中所述多个动作与所述特定功能所关联的相同操作元件相关。

根据本公开的第八方面，提供了根据第一方面的信息处理装置，其中在与所述多个动作相对应的操作的方向彼此相反的情况下，根据对所述多个动作进行合成的结果来执行所述特定功能。

根据本公开的第九方面，提供了根据第八方面的信息处理装置，其中在对每个用户调节所检测到的多个动作的大小之后，控制单元对所述多个动作进行合成。

根据本公开的第十方面，提供了根据第一方面的信息处理装置，其中在与所述多个动作相对应的操作的方向彼此相同的情况下，所述特定功能根据对所述多个动作合成的结果来执行。

根据本公开的第十一方面，提供了根据第一方面的信息处理装置，其中用户被通知存在其他用户对共同物体操作。

根据本公开的第十二方面，提供了根据第十一方面的信息处理装置，其中表示其他用户的动作的图像与拍摄有物体的工作用图像一起显示。

根据本公开的第十三方面，提供了根据第十一方面的信息处理装置，其中被其他用户用于操作的图像与拍摄有物体的画面一起显示。

根据本公开的第十四方面，提供了根据第一方面的信息处理装置，其中生成与所检测到的动作匹配的触感并将该触感施加给用户。

根据本公开的第十五方面，提供了根据第十四方面的信息处理装置，其中触感根据所述特定功能而不同。

根据本公开的第十六方面，提供了根据第十四方面的信息处理装置，其中在接收到对所述特定功能的操作的情况下施加触感。

根据本公开的第十七方面，提供了根据第十四方面的信息处理装置，其中触感根据其他用户的动作来生成。

根据本公开的第十八方面，提供了根据第十七方面的信息处理装置，其中触感根据其他用户针对共同部分的动作来生成。

根据本公开的第十九方面，提供了一种存储有程序的非暂时性计算机可读介质，该程序使得与用户接触使用的计算机用作：检测单元，其检测用户在不接触存在于真实空间中的物体的情况下在真实空间中执行的动作；以及控制单元，在检测到用户针对共同物体的多个动作的情况下，该控制单元指示物体执行特定功能，所述特定功能与所述多个动作相关。

根据本公开的第二十方面，提供了一种与用户接触使用的信息处理装置，包括：检测手段，用于检测用户在不接触存在于真实空间中的物体的情况下在真实空间中执行的动作；以及控制手段，用于在检测到用户对共同物体的多个动作的情况下，指示物体执行特定功能，所述特定功能与所述多个动作相关。

利用根据第一方面的公开，可在不使用通过用户接触的操作的情况下操作存在于真实空间中的物体。

利用根据第二方面的公开，可使多个用户预先规定的动作以外的动作无效。

利用根据第三方面的公开，可使分配给各个用户的动作的组合以外的动作无效。

利用根据第四方面的公开，可使针对各个功能分配给各个用户的动作的组合以外的动作无效。

利用根据第五方面的公开，可使与各个功能相关的多个操作元件的组合以外的操作无效。

利用根据第六方面的公开，可区分针对各个物体执行功能所需的动作的组合。

利用根据第七方面的公开，可区分针对各个物体执行功能所需的动作的组合。

利用根据第八方面的公开，可实现从多个用户的动作合成的操作。

利用根据第九方面的公开，可实现用户的动作被校正的操作。

利用根据第十方面的公开，可实现从多个用户的动作合成的操作。

利用根据第十一方面的公开，可知道操作相同物体的其他用户的存在。

利用根据第十二方面的公开，方便与其他用户进行的操作的协作。

利用根据第十三方面的公开，方便与其他用户进行的操作的协作。

利用根据第十四方面的公开，可给予各个用户增强的操作感。

利用根据第十五方面的公开，可给予各个用户增强的操作感。

利用根据第十六方面的公开，可给予各个用户增强的操作感。

利用根据第十七方面的公开，方便与其他用户进行的操作的协作。

利用根据第十八方面的公开，方便与其他用户进行的操作的协作。

利用根据第十九方面的公开，可在不使用通过用户接触进行操作的情况下操作存在于真实空间中的物体。

利用根据第一方面的公开，可在不使用通过用户接触进行操作的情况下操作存在于真实空间中的物体。

附图说明

将基于以下附图详细描述本公开的示例性实施方式，其中：

图1示出根据第一示例性实施方式的系统的示例；

图2示出图像形成装置的硬件配置的示例；

图3示出智能电话的硬件配置的示例；

图4示出通过执行程序由处理电路部实现的功能配置的示例；

图5示出提供用于操作图像形成装置的表的示例；

图6是示出由处理电路部执行的处理操作的示例的一部分的流程图；

图7是示出由处理电路部执行的处理操作的示例的其余部分的流程图；

图8示出作为图像拍摄者的用户B拍摄他/她自己的食指重叠在画面上的图像形成装置上的图像的场景；

图9示出用户拍摄用户进行操作以在不接触图像形成装置的情况下在空中向前移动他/她的食指的图像的场景；

图10示出通知用户接收到操作的不同方法；

图11示出通知用户接收到操作的不同方法；

图12示出通知用户接收到操作的不同方法；

图13示出食指图像不显示在液晶显示器上的方法；

图14示出食指图像显示在液晶显示器上的不同方法；

图15示出通过用户B和用户C之间的协作执行的操作的示例；

图16示出与用户B协作的用户C执行操作的场景；

图17示出与用户B协作的用户C执行操作的场景；

图18示出在用户B的认证完成之后由用户C操作的智能电话的画面上出现的变化；

图19示出根据第二示例性实施方式的系统的示例；

图20示出用于操作门的表的示例；

图21示出作为操作者的用户A或用户B拍摄他/她自己的右手重叠在旋钮图像上的图像的场景；

图22A和图22B示出操作者是单独的用户A的情况的操作的示例；

图23A和图23B示出操作者包括两个人，即，用户A和用户C的情况的操作的示例，其中图23A示出通过姿态的操作之前的场景，图23B示出通过姿态的操作之后的场景；

图24A和图24B示出操作者包括两个人，即，用户A和用户B的情况的操作的示例，其中图24A示出通过姿态的操作之前的场景，图24B示出通过姿态的操作之后的场景；

图25A和图25B示出操作者包括两个人，即，用户A和用户B的情况的操作的示例，其中图25A示出通过姿态的操作之前的场景，图25B示出通过姿态的操作之后的场景；

图26示出根据第三示例性实施方式的系统的示例；

图27示出保险箱的硬件配置的示例；

图28示出用于操作保险箱的表的示例；

图29示出用户B拍摄他/她自己的右手重叠在右侧拨号锁图像上的图像的示例；

图30示出用户B拍摄他/她自己的右手重叠在右侧拨号锁图像上的图像的不同示例；

图31示出用户B拍摄他/她自己的右手重叠在右侧拨号锁图像上的图像的不同示例；

图32示出图像拍摄目标是显示在显示装置的显示面上的图像的情况；

图33示出通过姿态操作通过智能电话以外的摄像头拍摄的物体的示例；

图34示出使用可穿戴信息处理装置的系统的示例；

图35示出通过姿态提供移动盆栽植物的指令的情况；

图36示出机器人的硬件配置；以及

图37示出多个用户彼此协作以向机器人提供移动盆栽植物的指令的示例。

具体实施方式

下面将参照附图描述本公开的示例性实施方式。

<第一示例性实施方式>

<系统示例>

图1示出根据第一示例性实施方式的系统的示例。

图1所示的系统包括在记录材料(以下有时代表性地称为“纸张”)上形成图像的图像形成装置100以及拍摄图像形成装置100的图像的两个智能电话200A和200B。

图像形成装置100是作为操作目标存在于真实空间中的物体的示例。

根据本实施方式的图像形成装置100具有生成复制品的复印功能、读取文档的图像的扫描功能、向另一设备发送传真图像以及从另一设备接收传真图像的传真发送/接收功能、在纸张上记录图像的打印功能等。复印功能通过将扫描功能和打印功能组合来实现。

图像形成装置100没有必要具有复印功能、扫描功能和传真发送/接收功能的全部，例如，图像形成装置100可以是专用于这些功能之一的装置，例如复印机、扫描仪、传真发送机/接收机或打印装置。

图像形成装置100还可以是具有选自这些功能中的若干功能的组合的装置。

图像形成装置100包括：用户接口部110，其用于从用户接收操作并向用户呈现各种类型的信息；图像读取单元120，其读取文档的图像；图像形成单元130，其在纸张上记录图像；以及容纳部140，其容纳纸张。

智能电话200A和200B各自是便携式终端装置，并且包括用于图像拍摄的摄像头、显示画面、通信功能等，如稍后讨论的。

智能电话200A和200B各自是信息处理装置的示例。

在本实施方式的情况下，智能电话200A由用户A操作，智能电话200B由用户B操作。

图像形成装置100的图像100A和100B显示在图1所示的智能电话200A和200B的相应显示画面上。

在下文中，智能电话200A和200B有时将被统称为智能电话200。

<图像形成装置的配置>

图2示出图像形成装置100的硬件配置的示例。

图2中与图1对应的部分由对应标号表示。

用户接口部110包括用于显示操作画面等的显示部111以及接收用户输入的操作的操作接收部112。

显示部111包括例如液晶显示面板、有机电致发光(EL)显示面板等。

操作接收部112包括接收用户输入的操作的按钮、触摸板等。

图像读取单元120包括从文档读取图像的图像读取部以及将文档传送到图像读取部的文档传送部。图像读取单元120设置在图像形成单元130的顶部。

图像形成单元130包括用作控制部的微处理单元(MPU)131、只读存储器(ROM)132和随机存取存储器(RAM)133。

MPU 131通过执行从ROM 132读取的程序(例如，固件)来提供各种类型的功能。RAM133用作程序的工作区域。

此外，图像形成单元130包括：存储部134，其用于存储图像数据等；图像处理部135，其对图像数据执行诸如颜色校正和色调校正的图像处理；图像形成部136，其使用电子照相系统或喷墨系统在纸张上形成图像；通信部137，其用于外部通信；等。

存储部134包括诸如硬盘装置或半导体存储器的非易失性存储介质。存储部134存储由图像读取单元120读取的文档的图像数据以及通过通信部137接收的图像数据。

图像处理部135包括例如专用处理器或处理板。

通信部137包括局域网(LAN)接口或者用于传真通信网络服务的接口。LAN接口用于与稍后讨论的智能电话200(参见图1)通信。

MPU 131、ROM 132、RAM 133、存储部134、图像处理部135、图像形成部136和通信部137通过总线138彼此连接。早前讨论的用户接口部110和图像读取单元120通过接口139连接到总线138。

<智能电话的配置>

图3示出智能电话200的硬件配置的示例。

智能电话200包括处理数据的处理电路部210、存储程序和数据的非易失性存储器221、接收和输出音频信号的音频电路222、显示图像的液晶显示器(LCD)223、电源控制设备224、拍摄图像的摄像头225、检测与操作面的接触的触摸板226、发送和接收符合Wi-Fi(注册商标)标准的无线信号的Wi-Fi(无线保真)模块227、发送和接收符合Bluetooth(注册商标)标准(一种近场通信标准)的无线信号的蓝牙(Bluetooth(注册商标))模块228以及给予不与物体接触的身体部位人造触感的空中触感模块(aerial tactile feel module)229。

在本示例性实施方式的情况下，设置有摄像头225的表面和设置有液晶显示器223的表面分别是前表面和后表面。

这使得用户能够在确认液晶显示器223上的图像的同时使用摄像头225来拍摄存在于真实空间中的物体(例如，图像形成装置)的图像以及他/她自己的身体部位(例如，手指、手或脚)。

在提供多个摄像头225的情况下或者在提供多个液晶显示器223的情况下，仅需要至少一组摄像头225和液晶显示器223分别设置在前表面和后表面上。

在本实施方式中，使用液晶显示器223。然而，也可使用不同的显示单元(例如，有机电致发光(EL)显示器)。

根据本实施方式的空中触感模块229包括例如多个超声换能器按照网格形状布置的超声换能器阵列。这种类型的空中触感模块229能够在空中的期望位置处生成超声波的焦点。通过调节焦点的分布或振动的强度来改变用户所感知的触感。

例如，所生成的触感可根据作为操作目标的功能而变化。例如，在检测到用户动作的情况下、在接收到对特定功能的操作的情况下等，生成触感。可通过触感来传递其他用户的动作以及这种动作的强度。空中触感模块229是施加触感的施加单元的示例。

处理电路部210包括控制从存储器221的数据读取以及向存储器221中的数据写入的存储器控制部211、执行处理的多个中央处理单元(CPU)核、管理电力供应的电源管理部213、管理内置系统的操作的系统管理部214、处理音频信号的音频处理部215、实时处理图像的图形处理单元(GPU)216、在液晶显示器223上显示图像的显示控制部217、用于与外部模块连接的外部接口(I/F)218以及处理基带信号的基带电路219。

图4示出通过执行程序由处理电路部210实现的功能配置的示例。

处理电路部210这里是检测单元的示例，也是控制单元的示例。

处理电路部210用作：姿态检测部251，其通过处理图像数据来检测用户的姿态；操作目标检测部252，其检测操作目标物体；目标功能获取部253，其从操作目标物体(在本实施方式中，图像形成装置100)获取关于物体的功能的信息；操作接收部254，其接收用户的姿态作为操作；指令发送部255，其将与所接收的操作对应的指令发送到目标物体；通知部256，其通知用户接收到操作；以及协作部257，其与其他用户对相同(共同)物体的操作协作。

根据本实施方式的姿态检测部251例如从摄像头225所拍摄的图像检测用户的身体部位(例如，手指、手或脚)的动作作为姿态。对于作为操作目标检测的各个物体，动作的含义不同。即使对于相同物体的动作的含义在作为操作目标的不同功能之间也不同。

根据本实施方式的姿态的示例包括推、拉、旋转、抓握、踢、踩、点击、双击、拖曳、轻敲、轻拂和挥扫。可使用深层学习功能来指定姿态。

可采用不同的方法来检测姿态。例如，姿态可通过以下方法(单独地或其组合)来检测：飞行时间(ToF)法，其中通过针对各个像素测量半导体激光或从发光二极管(LED)发射的光在被物体反射之后返回的时间来计算距物体的距离；结构光(SL)时间顺序图案投影法，其中按时间顺序变化的垂直条纹图案被投影到物体上，从通过拍摄物体的图像而获得的像素中出现的亮度的变化计算距物体的距离；使用超声波或毫米波来计算距物体的距离的方法等。组合可包括通过处理所拍摄的图像来识别姿态的技术。

根据本实施方式的操作目标检测部252通过分析显示在液晶显示器223(参见图3)上的图像来检测作为操作目标的物体、其操作元件等。

根据本实施方式的操作元件的示例包括要操作的物理结构(例如，按钮和开关)以及以软件方式再现的画面上的显示(例如，按钮和开关)。

处理中使用的图像不限于从设置到智能电话200的摄像头225获取的实时图像数据，并且可以是从存储器221获取或者从外部获取的图像数据。

在画面中包括多个物体的情况下，操作目标检测部252可例如检测显示在液晶显示器223上的图像更靠近画面的中心的物体作为目标，或者可检测图像重叠在用户的身体部位的图像上的物体作为操作目标。

操作目标检测部252可检测用户从通过无线LAN等与智能电话200连接的设备的列表中选择的设备作为操作目标。

根据本实施方式的目标功能获取部253例如通过与操作目标检测部252所检测的物体的通信来获取关于可操作的操作元件的信息。例如，目标功能获取部253使用无线LAN来获取关于操作元件的信息。

目标功能获取部253还可例如从各个可通信设备获取关于可操作的操作元件的信息。

操作目标不限于具有通信功能的物体。这种操作目标的示例包括植物和自然物。另外，在这种情况下，目标功能获取部253可通过与能够代表人进行动作的不同设备(例如，机器人)的通信来获取关于可执行的操作的信息。

根据本实施方式的操作接收部254接收姿态检测部251所检测的姿态作为针对操作目标检测部252所检测的物体的特定功能的操作。

操作接收部254例如参照为各个物体准备的表254A来接收操作。可为各个功能准备表254A。在图4的情况下，表254A被存储在操作接收部254中。表254A可被存储在连接到处理电路部210的存储器221(参见图3)中。

图5示出提供用于操作图像形成装置100(参见图1)的表254A1的示例。

表254A1存储针对图像形成装置100假设的操作与各个用户之间的关系。

表254A1的内容可由授权用户或管理者注册或校正。

所假设的操作不限于作为操作目标的图像形成装置100所具有的功能或者图像形成装置100可执行的功能。操作可包括例如通过施加外力来使图像形成装置100移动的操作以及打开和关闭活动部分(例如，盖子或抽屉)的操作。

在本实施方式的情况下，表254A1为各个用户存储例如用户是否被允许执行特定操作、是否需要与其他用户的协作、在需要这种协作的情况下所需的操作的内容等。

需要与其他用户的协作的操作的示例包括需要在相同的定时执行的操作、需要在时间上连续执行的操作以及作为通过将一个操作分解而获得的多个元素之一的操作。在需要在时间上连续执行操作的情况下，协作用户的操作需要在预先确定的时间内执行。

所述其他用户不同于一个用户，可以是多个用户。

可规定需要彼此协作的多个用户的执行次序，但是在表254A1中没有规定这种次序。在规定执行次序的情况下，除非用户按照规定的次序执行操作，否则操作接收部254(参见图4)不指示执行操作。

例如在图5的情况下，用户A针对与打印和传真发送有关的功能能够单独地执行操作，但无法针对与改变打印的色泽(color tint)(打印色泽)等有关的功能执行操作。

例如，用户B针对与打印、传真发送、改变打印色泽和认证有关的功能能够单独地执行操作，但是针对与改变地址簿和色调校正有关的功能需要用户D的认证来执行操作。

例如，用户C针对与打印、传真发送和改变打印色泽有关的功能需要用户B的认证以执行操作，针对与改变地址簿和色调校正有关的功能需要用户D的认证以执行操作。用户C针对与认证有关的功能无法执行操作。

例如，用户D针对与打印、改变地址簿、色调校正和认证有关的功能能够单独地执行操作，但是针对与传真发送有关的功能需要用户A输入区域代码以执行操作，针对与改变打印色泽有关的功能需要用户B的认证以执行操作。

尽管在图5的示例中给出四个用户，但用户的数量不限于四个。操作也不限于图5中给出的六种类型。

如图5中所指示的，如果用户的组合不同，则各个用户所需的操作的分配也不同。

例如，对用户B和用户C的操作分配与对用户B和用户D的操作分配彼此不同。

在图5的示例中，用于操作的协作的示例包括一个用户通过认证使得另一用户能够执行操作的示例以及用户参与输入指定传真发送的目的地的号码的示例。然而，用户可例如参与设定与功能有关的项目。

再描述图4。

根据本实施方式的指令发送部255将与所接收的操作对应的指令发送到目标物体(例如，图像形成装置)。另外，指令发送部255具有从目标物体获取对指令的响应(例如，接收到指令)的功能。

根据本实施方式的通知部256通过音频电路222或液晶显示器223进行各种类型的通知，所述通知帮助通过姿态执行操作。

根据本实施方式的协作部257与表254A中被规定为协作伙伴的其他用户所操作的智能电话200交换关于操作的信息。协作部257还可与可与协作部257通信的不同智能电话200交换关于作为操作目标的物体的信息，即使这种智能电话200未被规定为协作伙伴。

<由处理电路部执行的处理操作>

下面将参照图6和图7描述由处理电路部210(参见图4)执行的处理操作的示例。

图6是示出由处理电路部210执行的处理操作的示例的一部分的流程图。在图6中，步骤由符号S表示。这同样适用于图7。

根据本实施方式的处理电路部210识别在液晶显示器223(参见图3)的画面中拍摄的人体部位(例如，手指)(步骤101)。

接下来，处理电路部210检测所识别的人体部位的动作(步骤102)。

上述处理例如由姿态检测部251(参见图4)执行。如早前讨论的，姿态可不仅通过图像识别处理，而且使用关于通过传感器测量的距离的信息(所谓距离图像)来检测。

此后，处理电路部210指定画面中重叠在人体部位的图像上的物体的部分(步骤103)。此处理例如由操作目标检测部252(参见图4)执行。

处理电路部210还预先或同时识别操作目标物体。

在可能未指定操作目标物体的情况下，处理电路部210通知可能未指定操作目标物体、应该拍摄包括机型等的图像等。此处理例如由通知部256(参见图4)执行。

随后，处理电路部210将所检测的人体的动作检测为对指定的部分的操作(步骤104)。此处理例如由操作接收部254执行。

在没有功能与指定的部分相关的情况下或者在所检测的动作与相关的功能的执行无关的情况下，处理电路部210不将所检测到的动作检测为操作。

接下来，处理电路部210确定对于所检测到的操作，正在操作智能电话200的用户是否被授权(步骤105)。

在步骤105中获得否定结果的情况下，处理电路部210通知不可执行操作(步骤106)，并结束处理。该通知例如由通知部256执行。

在步骤105中获得肯定结果的情况下，处理电路部210确定所检测到的用户的操作的执行是否需要与其他用户的协作(步骤107)。此处理由操作接收部254参照表254A(参见图4)执行。

在步骤107中获得肯定结果的情况下，处理电路部210确定是否满足协作的条件(步骤108)。此处理由操作接收部254参照表254A执行。处理电路部210重复地确定，直至满足条件(在步骤108中获得否定结果的同时)。然而，应该注意的是，在即使当预先确定的时间逝去时仍不满足条件的情况下，可通知需要协作的操作的内容，可向需要与之协作的用户所操作的智能电话200发送通知，或者可通知不可执行操作。

另一方面，在步骤107中获得否定结果的情况下，处理电路部210确定是否存在检测到的其他用户的特定部位的任何操作(步骤S109)。此处理由操作接收部254执行。此处理不总是必要的，可用于例如在物理力作用在物体上的情况下基于来自各个用户的指令将外力合成。

在步骤109中获得肯定结果的情况下，处理电路部210将多个用户的操作组合(步骤110)。此处理由操作接收部254执行。操作的组合可以是简单组合，或者可以是加权组合。

在步骤108中获得肯定结果的情况下，在步骤109中获得否定结果的情况下，或者在执行步骤110之后，处理电路部210执行图7所示的处理。

图7是示出由处理电路部210执行的处理操作的示例的其余部分的流程图。

处理电路部210确定是否可通过通信控制目标物体(步骤111)。此处理也例如由操作接收部254执行。

在步骤111中获得肯定结果的情况下，处理电路部210将指示执行操作的信号发送到目标物体(步骤112)。

在步骤111中获得否定结果的情况下，处理电路部210确定是否存在能够代为进行操作的任何自走装置(self-running)(步骤113)。能够代为进行操作的自走装置的示例包括机器人。

在步骤113中获得肯定结果的情况下，处理电路部210将指示执行操作的信号发送到自走装置(步骤114)。

在步骤113中获得否定结果的情况下，处理电路部210通知不可执行操作(步骤115)。

在这些步骤之后，处理电路部210结束处理。

<操作示例>

下面将描述使用早前讨论的功能实现的操作示例。

<操作示例1>

图8示出作为图像拍摄者的用户B拍摄他/她自己的食指301重叠在画面上的图像形成装置100上的图像的场景。

当拍摄图像时，用户B用他/她的左手持握智能电话200B。食指301是用户B的食指，并且不与图像形成装置100接触。具体地，食指301被定位在图像形成装置100和智能电话200B之间的空中。

在图8的情况下，用户接口部110的部分放大显示在智能电话200B的液晶显示器223上。

此显示状态可通过在图像形成装置100的图像显示在液晶显示器223上的情况下将与液晶显示器223的画面接触的两根手指远离彼此移动来获得。如果使用语音识别技术，则可在不接触液晶显示器223的情况下放大显示。

在图8的情况下，拍摄存在于真实空间中的用户接口部110的一部分的图像270(用于传真发送的按钮271和用于规格设定/注册的按钮272)和食指图像301A显示在液晶显示器223上。此画面是用于工作的图像的示例。

在本实施方式的情况下，当接收到在用于规格设定/注册的按钮272上的点击操作时，打印色泽可改变。在表254A1(参见图5)的情况下，用户B能够单独地执行改变打印色泽的操作。

在真实空间中，如早前讨论的，图像形成装置100、用户的食指301和智能电话200B从最远侧依次定位。

因此，由智能电话200B拍摄的食指图像301A被显示为重叠在用户接口部图像270的近侧。

为了利用食指301的动作来操作图像形成装置100，需要预先将图像形成装置100指定为操作目标。

为了指定图像形成装置100，可例如使用通过处理图像形成装置100的图像来指定机型的技术、检测包括在图像中的字符信息(例如，型号)的技术、允许从显示在液晶显示器223上的候选中选择一个的技术等。候选例如作为通过无线LAN等与智能电话200B连接的设备的列表给出。

假设图像形成装置100已经被指定为操作目标。

在图8的情况下，可操作的两个操作元件(用于传真发送的按钮271和用于规格设定/注册的按钮272)显示在液晶显示器223上。然而，可显示三个或更多个操作元件，或者可仅显示一个操作元件。

在图8的情况下，两个操作元件显示在液晶显示器223上，因此需要在空中移动食指301，使得作为操作目标的操作元件和食指图像301A彼此重叠。

食指301在空中的移动也被智能电话200B检测为用户的动作。然而，应该注意的是，水平方向上的动作与对在图像中捕获的操作元件的操作的动作无关。

因此，在食指图像301A重叠在用于规格设定/注册的按钮272上之前进行的动作不被接收作为对操作元件的操作。

在本实施方式中，由于操作目标包括按钮，所以检测食指图像301A的动作。然而，作为检测目标的身体部位可根据操作目标来确定。例如，诸如手、手臂或脚的人体部位可被确定为检测目标。可通过指定检测目标来避免错误操作。

图9示出用户拍摄用户执行操作以在不接触图像形成装置100的情况下在空中向前移动他/她的食指301的图像的场景。图9中与图8对应的部分由对应标号表示。

推操作这里是指在食指301远离智能电话200B移动的方向上的动作。换言之，推操作是指朝着图像形成装置100的动作。

具体地，推操作对应于在实际空间中推显示在用户接口部110上的操作元件的动作。这是因为用户的视线的方向和摄像头225(参见图3)拍摄图像的方向彼此一致。

食指图像301A重叠在图9所示的液晶显示器223上的用于规格设定/注册的按钮272上，因此，智能电话200B将推操作检测为推用于规格设定/注册的按钮272的操作。

在本实施方式的情况下，智能电话200B将操作元件和动作之间的关系存储在存储器221(参见图3)中。存储器221可存储设置到图像形成装置100的一些操作元件和动作之间的关系。

设置到图像形成装置100的操作元件和识别为操作的动作的图像之间的关系可被存储在图像形成装置100中，并且可由图像形成装置100执行将操作元件指定为操作目标的处理。

在图9中，智能电话200B能够与图像形成装置100通信，因此，将指示用于规格设定/注册的按钮272的操作的信号发送到图像形成装置100。

针对通知用户接收到操作的功能准备根据本实施方式的智能电话200B。

因此，在图9中，通过改变用于规格设定/注册的按钮272的显示方式来通知用户接收到操作。

变化显示方式的方法的示例包括增大作为操作目标的按钮显示的区域的亮度、使该区域闪烁以及将该区域变化为不同的颜色。

在图9中，通过集中在食指301的表面上的超声波来对食指301施加振动。从空中触感模块229(参见图3)输出超声波。振动给予用户B接收到按钮的操作的触感。当给予触感时，告知用户他/她自己的动作已作为操作被接收。结果，给予用户改进的操作感。

空中触感模块229可被设置到图像形成装置100。在这种情况下，空中触感模块229可向指向图像形成装置100的食指301的指腹给予触感。

空中触感模块229可作为独立装置设置在空间中。

<操作示例2>

图10示出通知用户接收到操作的不同方法。

图10中与图9对应的部分由对应标号表示。

在图10的情况下，从扬声器(未示出)输出“咔哒”声，但是用于规格设定/注册的按钮272的显示不变化。

生成这种声音使得用户能够确认他/她自己的动作已被接收作为操作。在图10的情况下，给予食指301以触感，其允许用户以复合方式确认接收到操作。

在使用声音的通知方法中可生成诸如“操作已被接收”的言语。

<操作示例3>

图11示出通知用户接收到操作的不同方法。

图11中与图9对应的部分由对应标号表示。

在图11的情况下，另外显示指示接收到操作的小画面280，但是用于规格设定/注册的按钮272的显示不变化。同样在图11的情况下，给予食指301以触感，其允许用户以复合方式确认接收到操作。

在使用声音的通知方法中可生成诸如“操作已被接收”的言语。

在图11所示的画面280中书写字符串“操作已被接收”。当然，该字符串是示例性的。

<操作示例4>

图12示出通知用户接收到操作的不同方法。

图12中与图9对应的部分由对应标号表示。

在图12的情况下，食指图像301A的显示方式相对于接收操作之前的方式变化，但是用于规格设定/注册的按钮272的显示没有变化。

变化显示方式的方法的示例包括增大显示食指图像301A的区域的亮度、使该区域闪烁以及将该区域变化为不同的颜色。

同样在图12的情况下，给予食指301以触感，其允许用户以复合方式确认接收到操作。

<操作示例5>

图13示出食指图像301A(参见图9)不显示在液晶显示器223上的方法。

图13中与图9对应的部分由对应标号表示。

在总是显示进入摄像头225(参见图3)所拍摄的图像的范围的人体部位的方法中，例如，操作元件的大部分可被人体部位遮挡。例如，写在操作元件上的字符可被手或手臂的图像遮挡。

在这种情况下，用户可能无法在画面上确认作为操作目标的操作元件，或者可能仅能够确认其一部分，这可能妨碍操作。

如果无法确认写在操作元件上的字符，则用户可能无法看到他/她正在操作什么操作元件，并且可能执行错误的操作。

因此，在图13中，改变由食指图像301A重叠的位置处的操作元件(用于规格设定/注册的按钮272)的显示方式，以帮助用户确认。

该显示使得用户能够在视觉识别不被他/她自己的身体部位妨碍的情况下操作特定操作元件。同样在图13的情况下，给予食指301以触感，其允许用户以复合方式确认接收到操作。

在提供变化操作元件的显示方式的功能的情况下，用户不会弄错操作目标。此外，在通知接收到操作的情况下，用户的可操作性可增强。

<操作示例6>

图14示出食指图像301A显示在液晶显示器223上的不同方法。

图14中与图11对应的部分由对应标号表示。

尽管在操作示例5中根本没有显示食指图像301A，但是也可以想到存在对画面上的位置进行确认的请求。

操作示例6提供了考虑这种请求而提供的显示方法，并且提供了食指图像301A所在的区域的轮廓线。该轮廓线使得用户能够容易地确认食指301的位置和操作元件的位置之间的关系。轮廓线这里是表明用户的身体部位的记号的示例。

在图14中，食指图像301A的轮廓线由虚线指示。然而，可代替实际图像显示通过图像处理获得的透明图像。透明图像这里也是表明用户的身体部位的记号的示例。

可仅食指部位选择性地通过轮廓线或作为透明图像显示，而其它部位作为实际图像显示。相反，可仅食指部位选择性地作为实际图像显示。被人体部位的图像遮挡的面积减小，因此，可容易地确认作为操作目标的物体的图像。

同样在图14的情况下，给予食指301以触感，其允许用户以复合方式确认接收到操作。

<操作示例7>

尽管在早前讨论的操作示例1至6中操作可由作为操作者的用户B单独地操作的按钮，下面将描述需要协作的操作。

图15示出通过用户B和用户C之间的协作执行的操作的示例。关于此操作示例将描述用户C的改变打印色泽的操作与用户B的用于认证的操作之间的协作。

图16示出与用户B协作的用户C执行操作的场景。

如早前讨论的操作示例中一样，在图像形成装置100与用户C所操作的智能电话200C之间的空中移动的食指图像301A显示在智能电话200C的液晶显示器223上。

在图16中，食指图像301A被定位在用于规格设定/注册的按钮272上。然而，根据表254A1(参见图5)，用户C改变打印色泽需要用户B的认证。

因此，另外显示指示操作的接收需要授权人的认证的小画面290，但是用于规格设定/注册的按钮272的显示没有变化。

字符串“需要授权人的认证”写在图16所示的画面290中。当然，该字符串是示例性的。可指示授权人的具体姓名。

图17示出与用户C协作的用户B执行操作的场景。

用于认证的按钮311和用于作业确认的按钮312显示在用户B所操作的智能电话200B的液晶显示器223上。如早前讨论的操作示例中一样，在图像形成装置100与智能电话200C之间的空中移动的食指图像301A显示在智能电话200C的液晶显示器223上。

在图17的情况下，食指图像301A重叠在用于认证的按钮311上。用户B被授权单独地操作用于认证的按钮311，因此对用于认证的按钮311的操作被接收作为有效操作。

图18示出在用户B的认证完成之后由用户C操作的智能电话200C的画面上出现的变化。

画面290(参见图16)从图18所示的画面消失，并且通过改变用于规格设定/注册的按钮272的显示方式并对食指301施加触感来通知用户C的操作已被接收为有效。

此后，用户C通过用于操作并新显示的画面执行改变打印色泽的工作。

<第二示例性实施方式>

在早前讨论的示例性实施方式中，操作目标是图像形成装置100(参见图1)。然而，在本实施方式中，操作目标是绕铰接部分打开和关闭的门。

图19示出a根据第二示例性实施方式的系统的示例。

图19中与图1对应的部分由对应标号表示。

图19所示的系统包括门400以及拍摄门400的图像的两个智能电话200A和200B。

门400是作为操作目标存在于真实空间中的物体的示例。

根据本实施方式的门400设置有电子锁(未示出)、旋钮401以及通过与智能电话200(在图19中，智能电话200A和200B)通信来驱动以打开和关闭门400的驱动机构402。

在图19中，要成像的对象是门400，因此，智能电话200显示门图像400A。

在本实施方式的情况下，智能电话200的操作接收部254(参见图4)参照存储以用于操作门400的表254A2(参见图20)接收通过用户的姿态的操作。

图20示出用于操作门400(参见图19)的表254A2的示例。

表254A2存储针对门400和各个用户假设的操作之间的关系。

表254A2的内容也可由授权用户或管理者注册或校正。

在本实施方式的情况下，表254A2例如针对各个用户存储用户是否被允许执行特定操作、是否需要与其他用户的协作、在需要这种协作的情况下所需的操作的内容等。

在图20的情况下，例如，用户A能够执行打开门400的操作(打开操作)和关闭门400的操作(关闭操作)，但未被授权将门400上锁和解锁。

以整体(unity)放大的灵敏度检测用于打开操作和关闭操作的用户A的姿态。

整体放大的灵敏度意指加权因子为1.0。

力的强度未知，因此，根据通过姿态的操作的方向、操作的速度、操作中所使用的身体部位(例如，右手)移动的距离等来提供灵敏度。

用户A的打开操作和关闭操作可单独地执行，或者通过与其他用户的协作执行。

例如，用户B能够以1.5倍的灵敏度执行打开门400的操作(打开操作)。1.5倍的灵敏度意指加权因子为1.5。

用户B还能够以两倍的灵敏度执行关闭门400的操作(关闭操作)。用户被授权将门400上锁和解锁。

例如，用户C能够以减小一半的灵敏度执行打开门400的操作(打开操作)。

另一方面，用户C不被允许执行关闭门400的操作(关闭操作)。此外，用户C能够与用户B一起将门400上锁和解锁。即，用户C无法单独地将门400上锁和解锁。

尽管在图20的示例中给出三个用户，但是用户的数量不限于三个。操作也不限于图20中给出的四种类型。

<操作示例1>

图21示出作为操作者的用户A或用户B拍摄他/她自己的右手310重叠在旋钮图像401A上的图像的场景。

在图21中，用户彼此没有区分，并且智能电话被指示为智能电话200。

不论图像拍摄者是用户A还是用户B，图像拍摄者在用他/她的左手持握智能电话200的同时拍摄门400的图像，如图19所示。因此，门图像400A和旋钮图像401A显示在液晶显示器223上。

在本实施方式的情况下，右手310被定位在门400的旋钮401和智能电话200之间。右手310不与旋钮401接触。

因此，右手图像310A在液晶显示器223上显示为重叠在门图像400A上。在图21的情况下，右手图像310A是实际图像。

在图21的情况下，右手310在门400和智能电话200之间的空中就像持握并转动旋钮401一样进行动作。

图21所示的门400当被推时朝着远侧打开，当被朝着近侧拉时关闭。

尽管图21所示旋钮401附接到门400，但杆型把手(杆式把手)可附接到门400。

在图21的情况下，假设以门表面描绘弧线来打开和关闭的摆门。然而，门400也可以是由凹槽或轨道引导以成直线地打开和关闭的拉门、通过将摆门和拉门组合而获得的滑动门、折叠门、旋转门等。

门400不限于单开门，可以是双开门。

<操作示例2>

图22A和图22B示出操作者是单独的用户A的情况的操作的示例，其中图22A示出通过姿态的操作之前的场景，图22B示出通过姿态的操作之后的场景。

在图22A和图22B的情况下，用户A利用智能电话200A拍摄推开门400的姿态的图像。

在图20的情况下，允许用户A打开门400的操作(打开操作)。因此，从智能电话200A向驱动机构402(参见图21)发送在远离用户A的方向上打开门400的指令。在图22B中，门400被实际打开。

<操作示例3>

图23A和图23B示出操作者包括两个人(即，用户A和用户C)的情况的操作的示例，其中图23A示出通过姿态的操作之前的场景，图23B示出通过姿态的操作之后的场景。

在图23A和图23B的情况下，用户A和用户C二者执行打开门400的操作(打开操作)。用户A和用户C二者被允许执行打开门400的操作(打开操作)。然而，应该注意的是，用户C的操作的灵敏度被校正为一半。

在这种情况下，操作接收部254(参见图4)检测其他用户对旋钮401的操作(参见图6中的步骤109)，并向驱动机构402(参见图21)提供从两个操作合成的指令。

在图23A和图23B的示例中，两个人进行操作的方向彼此相同，因此，在增加门400打开的速度的方向上进行操作。

可生成给予与另一用户的操作的速度或作用力的大小匹配的触感。由于用户能够感觉到另一用户的操作的状态，所以给予用户改进的操作感。

<操作示例4>

图24A和图24B示出操作者包括两个人(即，用户A和用户B)的情况的操作的示例，其中图24A示出通过姿态进行操作之前的场景，图24B示出通过姿态进行操作之后的场景。

在图24A和图24B的情况下，用户A正在执行打开门400的操作(打开操作)，而用户B正在执行关闭门400的操作(关闭操作)。

用户A被允许执行打开门400的操作(打开操作)，用户B被允许执行关闭门400的操作(关闭操作)。然而，应该注意的是，用户B的操作的灵敏度被校正为两倍。

同样在这种情况下，操作接收部254(参见图4)检测其他用户对旋钮401的操作(参见图6中的步骤109)，并向驱动机构402(参见图21)提供根据这两个操作合成的指令。

在图24A和图24B的示例中，两个人的操作的方向彼此相反，并且加权之后的操作彼此平衡。因此，门400维持在固定状态。

同样在这种情况下，可生成给予与另一用户的操作的速度或作用力的大小匹配的触感。由于用户能够感觉到另一用户的操作的状态，所以给予用户改进的操作感。

<操作示例5>

图25A和图25B示出操作者包括两个人(即，用户A和用户B)的情况的操作的示例，其中图25A示出通过姿态进行操作之前的场景，图25B示出通过姿态进行操作之后的场景。

同样在图25A和图25B的情况下，用户A正在执行打开门400的操作(打开操作)，而用户B正在执行关闭门400的操作(关闭操作)。

然而，应该注意的是，在图25A和图25B的情况下，加权之后用户A的操作大于加权之后用户B的操作。即，打开门400的操作(打开操作)优先。

因此，门400被驱动打开。然而，应该注意的是，门400打开的速度低于用户A单独地执行操作的情况。

<第三示例性实施方式>

在本实施方式中，操作目标是具有两个操作元件的保险箱。

图26示出根据第三示例性实施方式的系统的示例。

图26中与图1对应的部分由对应标号表示。

图26所示的系统包括保险箱500以及拍摄保险箱500的图像的两个智能电话200A和200B。

保险箱500是作为操作目标存在于真实空间中的物体的示例。

图26所示的保险箱500的门501设置有两个拨号锁502和503，除非被设定为注册的数字，否则其不被解锁。

图27示出保险箱500的硬件配置的示例。

保险箱500包括MPU 511、存储诸如固件的数据的ROM 512、用作程序的工作区域的RAM 513、用于与诸如智能电话200(参见图26)的外部设备通信的通信部514以及将保险箱500电解锁和上锁的锁定机构515。在图27的情况下，各部通过总线516彼此连接。当然，各部之间的通信可通过总线516以外的组件实现。

图28示出用于保险箱500(参见图26)的操作的表254A3的示例。

表254A3的内容可由授权用户或管理者注册或校正。

在本实施方式的情况下，表254A3例如针对各个用户存储用户是否被允许执行特定操作、用户是否被允许通过与其他用户的协作来执行操作等。

例如在图28的情况下，基于与用户B的协作的解锁操作1和基于与用户D的协作的解锁操作3被分配给用户A。

在通过与用户B的协作执行的解锁操作1中用户A的作用是操作左侧拨号锁502。因此，在解锁操作1中即使用户A操作右侧拨号锁503，这种操作也是无效的。

在通过与用户D的协作执行的解锁操作3中用户A的作用是操作右侧拨号锁503。因此，在解锁操作3中即使用户A操作左侧拨号锁502，这种操作也是无效的。

此外，即使用户A与其他用户(例如，用户C)协作操作左侧拨号锁502和右侧拨号锁503中的一个，这种操作也是无效的。

例如，仅基于与用户C的协作的解锁操作2被分配给用户B。

在通过与用户C的协作执行的解锁操作2中用户B的作用是操作左侧拨号锁502。因此，在解锁操作2中即使用户B操作右侧拨号锁503，这种操作也是无效的。

此外，即使用户B与其他用户(例如，用户A或用户D)协作操作拨号锁502和503中的一个，这种操作也是无效的。

例如，仅基于与用户B的协作的解锁操作2被分配给用户C。

在通过与用户B的协作执行的解锁操作2中用户C的作用是操作右侧拨号锁503。当然，即使在用户C与用户B协作的情况下用户C操作左侧拨号锁502，这种操作也是无效的。此外，即使用户C与其他用户协作操作左侧拨号锁502和右侧拨号锁503中的一个，这种操作也是无效的。

例如，仅基于与用户A的协作的解锁操作3被分配给用户D。

在通过与用户A的协作执行的解锁操作3中用户D的作用是操作左侧拨号锁502。当然，即使在用户D与用户A协作的情况下用户D操作右侧拨号锁503，这种操作也是无效的。此外，即使用户D与其他用户协作操作左侧拨号锁502和右侧拨号锁503中的一个，这种操作也是无效的。

尽管在图28中不存在能够单独地操作左侧拨号锁502和右侧拨号锁503二者的用户，但是可存在这种用户。

图28没有指示操作左侧拨号锁502和右侧拨号锁503的定时的条件。然而，可提供附加条件，例如拨号锁502和503应该同时操作的条件(允许预先确定的时间长度的滞后)以及关于应该首先操作左侧拨号锁502和右侧拨号锁503中的哪一个的条件。操作的次序可在用户的组合之间不同。

用于解锁的操作元件的示例包括需要顺序输入字母数字字符的操作元件和拨号锁的组合、钥匙和拨号锁的组合、生物认证设备(例如，指纹认证设备、静脉认证设备和虹膜认证设备)以及使用挥扫或图案认证的方法。

需要顺序输入字母数字字符的操作元件可以是需要输入字符，一次一个字符的类型，或者需要操作打印有字母数字字符的按钮的类型。

<操作示例1>

图29示出用户B拍摄他/她自己的右手310重叠在右侧拨号锁图像503A上的图像的示例。

用户B在用他/她的左手(未示出)持握智能电话200B的同时在空中伸出他/她的右手310，并且在不接触右侧拨号锁503的情况下执行将右侧拨号锁503设定为数字的姿态。

图29所示的用户B的操作的方式对应于与用户A协作执行的解锁操作1(参见图28)。由于此操作有效，所以用户B在他/她的右手310中有触感。

在图29的情况下，作为实际图像的右手图像310A与左侧拨号锁图像502A、右侧拨号锁图像503A和门图像501A一起显示在液晶显示器223上。

用户B在看到正显示的右侧拨号锁图像503A的同时执行将右侧拨号锁图像503A设定为数字的操作。在图29的情况下，仅显示用户B的右手图像310A。

在这种情况下，当用户B执行操作时可给予用户A触感，并且当用户A执行操作时可给予用户B触感。不是由于用户他/她自己的动作所导致的振动被施加给用户，这使得用户能够知道另一用户的操作的执行。具体地，在需要使用户A的操作和用户B的操作的定时匹配的情况下，这种振动使得易于使定时匹配。

<操作示例2>

在早前讨论的操作示例1的情况下，无法在画面上确认其他用户的操作的方式。因此，例如，在需要使用户他/她自己的操作的定时与其他用户的操作的定时匹配的情况下、在需要遵循预先确定的执行次序的情况下等，用户需要在用户的视线远离画面的情况下确认其他用户的操作。

图30示出用户B拍摄他/她自己的右手310重叠在右侧拨号锁图像503A上的图像的不同示例。

图30中与图29对应的部分由对应标号表示。

在图30的情况下，液晶显示器223通过显示与用户A相关的虚拟手510和指示对左侧拨号锁图像502A的操作的方向的箭头511来指示协作用户A正在执行操作。

在图30中，通过显示虚拟手510来指示用户A正在执行操作的事实。然而，可使用字符或者通过变化作为操作目标的左侧拨号锁图像502A的显示方式来指示这种事实。例如，可显示字符“操作中”，左侧拨号锁图像502A的颜色可变化，或者左侧拨号锁图像502A可闪烁。

<操作示例3>

图31示出用户B拍摄他/她自己的右手310重叠在右侧拨号锁图像503A上的图像的不同示例。

图31中与图29对应的部分由对应标号表示。

在图31的情况下，显示由协作用户A操作的智能电话200A正拍摄的图像的小画面550在液晶显示器223上被显示在由用户B操作的智能电话200B正拍摄的图像的一部分中。

在本实施方式的情况下，从协作智能电话200A接收显示在小画面550上的图像。

在图31中，指示用户A使用该画面执行操作的标题显示在小画面550上。小画面550是显示其他用户的动作的图像的示例。

在图31的情况下，保险箱图像500A、门图像501A、左侧拨号锁图像502A、右侧拨号锁图像503A和右手图像310A显示在液晶显示器223上。

类似图像显示在小画面550内。

在图31的情况下，左侧拨号锁502和右侧拨号锁503的操作的方向由箭头指示。

当然，类似图像显示在由协作用户A持握的智能电话200A的液晶显示器223上。

因此，用户A和用户B被允许使其自己的操作的定时匹配，同时各个用户确认由另一用户执行的操作。

<第四示例性实施方式>

在早前讨论的示例性实施方式的情况下，智能电话200直接拍摄存在于真实空间中的物体的图像。然而，图像拍摄目标可能实际不存在于图像中要拍摄的空间中。

图32示出图像拍摄目标是显示在显示装置600的显示面601上的图像的情况。

例如，显示装置600是电视接收机或监视器。显示装置600的显示面601显示图像形成装置100(参见图1)的用户接口部图像110A。

用户接口部图像110A这里是从通过拍摄实际存在的图像形成装置110的图像而获得的图像数据再现的图像。

此外，拍摄用户接口部110的一部分的图像270(用于传真发送的按钮271和用于规格设定/注册的按钮272)显示在智能电话200的液晶显示器223上。在图32的情况下，食指图像301A显示为重叠在用于规格设定/注册的按钮272上。

本实施方式与参照图8描述的操作示例1相同，不同的是智能电话200的图像拍摄目标不同于作为操作目标的图像形成装置100(参见图1)。

同样在这种情况下，如果预先从可与智能电话200通信的设备的列表指定作为操作目标的图像形成装置100，则可按照与操作示例1中相同的方式操作图像形成装置100。

在可使用图像识别技术指定对应图像形成装置100的情况下，即使正显示在显示面601上的用户接口部图像110A与作为操作目标的图像形成装置100之间的关系未知，也可从远程位置通过姿态操作指定的图像形成装置100。

<第五示例性实施方式>

在早前讨论的示例性实施方式的情况下，使用设置到智能电话200的摄像头225(参见图3)在图像中同时拍摄操作目标物体(或其图像)和用户的身体部位。然而，可使用利用不同摄像头拍摄的图像。

图33示出通过姿态操作由智能电话以外的摄像头拍摄的物体的示例。

图33中与图9对应的部分由对应标号表示。

在图33中，web摄像头700用作拍摄图像形成装置100的图像的摄像头。

代替web摄像头700，可使用由其他用户使用的智能电话或不同的图像拍摄装置。

在本实施方式的情况下，用于执行操作的食指301的图像由作为操作者的用户所持握的智能电话200的摄像头225(参见图3)拍摄，并显示为重叠在图像形成装置图像100A(具体地，显示在用户接口部110上的用于规格设定/注册的按钮272)上。

在示例性实施方式的情况下，从智能电话200所拍摄的图像提取用户的食指图像301A以显示，或者显示独立于拍摄的图像准备的虚拟指尖图标等。

在本实施方式的情况下，接收到随用户的姿态一起执行的操作的智能电话200通过网络(未示出)向图像形成装置100发送指令。

<第六示例性实施方式>

在早前讨论的示例性实施方式中，智能电话200(参见图1)被描述为通过拍摄作为操作者的用户的姿态的图像来接收对图像形成装置100的操作的信息处理装置的示例。然而，也可使用可穿戴信息处理装置。

图34示出使用可穿戴信息处理装置的系统的示例。

图34中与图1对应的部分由对应标号表示。

在图34的情况下，用户穿戴眼镜型终端800。眼镜型终端800的硬件配置(参见图3)和功能配置(参见图4)与智能电话200相同。然而，应该注意的是，触摸板226(参见图3)没有附接到眼镜型终端800。

在眼镜型终端800的情况下，用户能够自由地使用他/她的双手。因此，眼镜型终端800可用于使用双手输入操作。例如，眼镜型终端800可用于向人形机器人提供对操作的指令。因此，与使用智能电话200的情况相比，可扩展可输入的操作的范围。

图34中的用户看到用户接口部图像110A。

<第七示例性实施方式>

尽管在先前讨论的示例性实施方式中显示在智能电话200上的操作目标物体设置有通信功能，将描述操作目标未设置有通信功能的情况。

图35示出通过姿态提供移动盆栽植物900的指令的情况。

盆栽植物图像900A和900B显示在智能电话200A和200B的相应画面上。同样在这种情况下，实际空间中的右手310在不接触盆栽植物900的情况下移动。

盆栽植物900未设置有通信功能或自走装置。因此，与早前讨论的示例性实施方式不同，即使在图像中通过智能电话200拍摄右手的动作，盆栽植物900也无法根据这种动作移动。

在本实施方式中，具有自走功能的人形机器人1000被指定为通过姿态进行操作的发送目的地。

例如，可从可与智能电话200通信的设备的列表中指定机器人1000作为指令的发送目的地。

尽管图35所示的机器人1000具有人形外观，但机器人可具有任何外观，只要提供必要的功能即可。例如，机器人可看起来像诸如狗或猫的动物、诸如花或树的植物或者诸如汽车(包括火车)或飞机的车辆或飞行器

图35所示的机器人1000包括躯干部1011、头部1012、手臂1013和1015、手1014和1016以及腿1017和1018。

躯干部1011存储用于信号处理的电子组件。躯干部1011可设置有显示设备或声学设备。

头部1012经由设置在颈部的关节机构联接到躯干部1011。在本实施方式的情况下，关节机构可绕三个轴旋转。绕三个轴的旋转包括偏航(绕z轴的旋转)、横滚(绕x轴的旋转)和俯仰(绕y轴的旋转)。关节机构这里是活动部的示例。

关节机构不必绕所有三个轴可旋转，关节机构可仅绕一个轴或两个轴旋转。这种旋转可通过电机(未示出)实现，或者可手动实现。不排除头部1012相对于躯干部1011固定的情况。

头部1012设置有眼睛1012A和1012B。眼睛1012A和1012B可装饰性地设置，或者可包括内置的图像拍摄设备、投影仪、照明器材等。头部1012可设置有活动耳。

根据本实施方式的手臂1013和1015经由关节机构联接到躯干部1011。手臂1013和1015的上臂和前臂经由关节机构彼此联接。与头部1012的关节机构一样，关节机构这里可为多轴型或单轴型。绕轴的旋转可通过电机(未示出)实现，或者可手动实现。手臂1013和1015可被固定到躯干部1011。关节机构这里也是活动部的示例。

手臂1013和1015可弯曲到预先确定的角度以用于搬运物体。

手1014和1016经由设置在腕部的关节机构分别联接到手臂1013和1015。手1014和1016的手掌和手指经由关节机构彼此联接。与头部1012的关节机构一样，关节机构可为多轴型或单轴型。绕轴的旋转可通过电机(未示出)实现，或者可手动实现。在本实施方式的情况下，手1014和1016可通过张开和闭合手指来抓握物体。关节机构这里也是活动部的示例。

手1014和1016可分别相对于手臂1013和1015固定。

腿1017和1018可经由关节机构联接到躯干部1011，或者可作为诸如车轮或履带的自走装置附接到躯干部1011。

在腿1017和1018经由关节机构联接到躯干部1011的情况下，与头部1012的关节机构一样，关节机构可为多轴型或单轴型。

绕轴的旋转可通过电机(未示出)实现，或者可手动实现。腿1017和1018可相对于躯干部1011固定。关节机构这里也是活动部的示例。

图36示出机器人1000的硬件配置。

机器人1000包括：控制部1021，其控制整个装置的动作；摄像头1022，其拍摄机器人周围的场景的图像；扬声器1023，其再现用于对话、曲调和声音效果的语音；麦克风1024，其用于输入或获取声音；活动(movable)机构1025，例如关节机构；通信部1026，其用于与外部装置(例如，智能电话)通信；显示部1027，其显示图像；移动机构1028，其使整个装置移动；电源1029，其向各部供应电力；传感器1030，其用于收集各部的状态以及关于周围环境的信息；以及位置检测部1031，其用于获取位置信息。这些部例如经由总线1032彼此连接。

应该理解，图36所示的硬件配置是示例性的。因此，机器人1000不必设置有早前讨论的所有功能部。

机器人1000还可设置有功能部(未示出)。例如，机器人1000可设置有电源按钮、存储装置(例如，硬盘装置或半导体存储器)、热源(包括冷却源)等。

控制部1021是所谓的计算机，并且包括CPU、ROM和RAM。ROM存储要由CPU执行的程序。CPU读取存储在ROM中的程序，并使用RAM作为工作区域来执行程序。CPU通过执行程序来控制构成机器人1000的各部的操作。

该程序包括与人工智能所对应的算法的实现相关联的程序。构成控制部1021的CPU和RAM提供由人工智能使用的计算资源。

根据本实施方式的控制部1021利用人工智能处理例如通过摄像头1022、麦克风1024和传感器1030获取的信息，以自主地确定与机器人1000的周围环境和状态匹配的操作。

例如，可通过扬声器1023输出语音，可通过通信部1026发送消息，并且可通过显示部1027输出图像。

控制部1021可通过这些信息的输入和输出以及活动机构1025的动作来与用户建立通信。通信的应用示例包括客户参加和主持会议。

控制部1021还具有在发生未知情况的情况下通过互联网搜索或与外部计算机的通信来收集附加信息，并根据与搜索中发现的事件的相似程度寻找解决方案的功能。

在本实施方式的情况下，由控制部1021获取的信息的示例包括通过视觉、听觉、触觉、味觉、嗅觉和平衡感以及温度获得的信息。

视觉通过识别由摄像头1022拍摄的图像的处理来实现。

听觉通过识别由麦克风1024获取的声音的处理来实现。

触觉的示例包括表浅感觉(例如，触感、疼痛和温度)、深部感觉(例如，压力、位置和振动)和皮质感觉(例如，二点辨别和三维辨别)。

控制部1021能够辨别触觉方面的差异。

通过由各种类型的传感器1030检测信息来实现触觉、味觉、嗅觉和平衡感以及温度。温度包括环境温度、内部温度以及人或动物的体温。

由控制部1021获取的信息可包括人或动物的脑波。在这种情况下，可通过通信部1026接收从安装到人等的脑波检测设备发送的信息来获得脑波。

在本实施方式的情况下，摄像头1022被设置在眼睛1012A和1012B(参见图35)的位置处。

在投影仪用作显示部1027的情况下，投影仪例如可被设置在眼睛1012A和1012B(参见图1)中的一个或两个处。投影仪可被设置在躯干部1011或头部1012中。

活动机构1025可不仅用于搬运物体，而且用于表达感情。

在活动机构1025用于搬运物体的情况下，例如通过手臂1013和1015和手1014和1016(参见图35)的变形，活动机构1025实现诸如抓握、持握和支撑物体的操作。

在活动机构1025用于表达感情的情况下，例如通过驱动头部1012、手臂1013和1015、手1014和1016等(参见图35)，活动机构1025实现诸如倾斜头部、仰视、环视、欢呼和指点的操作。

根据本实施方式的通信部1026与外部装置无线地通信。

机器人1000设置有若干通信部1026，其数量与假设为通信目标的外部装置所使用的通信方法的数量对应。通信方法的示例包括红外通信、可见光通信、接近无线通信、Wi-Fi(注册商标)、Bluetooth(注册商标)、RFID(注册商标)、ZigBee(注册商标)、IEEE 802.11a(注册商标)、MulteFire和低功率广域(LPWA)。

用于无线通信的频带包括短波长区域(例如，800MHz至920MHz)和长波长区域(例如，2.4GHz和5GHz)。

通信部1026和外部装置可使用通信线缆彼此连接。

显示部1027可用于实现与用户的视觉通信。例如，显示部1027可显示字符和图形。

在显示部1027设置在头部1012的情况下，显示部1027可显示面部表情。

在本实施方式的情况下，车轮或履带用于移动机构1028。然而，机器人1000可使用螺旋桨或压缩空气吹出机构通过气动力来移动。

二次电池用于根据本实施方式的电源1029。然而，也可使用生成电力的一次电池、燃料电池和太阳能电池中的任一种。

另选地，机器人1000可通过电缆从外部装置接收电力的供应，而非从电源1029。

在本实施方式的情况下，机器人1000设置有位置检测部1031。

位置检测部1031例如利用从全球定位系统(GPS)信号读取位置信息的方法、使用等同于GPS信号的信号来测量室内位置的室内消息系统(IMES)方法、从发送自多个Wi-Fi接入点的无线电波的强度、到达时间等测量位置的Wi-Fi位置测量方法、从对定期生成自基站的信号的响应的方向和延迟时间测量位置的基站位置测量方法、通过接收不可听范围内的超声波来测量位置的声波位置测量方法、通过从使用Bluetooth的信标接收无线电波来测量位置的Bluetooth位置测量方法、使用通过来自发光二极管(LED)等的照明光的闪烁传达的位置信息来测量位置的可见光位置测量方法、或者使用加速度传感器、陀螺仪传感器等来测量当前位置的自主导航方法。

图37示出多个用户彼此协作以向机器人1000提供移动盆栽植物900的指令的示例。

图37中与图35对应的部分由对应标号表示。

如其它示例性实施方式中一样，用户A和用户B分别在其自己的智能电话200A和200B前方移动其右手310，并拍摄这种动作的图像。

当右手310的动作被接收为操作时，智能电话200指示能够移动到盆栽植物900的机器人1000执行该操作。操作这里是将盆栽植物900向旁边移动。

此移动操作并不总是需要用户A和用户B之间的协作。因此，在检测到其他用户对盆栽植物900的操作的情况下(参见图6中的步骤109)，智能电话200A和200B向机器人1000提供通过将两个操作组合而获得的指令。如早前讨论的第二示例性实施方式的情况中一样，可针对其他用户给予要组合的操作不同的权重。

当接收到移动指令时，机器人1000移动到作为移动目标的盆栽植物900的位置，并且抓住盆栽植物900并将其向旁边移动。

在这种情况下，智能电话200A和200B显示抓住并移动盆栽植物图像900A的机器人图像1000A和右手图像310A。

在图37的情况下，右手图像310A显示为透明图像，以方便盆栽植物图像900A和机器人图像1000A的确认。

另外，在图37的情况下，指示其他用户B如何操作相同物体的小画面1100显示在由用户A持握的智能电话200A上，并且指示其他用户A如何操作相同物体的小画面1200显示在由用户B持握的智能电话200B上。小画面1100和1200是显示其他用户的动作的图像的示例。

小画面1100和1200还显示指示各个用户的操作的方向和大小的箭头。

这允许各个用户使他/她自己的操作的定时与另一用户的操作的定时匹配并调节他/她自己的操作的方向。

在图37的情况下，盆栽植物900和机器人1000二者实际存在于用户的眼睛前方，因此，几乎不需要以透明方式显示右手图像310A。然而，在分别显示在智能电话200A和200B上的盆栽植物图像900A和900B不存在于用户的眼睛前方的情况下(例如，在来自web摄像头的图像显示在智能电话200上的情况下)，右手图像310A可按照透明方式显示，以方便确认实际空间中的场景。

<其它示例性实施方式>

尽管上面描述了本公开的示例性实施方式，本公开的技术范围不限于上面所讨论的示例性实施方式。从下面的权利要求显而易见的是，可对上面所讨论的示例性实施方式进行的各种修改和改进也落在本公开的技术范围内。

例如，在早前讨论的示例性实施方式中，智能电话200(参见图1)或眼镜型终端(参见图34)用作基于姿态提供对物体的操作的指令的信息处理装置的示例。然而，信息处理装置可以是例如包括用于图像拍摄的摄像头、显示部和通信部的平板终端、所谓的数字摄像头、诸如游戏设备的玩具、手表型可穿戴终端或者具有内置摄像头的隐形眼镜。具有内置摄像头的隐形眼镜是可穿戴终端的示例，也被称为“智能隐形眼镜”。智能隐形眼镜包括设置在与角膜接触使用的镜片中并且可通过眨眼操作的例如摄像头、天线和电子组件(例如，发送/接收电路和信号处理电路)。例如可执行用于快门释放、变焦、光圈设定和聚焦的操作。

在早前讨论的示例性实施方式中，智能电话200执行接收在图像中通过智能电话200拍摄的用户的身体部位的动作作为操作的处理。然而，智能电话200可用作拍摄身体部位的动作的图像的单元，并且外部装置(例如，服务器)可执行接收这种动作作为操作的处理。

在早前讨论的示例性实施方式中，提供图像形成装置100(参见图1)、门400(参见图19)和保险箱500(参见图31)作为操作目标物体的示例。然而，操作目标物体的示例还可包括控制杆、操纵杆、变速杆、方向指示杆、制动杆、车辆控制器、照明器材、空调、音频设备和家用电器。

在早前讨论的示例性实施方式中，图像形成装置100(参见图1)是在诸如纸张的记录材料上打印二维图像的装置。然而，图像形成装置100可以是形成立体图像(三维图像)的三维打印机。

为了例示和描述的目的提供了本公开的示例性实施方式的以上描述。其并不旨在为穷尽性的或者将本公开限于所公开的精确形式。显然，对于本领域技术人员而言许多修改和变化将是显而易见的。选择并描述实施方式以最佳地说明本公开的原理及其实际应用，从而使得本领域技术人员能够理解本公开的各种实施方式以及适合于可以想到的具体用途的各种改型。本公开的范围旨在由以下权利要求书及其等同物限定。