阅读说明：本技术 控制装置、控制方法及程序 (Control device, control method, and program ) 是由 入江淳 半田正树 赤间健人 何信莹 大桥武史 河野碧 于 2018-11-14 设计创作，主要内容包括：一种控制装置,具有用于基于识别到手的结果输出控制香气的输出的信息的控制单元。(A control device has a control unit for outputting information for controlling the output of fragrance based on the result of recognizing a hand.)

控制装置、控制方法及程序

技术领域

本公开涉及控制装置、控制方法及程序。

背景技术

已知的是将基于用户的感知(例如，气味)的信息转换为基于另一动物的感知的信息并且将转换信息提供给用户的装置(例如，参考下面的专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请公开第2014-165706号

发明内容

本发明待解决的问题

在这种领域中，期望的是基于合适的信息将有关感知的信息提供给用户。

本公开的目标是例如提供输出信息的控制装置、控制方法及程序，该信息基于合适的信息控制香味(气味)的输出。

问题的解决方案

例如，本公开是控制装置，包括控制单元，基于识别手的结果输出控制香味的输出的信息。

例如，本公开是控制方法，包括由控制单元基于识别手的结果输出控制香味的输出的信息。

例如，本公开是使得计算机执行控制方法的程序，该方法包括由控制单元基于识别手的结果输出控制香味的输出的信息。

本发明的效果

根据本公开的至少一个实施方式，可以基于合适的信息输出控制香味(气味)的输出的信息。不局限于在此描述的效果，并且可以是在本公开中描述的任意效果。此外，本公开的内容不被解释为由于示例性的效果而受到限制。

附图说明

[图1]图1是示出了根据实施方式的控制系统的配置实例的框图。

[图2]图2是示出了根据实施方式的控制装置的示例性外观的示图。

[图3]图3是示出了根据实施方式的控制装置的配置实例的框图。

[图4]图4是示出了根据实施方式的香味输出装置的配置实例的框图。

[图5]图5A至图5D是示出了根据实施方式的香味输出装置的具体实例的示图。

[图6]图6是用于示意性地描述对识别手的动作等进行处理的示图。

[图7]图7是用于描述对估计手的位置进行处理的实例的示图。

[图8]图8是用于描述对估计手的位置进行处理的实例的示图。

[图9]图9是用于描述对估计手的位置进行处理的实例的示图。

[图10]图10A至图10D是用于描述根据第一实施方式的处理概述的示图。

[图11]图11是用于描述根据第一实施方式的处理流程的流程图。

[图12]图12是用于描述根据第一实施方式的处理(变型例)流程的流程图。

[图13]图13A至图13D是用于描述根据第二实施方式的处理概述的示图。

[图14]图14是用于描述根据第二实施方式的处理流程的流程图。

[图15]图15是用于描述根据第二实施方式的处理(变型例)流程的流程图。

[图16]图16是用于描述根据第二实施方式的处理(变型例)流程的流程图。

[图17]图17是用于描述根据第二实施方式的处理(变型例)流程的流程图。

[图18]图18A至图18D是用于描述根据第三实施方式的处理概述的示图。

[图19]图19是用于描述根据第三实施方式的处理流程的流程图。

具体实施方式

以下将参考附图描述本公开的实施方式等。应注意，将按以下顺序进行描述。

<关于实施方式通用的技术>

<第一实施方式>

<第二实施方式>

<第三实施方式>

<变型例>

<关于实施方式通用的技术>

[关于控制系统]

首先，将描述本公开的每个实施方式通用的技术。图1是示出了根据本公开的实施方式的控制系统(控制系统1)的配置实例的示图。控制系统1具有包括例如控制装置2和香味输出装置3的配置。

将示意性地描述控制系统1的操作。控制装置2基于识别手的结果输出控制香味(气味)的输出的信息。控制装置2基于例如用户的手的形状的识别结果或者关于手的形状连续变化，换言之，手的位置或手的动作的识别结果输出作为控制香味的输出的信息的控制信号S1。将从控制装置2输出的控制信号S1提供至香味输出装置3。香味输出装置3根据控制信号S1发出香味等。应注意，香味输出装置3能够根据目标发出多种类型的香味等。

应注意，香味的输出意指控制香味，并且具体地该含义包括使得发出(释放)香味、使得改变香味的强度、使得改变香味出现的方向、消除香味的发出以及香味发出持续的时间段中的至少一者。因此，可能存在香味输出装置3根据控制信号S1发出香味、停止发出香味、改变香味的强度等的情况。

在控制系统1中，可存在一个或多个香味输出装置3。此外，尽管在实施方式中香味输出装置3被描述为与控制装置2在物理上分离的装置，但是香味输出装置3可以是在物理上集成到控制装置2的装置，换言之，控制装置2可具有香味输出装置3。此外，香味输出装置3可以是可从控制装置2拆卸的装置。

控制系统1可包括除了控制装置2和香味输出装置3的装置。例如，控制系统1可具有使得用户感知周围环境变化的装置(以下视情况被称为环境变化发出装置)。这种环境变化发出装置的实例包括发出声音的装置(例如，便携式扬声器装置)、使得风扇等发出风的装置、照明装置等。可存在一个或多个环境变化发出装置。此外，可以使用不同类型的环境变化发出装置。基于控制信号S2控制环境变化发出装置的操作，该控制信号S2是使得用户感知周围环境变化的信息。例如，控制信号S2从控制装置2提供至环境变化发出装置。这种环境变化发出装置可以结合到控制装置2或香味输出装置3中。

[关于控制装置]

(示例性外观)

接下来，将描述控制装置2。图2是示出了控制装置2的示例性外观的示图。例如，控制装置2被配置为可穿戴设备(可以穿戴在人体上且具有可穿戴大小的设备)。更具体地，如图2所示，根据实施方式的控制装置2被配置为眼镜型终端装置。

与普通眼镜相似，控制装置2具有用于保持右图像显示单元6a和左图像显示单元6b的框架5。右图像显示单元6a和左图像显示单元6b被布置为分别放置在用户的右眼和左眼前方。

框架5设置有各种传感器、成像装置、电池等(省略了这些的示图)。例如，在右图像显示单元6a和左图像显示单元6b上显示经由成像装置获得的图像(实际图像)。通过在框架5的合适位置上设置成像装置，可以在右图像显示单元6a和左图像显示单元6b上显示用户视点的图像。

代替实际图像，可以在右图像显示单元6a和左图像显示单元6b上显示由控制装置2产生的图像或者从外部装置提供的图像。在这种情况下，可以将空间，所谓的虚拟现实(VR)提供给用户。此外，添加预定对象的图像的实际图像可以显示在右图像显示单元6a和左图像显示单元6b上。在这种情况下，可以将空间，所谓的增强现实(AR)提供给用户。

(配置实例)

图3是示出了控制装置2的配置实施例的框图。例如，控制装置2具有控制单元21、图像传感器单元22、传感器单元23、通信单元24、扬声器25和显示器26，并且这些单元中的每一个经由预定的接口27连接。

控制单元21包括中央处理单元(CPU)等，并且控制该控制装置2的每个单元。控制单元21具有其中存储程序的只读存储器(ROM)21a、以及当执行程序时用作工作存储器的随机存取存储器(RAM)21b。

控制单元21通过对由图像传感器单元22获得的图像数据执行预定图像处理来识别用户的手的位置或手的动作。控制单元21根据手的位置、手的动作等输出作为控制香味的输出的信息的控制信号S1。控制单元21具有用于执行图像处理的处理电路(未示出)。

图像传感器单元22由电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)等配置。图像传感器单元22将经由透镜单元(未示出)进入的物光光电转换为充电量(图像数据)，并且输出图像数据。图像数据经由接口27提供至控制单元21。

除了图像传感器单元22之外，传感器单元23是用于配置的普通术语。作为传感器单元23，以动作传感器，具体地，加速度传感器、陀螺仪传感器、电子指南针、大气压力传感器等举例说明。传感器单元23可具有测量控制装置2的用户的生理信息(例如，血压、脉动、体温等)的生理传感器。此外，传感器单元23可具有用于检测用户是否穿戴控制装置2的压力传感器、检测声音的麦克风等。可以视情况根据由控制装置2执行的控制内容改变传感器单元23的配置。

例如，通信单元24用于执行与香味输出装置3的无线通信。通信单元24根据通信方法、天线等具有调制解调器电路。无线通信的实例包括局域网(LAN)、蓝牙(注册商标)、Wi-Fi(注册商标)、或无线USB(WUSB)等。

扬声器25输出声音。扬声器25根据控制单元21的控制发出预定声音。声音可以是诸如人声或自然声的任何声音。声源可以是存储在控制单元21中的数据或者可以是经由通信单元24获取的数据。

显示器26的配置对应于上述右图像显示单元6a和左图像显示单元6b的配置。显示器26包括液晶显示器(液晶LCD)、有机发光二极管(OLED)等。

[关于香味输出装置]

(配置实例)

图4是示出了香味输出装置3的主要配置实例的框图。例如，香味输出装置3具有控制单元31、通信单元32和香味输出机构33。

控制单元31包括CPU等，并且控制香味输出装置3的每个单元。控制单元31具有存储程序的ROM、以及当执行程序时用作工作存储器的RAM。应注意，省略了这些说明。控制单元31基于从控制装置2传输的控制信号S1执行关于香味的发出等的控制。

例如，通信单元32用于执行与控制装置2的无线通信。通信单元32根据通信方法、天线等具有调制解调器电路。

香味输出机构33是实际发出香味等的机构。香味输出机构33通过例如使液体香味源挥发来发出香味。应注意，发出香味的已知机构可以应用于香味输出机构33。

(具体实例)

将参考图5A至图5D描述香味输出装置3的具体实例。例如，在图5A中举例说明的香味输出装置3具有壳体310，在顶视图中该壳体310大体上是矩形并且呈盒型。在壳体310中，包含香味源。在侧表面311上沿壳体310的纵向方向设置多个孔。在图5A中示出的实例中，设置了三个孔(孔312a、312b和312c)。应注意，在无需区分单个孔的情况下，这些孔视情况被称为孔312。例如，孔312被配置为能打开和关闭。

香味经由孔312从壳体310内部释放出来。例如，香味通过打开孔312从壳体310内部释放出来。此外，通过关闭孔312停止香味的释放。

可以通过将孔312视情况在多个孔312之中打开来控制香味出现的方向。例如，在用户出现在面向侧表面311的大体上中心的位置的情况下，可以通过仅打开孔312c对使得用户觉得香味来自正确方向执行控制。

可以改变孔312的打开和关闭程度。通过使得孔312更大程度地打开，可以增加香味的强度。此外，通过使孔312变窄，可以降低香味的强度。此外，诸如风扇的通风机构可以设置在壳体310中。还可以根据通风的强度改变香味的强度。

图5B中示出的实例是可以附接至便携式设备(例如，根据实施方式的控制装置2或者智能电话)的香味输出装置3的实例。例如，图5B中示出的香味输出装置3具有小且圆柱形的壳体313。壳体313通过未示出的附接机构(例如，夹形附接机构)附接至智能电话等的壳体。然后，从壳体313的预定孔释放香味。当然，在该实例中，也可以改变香味的强度等。应注意，在图5B中，通过点阴影示意性地示出了香味。

图5C中示出的实例是具有管状壳体的香味输出装置3的实例。在图5C中，示出了四个香味输出装置3，并且每一个香味输出装置3具有管状壳体315a、315b、315c或315d。例如，从管状壳体的上部发出香味。这些香味输出装置3被布置在合适的位置，并且视情况选择发出香味的香味输出装置3。因此，控制从任意地方发出香味成为可能。当然，香味输出装置3的数量不限于四个，而是可以设置任意数量。

图5D中示出的实例是移动的香味输出装置3的实例。图5D中示出的香味输出装置3具有小且圆柱形的壳体316。从壳体316释放香味。例如，由线性电机(未示出)等支撑壳体316。如图5D中示意性地示出的，壳体316视情况通过驱动线性电机是可移动的。通过将壳体316设置在任意位置并且允许香味从该位置处的壳体316释放，可以从合适位置发出香味。即，在实施方式中，除了香味发出部分之外，可以任意设置香味的强度、停止香味发出的时间等。

[关于有关手的形状的识别]

接下来，将描述通过控制装置2的控制单元21执行有关手的识别方法。图6概括了识别方法。例如，输入用手抓取咖啡杯的图像(图像IM1)。基于图像IM1计算特征值。特征值的实例包括基于卷积神经网络(CNN)的特征值、梯度方向直方图(HOG)特征值、以及基于尺度不变特征变换(SIFT)的特征值。

然后，通过分析由诸如检测、识别和分割的预定算法获得的特征值来确定手的位置等。作为算法，可以应用上述CNN、提升(Boosting)、支持向量机(SVM)、图分割等。

然后，根据分析结果，可以如由图6中的参考符号AA指示的检测手的位置。应注意，实施方式中的“手”意指手腕更向下的一部分，但是可包括上臂区。“手”可以是一部分(例如，只有手指)，不是手腕更向下的整个部分。此外，可以如通过图6中的参考符号BB指示的检测手的位置或姿势。应注意，在由参考符号BB指示的附图中，手上设置的圆圈表示特征点CP。

此外，通过对多个框架的图像执行上述处理，如通过图6中的参考符号CC(CC1至CC4)指示的控制装置2还可以识别手的动作。设置有参考符号CC1的手的动作指示在水平方向(Horizontal)上移动手的实例。设置有参考符号CC2的手的动作指示在竖直方向(Vertical)上移动手的实例。设置有参考符号CC3的手的动作指示在顺时针方向(Clockwise)上移动手的实例。设置有参考符号CC4的手的动作指示在逆时针方向(Counterclockwise)上移动手的实例。当然，要识别的手的动作不限于这些举例说明的实例，并且可以识别各种手的动作。此外，上述处理不是基于举例说明的算法，并且可以应用已知的方法。

(手的位置估计方法的实例)

接下来，将参考图7至图9描述用于估计手的位置的方法的实例。图7中示出的图表的水平轴指示输入图像的实例。在图7中示出的实例中，示出了三个输入图像IM5、IM6和IM7。图7中示出的图表的竖直轴是对应于输入图像的手的特征点的坐标(位置)。坐标由(x_t，y_t，z_t)(其中，t是框架数)指示。此外，例如，x_t由x_t＝(x_t0，x_t1...x_tn)(其中，n是特征点的数量)表示。即，x_t指示每个特征点的一组x轴坐标。与每个特征点的y_t和z_t是类似的。

通过学习输入图像的坐标，如图8所示，获得输入图像与手的位置的坐标之间的对应关系。尽管在图8中示出的实例中示出了线性对应关系，但是可以使用另一对应关系，诸如非线性对应关系。

在获得对应关系之后，例如，在如图9所示输入与图像IM7相似的图像IM8的情况下，可以基于该对应关系估计图像IM8的手的坐标位置。可以通过使用上述方法估计手的位置。

<第一实施方式>

将描述第一实施方式。第一实施方式是控制装置2的控制单元21基于识别手的结果识别手的位置并且输出用于控制从该位置输出香味的信息的实例。应注意，本说明书中的“位置”可以是精确匹配该位置的位置，或者可以是接近该位置的位置。接近的具体实例是能够控制有关香味的输出的多个位置之中的离目标位置(例如，手的位置或对象位置)最近的位置。

(处理概述)

图10A至图10D是在概念上示出了对应于第一实施方式的内容的示图。例如，经由控制装置2的图像传感器单元22输入用户的视点的图像IM11。图像IM11是控制装置2的用户用手HA抓取咖啡杯41的图像。应注意，咖啡杯41可以是实际对象或者可以是叠加在真实空间上的虚拟对象。图像IM11从图像传感器单元22提供至控制单元21。

基于图像IM11，控制单元21通过使用如图10B所示的图像IM11中的特征点CP、图案匹配或另一方法分离和检测手HA。然后，通过使用特征点CP的位置、图案匹配或另一方法确定检测到的手HA是否具有对象。应注意，基于另一传感器装置(例如，为咖啡杯41设置的压力传感器)的感测数据，可以检测手HA，并且可以确定手HA是否具有咖啡杯41。

然后，如图10C中示意性地示出的，在确定手HA具有对象的情况下，计算检测到的手HA的三维位置。三维位置可以是世界坐标系的三维坐标(x，y，z)，或者可以是投射在图像平面上的点的具有包括的点的深度信息的二维坐标(u，v，d)。例如，通过手姿势检测技术获得手HA的三维位置。此外，可以通过使用手HA的区域的重心和通过手分割技术获得的部分的深度信息(depth information)获得三维位置。

然后，如图10D中示意性地示出的，对从与所获得的手HA的三维位置对应的地方发出香味执行控制。在这个实施方式中，香味是咖啡的香味。将描述控制发出香味的实例。例如，假设多个香味输出装置3被布置在用户的手HA存在的空间中。控制单元21为多个香味输出装置3中的布置在手HA的三维位置(或者离该位置最近的位置)处的香味输出装置3产生控制信号S1。即，控制信号S1包括识别香味输出装置3的标识符以及给出香味发出的指令的数据。该控制信号S1经由通信单元204同时传输至每一个香味输出装置3。

每一个香味输出装置3经由通信单元32接收控制信号S1。然后，每一个香味输出装置3的控制单元31解译控制信号S1，并且解译控制信号S1是不是发给控制单元31的信号。在控制信号S1发给控制单元31的情况下，控制单元31驱动香味输出机构33并且使得香味输出机构33发出香味。利用该布置，香味从手HA的三维位置发出，并且用户可以觉察到香味从直观识别的预定位置发出。

应注意，用于根据发出香味的对象(在这个实施例中，咖啡杯41)的深度方向上的位置控制香味强度的数据可以包括在控制信号S1中。例如，在深度方向上距用户的距离长的情况下，使得香味变淡，并且在深度方向上距用户的距离短的情况下，使得香味变浓。

此外，不需要多个香味输出装置3。例如，在香味输出装置3可移动的情况下，香味输出装置3可以移动至与手HA的三维位置对应的位置，并且可以使得香味从移动之后的香味输出装置3发出。

(处理流程)

图11是示出了根据第一实施方式的处理流程的流程图。例如，通过控制单元21执行以下描述的处理。在步骤ST11中，确定用户是否具有对象(可以是虚拟对象或真实对象)。例如，如下执行步骤ST11中的处理。设置在对象上的压力传感器的输出根据用户的紧握操作改变，并且通过通信执行控制装置2的检测结果。控制装置2的控制单元21可以基于由该通信提供的信息确定用户是否具有对象。

在确定用户没有对象的情况下，该处理返回至步骤ST11，并且重复步骤ST11中的确定处理。在确定用户具有对象的情况下，该处理进行至步骤ST12。

在步骤ST12中，图像数据经由接口27从图像传感器单元22提供至控制单元21。然后，该处理进行至步骤ST13。

在步骤ST13中，控制单元21从图像数据估计持有该对象的手HA的三维位置。作为估计方法，可以应用除了上述方法之外的已知方法。然后，该处理进行至步骤ST14。

在步骤ST14中，根据在步骤ST13中获得的手HA的三维位置，控制单元21执行控制使得与对象对应的香味好像从该位置释放。即，控制单元21产生用于执行这种控制的控制信号S1，并且输出所产生的控制信号S1。控制信号S1被提供至香味输出装置3，并且预定的香味输出装置3执行发出香味的操作。

应注意，图11中示出的处理流程可以修改为图12中示出的流程图。即，可以在步骤ST11之前执行步骤ST12中的处理。在步骤ST12中，图像数据经由接口27从图像传感器单元22提供至控制单元21。控制单元21基于图像数据确定手HA是否具有对象。例如，控制单元21基于图像数据确定紧握对象的手HA的形状或者手HA与对象之间的距离等，并且确定手HA是否具有对象。因为其他处理与上述处理相同，因此将省略重复的描述。

如上所述，在第一实施方式中，可以执行处理以基于识别手HA的结果识别手HA的位置并且控制从该位置输出预定香味。

<第二实施方式>

接下来，将描述第二实施方式。第二实施方式是控制单元21基于识别手的动作(手势)的结果输出控制香味的输出的信息。应注意，除非另有说明，否则在第一实施方式中描述的项目可以应用于第二实施方式。

[处理概述]

图13A至图13D是在概念上示出了对应于第二实施方式的内容的示图。图13A至图13C是与第一实施方式中描述的项目相似，并且因此仅将示意性地进行描述。即，基于输入图像IM12检测手HA的三维位置。此外，在这个实施方式中，进一步识别手HA的动作。例如，检测特征点的变化、手HA的形状的变化等，并且与变化相关联的手的动作被识别为手HA的预定动作。手HA的动作的识别可以是另一已知方法(诸如，基于被称为手势识别的技术的方法)。然后，基于手HA的三维位置控制香味的输出。在那时，执行根据识别的手的动作的控制。应注意，当区分香味类型时，可以根据手HA的动作和识别的对象区分香味的类型。

[处理流程]

图14是示出了根据第二实施方式的处理流程的流程图。例如，通过控制单元21执行以下描述的处理。因为步骤ST21至步骤ST23中的处理与上述第一实施方式中的步骤ST11至步骤ST13中的处理相似，将省略重复描述。在步骤ST23之后，该处理进行至步骤ST24。

在步骤ST24中，在存在手HA的动作的情况下，控制单元21识别该动作。然后，该处理进行至步骤ST25。

在步骤ST25中，根据手HA的三维位置，控制单元21执行控制使得与对象和手的动作对应的香味好像从该位置发出。

应注意，图14中示出的处理流程可以修改为图15中示出的流程图。即，可以在步骤ST21之前执行步骤ST22中的处理。在步骤ST22中，图像数据经由接口27从图像传感器单元22提供至控制单元21。控制单元21基于图像数据确定手HA是否具有对象。因为其他处理与上述处理相同，因此将省略重复的描述。

此外，如在图16中示出的流程图中，可不必存在对象，并且可不必执行用户是否具有对象的确定。即，首先执行步骤ST22中的处理，并且图像数据被从图像传感器单元22输入至控制单元21。然后，该处理进行至步骤ST26。

在步骤ST26中，控制单元21基于在步骤ST22中输入的图像数据识别手HA的三维位置和手HA的动作。然后，该处理进行至步骤ST27。

在步骤ST27中，控制单元21根据在步骤ST26中识别的手HA的三维位置和手HA的动作执行有关香味输出的控制。

应注意，不仅可以执行有关香味输出的控制而且可以执行使得用户感知周围环境变化的控制。例如，可以执行控制声音发出、风的发出等。

[处理的变型例]

在执行了图14至图16中示出的处理之后，可以执行图17中的流程图中示出的处理(步骤ST28和步骤ST29中的处理)。应注意，图14至图17中示出的圈中的字母“A”、“B”和“C”用于指示处理的连续性，而不指示具体处理。

在步骤ST28中，控制单元21确定情形是否改变。例如，情形的改变意指检测到手HA的新动作的情况或者手HA的三维位置改变的情况。在情形没有改变的情况下，该处理返回至步骤ST28，并且重复步骤ST28中的确定处理。在情形改变的情况下，该处理进行至步骤ST29。

在步骤ST29中，执行根据情形的变化的有关香味输出的控制。例如，执行控制以改变香味的强度和香味出现的方向。以及可以改变有关香味输出的控制、除了该控制之外的控制内容。例如，可以根据情形的变化改变从作为环境变化发出装置中的一个的通风装置输出的风量。

[具体实例]

将描述与第二实施方式对应的具体实例。下面的表1是示出了与第二实施方式对应的具体实例的表。

[表1]

表1示出了每一个模式编号，手HA的识别动作(可能存在包括对象的情况)、从与图像传感器单元22不同的传感器装置输入的实例、以及香味输出实例。

在模式P1的情况下，“花”被识别为对象，“触摸”动作被识别为手HA的动作，并且从这些结果，识别手HA“触摸花”的动作。应注意，在这种情况下，花可以是已经由图像识别等识别为花的真实对象，或者可以是已经识别为花的虚拟对象。在这种情况下，执行控制以从与手HA的三维位置对应的位置发出花的香味。然后，操作香味输出装置3发出花的香味。

在模式P2的情况下，“水果”被识别为对象，“压碎”动作被识别为手HA的动作，并且从这些结果，识别手HA“压碎水果”的动作。手HA可以是一只手或者可以是双手。应注意，在这种情况下，水果可以是已经由图像识别等识别为水果的真实对象，或者可以是已经识别为水果的虚拟对象。在这种情况下，执行控制以从与手HA的三维位置对应的位置发出水果的香味。然后，操作香味输出装置3发出水果的香味。

在模式P3的情况下，“酒杯”被识别为对象，并且转动动作被识别为手HA的动作。从这些结果，识别手HA“摇晃酒杯”的动作。应注意，在这种情况下，酒杯可以是已经由图像识别等识别为酒杯的真实对象，或者可以是已经识别为酒杯的虚拟对象。在这种情况下，执行控制以从手HA的三维位置发出葡萄酒的香味。然后，操作香味输出装置3发出葡萄酒的香味。

模式P4是不存在对象的模式。作为手HA的动作，例如，好像当使用魔法时识别手HA的动作。手HA的这种动作包括盛开手势(打开接近胸腔握紧的手HA的动作)和抬起食指的动作。在识别手HA的这种动作的情况下，从手HA的三维位置释放适于魔法的香味(在打开手HA的三维位置的盛开手势的情况下)。例如，在处理火焰的魔法的情况下，操作香味输出装置3以从手HA的三维位置发出燃烧的香味。因此，在根据手HA的动作控制香味的输出的情况下，不必需要对象的存在。

应注意，当识别手HA的动作时，另一输入可以被称为为了识别手HA的动作的含义。在模式P4的情况下，另一输入是声音。例如，在检测到吟唱魔法咒语的语音的情况下，香味输出装置3可以发出燃烧的香味以及手HA的动作。例如，可以通过传感器单元23检测语音。通过参考另一输入，可以执行更合适的控制，并且可以防止由于不正确的识别导致的不合适的控制。

此外，为了给出更逼真的感觉，可以执行有关不仅是香味的输出、风的输出或环境变化发出装置的声音的输出或(例如，瞬时发出火焰的声音)的控制。

模式P5是与情形变化相关联的香味控制的实例。在模式P5中，例如，游戏控制器被识别为对象，并且紧握该对象的动作被检测为手HA的动作。在此，假设紧握力增加。可以由作为具体实例的压力传感器的传感器单元23检测紧握力的变化。在紧握力增加的情况下，香味的强度改变。例如，在紧握力增加的情况下，执行增加香味的强度的控制。

在模式P6的情况下，动作“鼓掌”被识别为手HA的动作。可以从每次鼓掌的手的打开程度(双手之间的距离)识别鼓掌的量。可以根据鼓掌的程度执行改变香味的强度的控制。应注意，在模式P6的情况下，可以通过声音识别来识别鼓掌的声音以及手HA的动作。不仅香味的输出，还可以执行有关风的输出(例如，从由双手触摸的一部分的风的发出)或者环境变化发出装置的声音的输出的控制。

模式P7是基于手HA的连续动作的香味控制的实例。在模式P7中，例如，“花”被识别为对象。应注意，在这种情况下，花可以是已经由图像识别等识别为花的真实对象，或者可以是已经识别为花的虚拟对象。然后，在抚弄花之后，被识别为手HA的动作，移动手HA的动作，例如，靠近鼻子。在这种情况下，执行从移动靠近鼻子的手HA的三维位置发出花的香味的控制。

温度传感器的检测结果可以用作另一输入。例如，在根据温度变化“肉类”被识别为对象且“烤肉”的动作被识别为手HA的动作的情况下，可以执行输出烤肉的声音的控制以及发出烤肉的香味的控制。

<第三实施方式>

接下来，将描述第三实施方式。第三实施方式是控制单元21基于有关手HA(手势)的动作的识别结果输出删除香味的信息的实例。应注意，除非另有说明，否则在第一和第二实施方式中描述的项目可以应用于第三实施方式。应注意，不是基于手HA的动作，而是基于手HA在预定位置的形状(例如，在鼻子附近伸手的形状，好像遮拦鼻子)，可以输出删除香味的信息。

[处理概述]

图18A至图18D是在概念上示出了对应于第三实施方式的内容的示图。图18A至图18C是与第一实施方式中描述的项目相似，并且因此仅将示意性地进行描述。即，基于输入图像IM13检测手HA的三维位置。在这个实施方式中，例如，根据特征点的位置或变化、手HA的形状的变化等检测手HA的形状和手HA(在下文中，视情况称为手HA的动作等)中的至少一者。在检测到的手HA的动作等是预设动作等的情况下，控制单元21确定用户厌恶香味，并且作为控制信号S1输出删除香味的信息。应注意，在这个实施方式中，删除香味可意味着减弱香味的强度，可意味着使得停止香味的发出，或者可意味着控制通风等，以便直接消除香味(在下文中，视情况称为除臭)，以及使得停止香味的发出。

[处理流程]

图19是示出了根据第三实施方式的处理流程的流程图。例如，通过控制单元21执行以下描述的处理。在步骤ST31中，图像数据经由接口27从图像传感器单元22输入至控制单元21。然后，该处理进行至步骤ST32。

在步骤ST32中，控制单元21识别手的动作等。然后，该处理进行至步骤ST33。

在步骤ST33中，如果手的动作等是设定动作等，则控制单元21执行控制以删除香味。即，控制单元21产生用于删除香味的控制信号S1，并且将产生的控制信号S1提供给香味输出装置3。操作香味输出装置3以基于控制信号S1删除香味。应注意，当执行控制以除去香味时，控制单元21产生控制信号S2并且将产生的控制信号S2提供给环境变化发出装置。环境变化发出装置通过执行通风等执行用于除去香味的处理。

[具体实例]

将描述与第三实施方式对应的具体实例。下面的表2是示出了与第三实施方式对应的具体实例的表。

[表2]

在表2中的模式P8中，作为手HA的动作等，识别到在眼睛前方(更具体地，围绕鼻子前方)伸出手HA的动作。这个操作被识别为示出用户厌恶气味的操作。因此，控制单元21产生用于删除香味的控制信号S1，并且将产生的控制信号S1提供给香味输出装置3。香味输出装置3根据控制信号S1操作，并且例如，停止香味的输出、使香味柔和(减少香味)、或者执行除臭。

应注意，可以考虑另一输入来执行上述控制。例如，在通过传感器单元23检测到声音输入的具体语音(例如，“发恶臭的”、“住手”、“停止”、“结束”等)或具体声音(例如，抽鼻子或咳嗽的声音)以及上述手HA的动作的情况下，可以进行删除香味的控制。此外，可以参考基于生理传感器的诸如粗略的呼吸或高体温的信息、基于温度传感器的由于燃烧环境温度增加的信息、基于气味传感器的信息、基于视线检测传感器的诸如不稳定的视线的信息、或者其他信息执行删除香味的控制。以此方式，通过参考另一输入，可以执行更合适的控制，并且可以防止由于不正确的识别导致的不合适的控制。

模式P9是保持手HA在对象之上的动作被检测为手HA的动作的实例。模式P10是由手HA隐藏对象的动作被检测为手HA的动作的实例。应注意，在模式P9和P10中，该对象可以是真实对象或者可以是虚拟对象。此外，在模式P9和P10中，手HA可以是一只手或者可以是双手。与模式P9和P10的情况下类似地执行删除香味的控制。除了举例说明的模式之外，例如，在例如检测到手HA挥动着接近鼻子的动作等的情况下，可以执行删除香味的控制。如上所述，可以根据手HA的动作等执行删除香味的控制。

应注意，也在模式P9和P10的情况下，可以考虑另一输入执行上述控制。例如，在通过传感器单元23检测到声音输入的具体语音(例如，“发恶臭的”、“住手”、“停止”、“结束”等)或具体声音(例如，抽鼻子或咳嗽的声音)以及上述手HA的动作的情况下，可以进行删除香味的控制。此外，可以参考基于生理传感器的诸如粗略的呼吸或高体温的信息、基于温度传感器的由于燃烧环境温度增加的信息、基于气味传感器的信息、基于视线检测传感器的诸如不稳定的视线的信息、或者其他信息执行删除香味的控制。以此方式，通过参考另一输入，可以执行更合适的控制，并且可以防止由于不正确的识别导致的不合适的控制。

<变型例>

尽管以上已经具体描述了本公开的实施方式，但是本公开的内容并不限于上述实施方式，并且基于本公开的技术构思可进行各种修改。

尽管在上述实施方式中手被描述为实例，但是本公开可以应用于身体的一部分，诸如，脚或肘部。此外，控制装置不限于眼镜型可穿戴设备，并且可以是穿戴在肩部上的可穿戴设备、表带型可穿戴设备、平视显示器等。此外，控制装置不限于可穿戴设备。

在上述实施方式中，即使在对象是真实对象的情况下，真实对象不一定必须是发出香味的对象。假设真实对象发出香味，如上述实施方式中所描述的，可以从真实对象的位置执行控制香味的输出的处理。

可以在云上执行由上述实施方式中的控制装置处理的一部分。例如，可以由服务器装置等在云上执行由控制单元21进行的处理。

在上述实施方式中，可以执行考虑到时间推移的有关香味输出的控制。例如，在执行发出香味的控制之后，可以执行控制使得香味的强度随着时间推移逐渐减小。

本公开可以应用于各种设备。例如，本公开不仅可以应用于诸如游戏设备的娱乐设备，而且应用于医疗保健、烹饪、救灾等模拟设备。

本公开也可以由装置、方法、程序、系统等实施。例如，通过能够下载执行上述实施方式中描述的功能且不具有该实施方式中描述的功能的装置执行的程序，可以在装置中执行下载和安装程序、该实施方式中描述的控制。本公开也可以由分布这种程序的服务器实施。此外，可以视情况结合在每一个实施方式中描述的项目和修改。

本公开可具有以下配置。

(1)一种控制装置，包括

控制单元，基于识别手的结果，输出控制香味的输出的信息。

(2)根据(1)所述的控制装置，

其中，控制单元基于识别手的结果来识别手的位置，并且输出用于控制香味从该位置输出的信息。

(3)根据(2)所述的控制装置，

其中，该信息包括用于控制将香味输出至在发出香味的多个装置之中离识别到的手的位置最近的装置的信息。

(4)根据(1)所述的控制装置，

其中，控制单元基于识别手的动作的结果，输出控制香味的输出的信息。

(5)根据(1)至(4)中任一项所述的控制装置，

其中，控制香味的输出的信息包括：使香味发出的信息、使香味的强度改变的信息、使香味出现的方向改变的信息、停止发出香味的信息和指示香味发出持续的时间段的信息中的至少一者。

(6)根据(1)至(5)中任一项所述的控制装置，

其中，控制单元输出用于执行使用户感知周围环境的变化的控制的信息以及控制香味的输出的信息。

(7)根据(6)所述的控制装置，

其中，使用户感知周围环境的变化的控制包括再现声音的控制、发出风的控制和改变周围亮度的控制中的至少一者。

(8)根据(1)至(5)中任一项所述的控制装置，

其中，控制单元基于识别手的结果以及相对于预定输入的识别结果，输出控制香味的输出的信息。

(9)根据(8)所述的控制装置，

其中，预定输入包括能由声音传感器、温度传感器和生理传感器中的至少一者检测的输入。

(10)根据(1)至(9)中任一项所述的控制装置，

其中，控制单元基于与用户的视点对应的图像来识别手。

(11)根据(10)所述的控制装置，

其中，该图像包括实际图像或虚拟图像。

(12)根据(1)至(11)中的任一项所述的控制装置，还包括香味发出单元，执行基于该信息的香味的输出。

(13)根据(1)至(12)中任一项所述的控制装置，控制装置被配置为可穿戴设备。

(14)一种控制方法，包括

由控制单元基于识别手的结果输出控制香味的输出的信息。

(15)一种使计算机执行控制方法的程序，该方法包括

由控制单元基于识别手的结果输出控制香味的输出的信息。

参考符号列表

1 控制系统

2 控制装置

3 香味输出装置

21 控制单元

22 图像传感器单元

23 传感器单元。