阅读说明：本技术 信息处理装置、信息处理系统和非暂时性计算机可读介质 (information processing apparatus, information processing system, and non-transitory computer-readable medium ) 是由 得地贤吾 于 2018-12-18 设计创作，主要内容包括：本公开涉及信息处理装置、信息处理系统和非暂时性计算机可读介质。具体地,该信息处理装置包括：检测单元,该检测单元检测检测对象对在空中形成的图像进行的运动；以及控制单元,该控制单元根据相对于图像的显示区域的运动的开始位置和运动的方向的组合,来控制对图像的操作的内容。(The present disclosure relates to an information processing apparatus, an information processing system, and a non-transitory computer readable medium. Specifically, the information processing apparatus includes: a detection unit that detects a motion of a detection object on an image formed in the air; and a control unit that controls the content of the operation on the image according to a combination of a start position of the movement and a direction of the movement with respect to the display area of the image.)

信息处理装置、信息处理系统和非暂时性计算机可读介质

技术领域

本公开涉及信息处理装置、信息处理系统和非暂时性计算机可读介质。

背景技术

存在这样的技术，其在距空中显示的空中图像的距离与距通过距离传感器测得的用户的手的距离之间的差值在预定范围内的情况下，识别到用户已经进行了触摸操作。

日本未审查特开2017-62709号公报是背景技术的示例。

发明内容

在背景技术中，仅检测是否已经进行了触摸操作。

本公开的目的是，提供一种这样的技术，其根据检测到手势开始的位置来区分对空中显示的图像进行的同一种类型的手势。

根据本公开的第一方面，提供了一种信息处理装置，该信息处理装置包括：检测单元，该检测单元对检测对象相对于空中形成的图像的运动进行检测；以及控制单元，该控制单元根据相对于图像的显示区域的运动的开始位置和运动的方向的组合，来控制对图像的操作的内容。

根据第二方面的信息处理装置是根据第一方面的信息处理装置，其中，该组合是多种组合，并且所述多种组合是事先准备的。

根据第三方面的信息处理装置是根据第二方面的信息处理装置，其中，运动的开始位置是不与图像重叠的位置、与图像重叠的位置、与图像接触的位置中的一个或者多个。

根据第四方面的信息处理装置是根据第一方面的信息处理装置，其中，根据用于显示图像的应用程序，来决定与组合相应的控制内容。

根据第五方面的信息处理装置是根据第一方面的信息处理装置，其中，根据待操作的物体的属性，来决定与组合相应的控制内容。

根据第六方面的信息处理装置是根据第一方面的信息处理装置，其中，运动的开始位置是检测对象被视为静止了预定时间以上的位置。

根据第七方面的信息处理装置是根据第一方面的信息处理装置，其中，运动的开始位置是在预定检测区域内检测到检测对象的通过的位置。

根据第八方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时双手的位置不与图像重叠并且使双手相互远离移动的情况下，控制单元放大图像的最大显示区域。

根据第九方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时双手的位置与图像重叠并且使双手相互远离移动的情况下，控制单元在最大显示区域内局部地放大图像的被夹在手之间的部分。

根据第十方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时双手的位置不与图像重叠并且使双手彼此相向移动的情况下，控制单元缩小图像的最大显示区域作为操作的结果。

根据第十一方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时双手的位置与图像重叠并且使双手彼此相向移动的情况下，控制单元在最大显示区域内局部地缩小图像的被夹在手之间的部分。

根据第十二方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置不与图像重叠并且是该单只手旋转或在一个方向上移动的情况下，控制单元旋转图像，或者在运动的方向上移动形成图像的空间。

根据第十三方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置与图像重叠并且使该单只手在一个方向上移动的情况下，控制单元删除该单只手经过的部分。

根据第十四方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置不与图像重叠并且使手指相互远离移动的情况下，控制单元放大图像的最大显示区域作为操作的结果。

根据第十五方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置与图像重叠并且使手指相互远离移动的情况下，控制单元在最大显示区域内局部地放大被夹在手指之间的部分。

根据第十六方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置不与图像重叠并且使手指彼此相向移动的情况下，控制单元缩小图像的最大显示区域作为操作的结果。

根据第十七方面的信息处理装置是根据第一方面的信息处理装置，其中，在运动开始时单只手的位置与图像重叠并且使手指彼此相向移动的情况下，控制单元在最大显示区域内局部地缩小被夹在手指之间的部分。

根据第十八方面的信息处理装置是根据第一方面的信息处理装置，其中控制单元根据所述多种组合来控制操作的内容。

根据第十九方面的信息处理装置是根据第十八方面的信息处理装置，其中，在图像是立体图像的情况下，控制单元根据开始位置的差异来控制外层图像或者内部图像。

根据第二十方面的信息处理装置是根据第一方面的信息处理装置，其中，向用户身体的局部给予与操作的内容相应的刺激。

根据本公开的第二十一方面，提供了一种信息处理系统，该信息处理系统包括：图像形成单元，该图像形成单元在空中形成图像；检测单元，该检测单元对检测对象相对于图像的运动进行检测；以及控制单元，该控制单元根据相对于图像的显示区域的运动的开始位置和运动的方向的组合，来控制对图像的操作的内容。

根据本公开的第二十二方面，提供了一种存储程序的非暂时性计算机可读介质，该程序使计算机执行处理，该处理包括：对检测对象相对于空中形成的图像的运动进行检测；以及根据相对于图像的显示区域的运动的开始位置和运动的方向的组合，来控制对图像的操作的内容。

根据本公开的第一方面，可以根据检测到手势开始的位置来区分对空中显示的图像进行的同一种类型的手势。

根据本公开的第二方面，可以忽略位置和方向上的小差异。

根据本公开的第三方面，可以改善操作的可预测性。

根据本公开的第四方面，可以根据应用来改变相同手势的含义。

根据本公开的第五方面，可以根据物体来改变相同手势的含义。

根据本公开的第六方面，可以区分用于操作的手势和不用于操作的手势。

根据本公开的第七方面，可以区分用于操作的手势和不用于操作的手势。

根据本公开的第八方面，可以通过手势放大最大显示区域。

根据本公开的第九方面，可以通过手势局部地放大图像的一部分。

根据本公开的第十方面，可以通过手势缩小最大显示区域。

根据本公开的第十一方面，可以通过手势局部地缩小图像的一部分。

根据本公开的第十二方面，可以通过手势移动或者旋转图像的显示部分。

根据本公开的第十三方面，可以通过手势删除图像的一部分。

根据本公开的第十四方面，可以通过手势放大最大显示区域。

根据本公开的第十五方面，可以通过手势局部地放大图像的一部分。

根据本公开的第十六方面，可以通过手势缩小最大显示区域。

根据本公开的第十七方面，可以通过手势局部地缩小图像的一部分。

根据本公开的第十八方面，可以实现各种操作。

根据本公开的第十九方面，可以实现专对立体图像的操作。

根据本公开的第二十方面，用户可以实际感觉到对使用手势的操作的接收。

根据本公开的第二十一方面，可以根据检测到手势开始的位置来区分作为不同含义对空中显示的图像进行的同一种类型的手势。

根据本公开的第二十二方面，可以根据检测到手势开始的位置来区分作为不同含义对空中显示的图像进行的同一种类型的手势。

附图说明

下面将基于以下附图详细描述本公开的示例性实施例，其中：

图1是用于阐释根据第一示例性实施例的空中图像形成系统的大概配置的视图；

图2A和图2B图示了通过使从显示装置输出的光通过专用光学板形成空中图像的空中图像形成装置的原理，并且图2A图示了在各个部件与空中图像之间的位置关系且图2B图示了光学板的横截面结构的一部分；

图3图示了形成三维图像作为空中图像的空中图像形成装置的原理；

图4A和图4B图示了通过使用微反射镜阵列形成空中图像的空中图像形成装置的原理，该微反射镜阵列具有如下结构：构成二面角反射器的微小矩形孔在平面内等间隔排列，其中，图4A图示了在各个部件与空中图像之间的位置关系且图4B图示了微反射镜阵列的一部分的放大图；

图5图示了使用分束器和逆反射片的空中图像形成装置的原理；

图6图示了形成空中图像作为等离子体发光体集合的空中图像形成装置的原理；

图7是用于阐释根据第一示例性实施例的操作接收装置的硬件配置的示例的视图；

图8是用于阐释根据第一示例性实施例的操作接收装置的功能配置的视图；

图9A至图9C是用于阐释开始位置检测单元检测到的位置的视图，并且图9A图示了右手和左手位于空中图像外部的情况(右手和左手不与空中图像重叠的情况)，图9B图示了右手和左手与空中图像的外缘接触的情况，且图9C图示了右手和左手位于空中图像内部的情况(右手和左手与空中图像重叠的情况)；

图10是用于阐释在输出空中图像的应用是画图软件的情况下用于规定操作的内容的规则的示例的表格；

图11是用于阐释在输出空中图像的应用是文档创建软件的情况下用于规定操作的内容的规则的示例的表格；

图12是用于阐释根据第一示例性实施例的操作接收装置进行的处理的内容的流程图的示例；

图13A和图13B是用于阐释使用手势的操作的具体示例1的视图，并且图13A图示了操作手(右手和左手)之间的位置关系且图13B图示了在接收到操作之后显示的空中图像；

图14A和图14B是用于阐释使用手势的操作的具体示例2的视图，并且图14A图示了操作手(右手和左手)之间的位置关系且图14B图示了在接收到操作之后显示的空中图像；

图15A和图15B是用于阐释使用手势的操作的具体示例3的视图，并且图15A图示了操作手(右手和左手)之间的位置关系且图15B图示了在接收到操作之后显示的空中图像；

图16A和图16B是用于阐释使用手势的操作的具体示例4的视图，并且图16A图示了操作手(右手和左手)之间的位置关系且图16B图示了在接收到操作之后显示的空中图像；

图17A和图17B是用于阐释使用手势的操作的具体示例5的视图，并且图17A图示了操作手(右手)与空中图像之间的位置关系且图17B图示了在接收到操作之后显示的空中图像；

图18A和图18B是用于阐释使用手势的操作的具体示例6的视图，并且图18A图示了操作手(右手)与空中图像之间的位置关系且图18B图示了在接收到操作之后显示的空中图像；

图19A和图19B是用于阐释使用手势的操作的具体示例7的视图，并且图19A图示了操作手(右手)与空中图像之间的位置关系且图19B图示了在接收到操作之后显示的空中图像；

图20A和图20B是用于阐释使用手势的操作的具体示例8的视图，并且图20A图示了操作手(右手)与空中图像之间的位置关系且图20B图示了在接收到操作之后显示的空中图像；

图21A和图21B是用于阐释使用手势的操作的具体示例9的视图，并且图21A图示了操作手(左手)与空中图像之间的位置关系且图21B图示了在接收到操作之后显示的空中图像；

图22A和图22B是用于阐释使用手势的操作的具体示例10的视图，并且图22A图示了操作手(左手)与空中图像之间的位置关系且图22B图示了在接收到操作之后显示的空中图像；

图23A和图23B是用于阐释使用手势的操作的具体示例11的视图，并且图23A图示了操作手(左手)与空中图像之间的位置关系且图23B图示了在接收到操作之后显示的空中图像；

图24A和图24B是用于阐释使用手势的操作的具体示例12的视图，并且图24A图示了操作手(左手)与空中图像之间的位置关系且图24B图示了在接收到操作之后显示的空中图像；

图25A和图25B是用于阐释使用手势的操作的具体示例13的视图，并且图25A图示了操作手(右手和左手)之间的位置关系且图25B图示了在接收到操作之后显示的空中图像。

图26A和图26B是用于阐释使用手势的操作的具体示例14的视图，并且图26A图示了操作手(右手和左手)之间的位置关系且图26B图示了在接收到操作之后显示的空中图像。

图27A和图27B是用于阐释使用手势的操作的具体示例15的视图，并且图27A图示了操作手(右手和左手)之间的位置关系且图27B图示了在接收到操作之后显示的空中图像。

图28A和图28B是用于阐释使用手势的操作的具体示例16的视图，并且图28A图示了操作手(右手和左手)之间的位置关系且图28B图示了在接收到操作之后显示的空中图像。

图29A和图29B是用于阐释使用手势的操作的具体示例17的视图，并且图29A图示了操作手(右手)与空中图像之间的位置关系且图29B图示了在接收到操作之后显示的空中图像；

图30A和图30B是用于阐释使用手势的操作的具体示例18的视图，并且图30A图示了操作手(右手)与空中图像之间的位置关系且图30B图示了在接收到操作之后显示的空中图像；

图31A和图31B是用于阐释使用手势的操作的具体示例19的视图，并且图31A图示了操作手(右手)与空中图像之间的位置关系且图31B图示了在接收到操作之后显示的空中图像；

图32A和图32B是用于阐释使用手势的操作的具体示例20的视图，并且图32A图示了操作手(左手)与空中图像之间的位置关系且图32B图示了在接收到操作之后显示的空中图像；

图33A和图33B是用于阐释使用手势的操作的具体示例21的视图，并且图33A图示了操作手(左手)与空中图像之间的位置关系且图33B图示了在接收到操作之后显示的空中图像；

图34A和图34B是用于阐释使用手势的操作的具体示例22的视图，并且图34A图示了操作手(左手)与空中图像之间的位置关系且图34B图示了在接收到操作之后显示的空中图像；

图35A和图35B是用于阐释使用手势的操作的具体示例23的视图，并且图35A图示了操作手(右手)与空中图像之间的位置关系且图35B图示了在接收到操作之后显示的空中图像；

图36A和图36B是用于阐释使用手势的操作的具体示例24的视图，并且图36A图示了操作手(右手)与空中图像之间的位置关系且图36B图示了在接收到操作之后显示的空中图像；

图37A和图37B是用于阐释使用手势的操作的具体示例25的视图，并且图37A图示了操作手(右手)与空中图像之间的位置关系且图37B图示了在接收到操作之后显示的空中图像；

图38A至图38C是用于阐释使用手势的操作的具体示例26的视图，并且图38A图示了操作手(右手)与空中图像之间的位置关系，图38B图示了对空中图像的操作，且图38C图示了在接收到两阶段操作之后显示的空中图像；

图39A至图39C是用于阐释使用手势的操作的具体示例27的视图，并且图39A图示了操作手(右手)与空中图像之间的位置关系，图39B图示了对空中图像的操作，且图39C图示了在接收到两阶段操作之后显示的空中图像；

图40A和图40B是用于阐释使用手势的操作的具体示例28的视图，并且图40A图示了操作手(右手)与空中图像之间的位置关系且图40B图示了在接收到操作之后显示的空中图像；以及

图41A至图41C是用于阐释使用手势的操作的具体示例27的视图，并且图41A图示了操作手(右手)与空中图像之间的位置关系，图41B图示了对空中图像的操作，且图41C图示了在进一步接收到操作之后显示的空中图像。

具体实施方式

参照附图来描述本公开的示例性实施例。

第一示例性实施例

空中显示的大概配置

图1是用于阐释根据第一示例性实施例的空中图像形成系统1的大概配置的视图。

在本示例性实施例中，空中图像10是在空中形成的图像，并且是例如通过将等同于被物体反射的光的光的状态再现在空中来形成。

空中图像10是浮在空中的图像，因此人可以穿过空中图像10。

图1所示的空中图像形成系统1包括：在空中形成空中图像10的空中图像形成装置11、检测人接近空中图像10的方向并且接收对空中图像10进行的操作的操作接收装置12、拍摄用户3对空中图像10进行的手势的图像的摄像头13、以及根据接收到的操作的内容向身体的局部(例如，右手3R、左手3L)给予刺激的空中触觉装置14。

根据本示例性实施例的空中图像形成系统1是信息处理系统的示例，并且操作接收装置12是信息处理装置的示例。

空中图像形成装置11是信息形成装置的示例。

空中图像10是一种形式的显示区域，并且用于显示各种类型的信息。例如，空中图像10用于显示诸如文档、画作、图片或者地图等静止图像、诸如视频等移动图像、或者结合了静止图像和移动图像的复合图像。例如，空中图像10通过这种显示用于引导、广告、操作、开发、学习等。

在图1中，通过球形形状来限定空中图像10的外缘(即，最大显示区域)，但不对限定外缘的形状进行限制。例如，可以通过被显示为空中图像10的物体的外缘，来限定空中图像10的外缘。

在本示例性实施例中，将物体本身限定为待显示或者处理的对象，并且通过用作具有外空间的边界的外缘来限定物体本身。

例如，可以通过操作按钮图像的外形、人图像的外形、动物图像的外形、产品图像的外形、水果图像的外形等来限定物体。

空中图像10的外缘可以是平面，或者可以是诸如曲面或者长方体等立体图形。在空中图像10具有立体形状的情况下，空中图像10可以是中空的或者可以具有内部结构。

在图1中，用户在空中图像10前面(相对于空中图像10位于X方向的负侧)，并且做出使用右手3R和左手3L触摸球形空中图像10的外周表面的手势。右手3R和左手3L是检测对象的示例。

由于空中图像10是光学地形成在空中的图像(因为不存在物理投影屏幕或者显示装置)，所以用户3通过空中图像10可以看到空中图像10的后侧和在空中图像10后面的背景。

在本示例性实施例中，摄像头13的位置设计成使其不仅能够检测用户3的手势，还能够检测在手势开始的空间位置与空中图像10之间的关系。

例如，摄像头13在垂直方向上设置在空中图像10上方(在Z轴的正方向上)或者下方(在Z轴的负方向上)。可以设置多个摄像头13以便围住空中图像10。

替代摄像头13或者结合摄像头13，可以使用用于测量距空间中的物体的距离的技术，或者用于检测横过光学检测表面的物体的传感器技术。

作为测量距离的技术，例如，可以单独地或者组合地使用以下方法：飞行时间(ToF：Time Of Flight)方法，其中，通过针对各个像素测量从半导体激光器或者发光二极管(LED)发出的光在被物体反射之后返回所需的时间，来测量距物体的距离；结构光(SL)时序图案投影方法，其中，基于在投影有按时间顺序变化的垂直条纹图案的物体的图像的像素中出现的亮度变化，来测量距物体的距离；使用超声波或者毫米波来测量距物体的距离的方法；以及使用激光或者红外光来测量距物体的距离的方法。与这种技术组合的技术的示例包括通过处理所拍摄的图像来识别手势的技术。

空中图像形成装置的示例

下面参照图2至图6来描述空中图像10的形成原理。注意，下面描述的各种原理是已知的。

图2A和图2B图示了通过使从显示装置21输出的光通过专用光学板22来形成空中图像10的空中图像形成装置11A的原理。图2A图示了在各个部件与空中图像10之间的位置关系，且图2B图示了光学板22的横截面结构的一部分.

光学板22具有如下结构：设置有各具有用作反射镜的壁表面的玻璃条22A的板，和在与玻璃条22A正交的方向上设置有玻璃条22B的板彼此垂直堆叠。

光学板22通过使从显示装置21输出的光被玻璃条22A和玻璃条22B反射两次，来将显示装置21上显示的图像再现在空中，从而在空中形成图像。显示装置21与光学板22之间的距离与光学板22与空中图像10之间的距离相同。显示装置21上显示的图像的尺寸与空中图像10的尺寸相同。

图3图示了形成三维图像作为空中图像10的空中图像形成装置11B的原理。空中图像形成装置11B通过使被实际物体23的表面反射的光通过两个环状光学板22，来将三维图像再现在空中。注意，光学板22不必串联设置。

图4A和图4B图示了通过使用微反射镜阵列24形成空中图像10的空中图像形成装置11C的原理，该微反射镜阵列具有如下结构：构成二面角反射器的微小矩形孔24A在平面内等间隔排列。图4A图示了在各个部件与空中图像10之间的位置关系，且图4B图示了微反射镜阵列24的一部分的放大图。例如，各个孔24A为方形，各条边长100μm。

图5图示了使用分束器26和逆反射片27的空中图像形成装置11D的原理。分束器26设置为相对于显示装置25的显示表面成45度。逆反射片27设置为在分束器26对显示图像的反射方向上相对于显示装置25的显示表面成90度。

在空中图像形成装置11D的情况下，从显示装置25输出的光朝着逆反射片27被分束器26反射，接着被逆反射片27逆反射，通过分束器26，然后在空中形成图像。空中图像10形成在光形成图像的位置处。

图6图示了形成空中图像作为等离子体发光体集合的空中图像形成装置11E的原理。

在空中图像形成装置11E的情况下，红外脉冲激光器28输出脉冲激光，并且XYZ扫描仪29将脉冲激光凝聚在空中。在该过程中，靠近焦点的气体瞬间转变成等离子体并且发光。

在这种情况下，例如，脉冲频率为100Hz或者更低，并且，例如，脉冲发射周期是纳秒级的。

生成空中图像的方法不限于在图2至图6中描述的方法。

例如，可以使用全息方法来生成空中图像。

可替代地，可以通过使用设置在用户眼睛前面的透明棱镜(例如，全息光学元件)合成来自场景的光和来自显示的图像的光，而使用户感觉好像图像浮在空中的方法。

可替代地，可以使用如下方法，其使戴着头戴式显示器的用户感觉好像图像浮在用户前面。

操作接收装置12的配置

图7是用于阐释根据第一示例性实施例的操作接收装置12的硬件配置的示例的视图。

操作接收装置12包括：通过执行固件或者应用程序提供各种功能的中央处理单元(CPU)31、作为存储固件和基本输入输出系统(BIOS)的存储区域的只读存储器(ROM)32、以及作为程序执行区域的随机存取存储器(RAM)33。CPU 31、ROM 32和RAM 33构成计算机。

操作接收装置12包括存储有被显示为空中图像10的信息的存储装置34。例如，存储装置34是可重写非易失性存储介质。

操作接收装置12通过使用通信接口(通信IF)35控制空中图像形成装置11，来根据操作的内容改变被显示为空中图像10的图像的内容。

操作接收装置12通过接口(IF)36连接至：拍摄用户手势的图像的摄像头13，和根据操作的内容向身体的局部给予刺激的空中触觉装置14。

例如，根据本示例性实施例的空中触觉装置14由超声波振荡器阵列构成，在该超声波振荡器阵列中，多个超声波振荡器排列成网格。这种类型的空中触觉装置14可以在空中任何位置处生成超声波的焦点。通过调节焦点分布或者振动强度，来改变用户感知到的触摸感觉。

CPU 31和各个单元通过总线37连接。

图8是用于阐释根据第一示例性实施例的操作接收装置12(见图1)的功能配置的示例的视图。

图8所示的功能配置通过CPU 31执行程序来实现。

CPU 31用作：检测对空中图像10(见图1)进行的手势的开始位置的开始位置检测单元41、检测进行该手势的身体的局部移动的方向的移动方向检测单元42、基于手势的开始位置和进行该手势的身体的局部移动的方向决定操作的内容的操作内容决定单元43、和根据所决定的操作的内容更新空中图像10(见图1)的画面更新单元44。

开始位置检测单元41和移动方向检测单元42是检测单元的示例，并且操作内容决定单元43是控制单元的示例。

在本示例性实施例中，接收空中的手势作为对空中图像10的操作。通过运动的开始位置和检测到的运动的方向来规定对空中图像10的操作。开始位置检测单元41和移动方向检测单元42用于检测这些信息。

在本示例性实施例中，开始位置检测单元41检测用于操作的身体的局部(例如，手或者腿)保持静止了预定时间以上的位置，作为运动的开始位置。诸如手、手指或者腿等身体的局部是检测对象的示例。将用作检测对象的身体的局部事先设置在开始位置检测单元41中。

被视为静止的状态不需要是完全静止的状态。被视为静止的状态由处理图像的程序来限定。

身体的局部需要保持静止达预定时间以上的原因是，需要区分将身体的局部移动到开始点的运动和用作操作的运动。在本示例性实施例中，例如，身体的局部需要保持静止两秒钟。

开始位置检测单元41通过处理摄像头13拍摄的图像检测在操作开始时身体的局部(例如，手)的位置，作为与空中图像10(见图1)的相对关系。

图9A至图9C是用于阐释开始位置检测单元41检测到的位置的视图。图9A图示了右手3R和左手3L位于空中图像10外部的情况(不与空中图像10重叠)，图9B图示了右手3R和左手3L与空中图像10的外缘接触的情况，且图9C图示了右手3R和左手3L位于空中图像10内部的情况(与空中图像10重叠)。

与外缘接触不意味着严格接触。

在示例性实施例中，用于操作的身体的局部存在于离空中图像10的外缘预定范围内的情况，视为用于操作的身体的局部与外缘接触的状态。该范围不仅包括外缘的外侧，还包括外缘的内侧。可以将在外缘的外侧上的范围和在外缘的内侧上的范围设置为不同值。可以根据空中图像10的内容来设置该范围的值。

虽然9A至9C图示了右手3R和左手3L的位置相同，但右手3R和左手3L的位置可以不同。例如，右手3R可以位于空中图像10的内部，并且左手3L可以位于空中图像10的外部。

虽然9A至9C图示了用于操作的身体的局部是双手的情况，但用于操作的身体的局部可以是单只手，可以是手指，或者可以是腿。在本示例性实施例中，诸如由用户操作的棍棒等物体也视为等同于用于操作的身体的局部。由用户操作的棍棒等物体也是检测对象的示例。物体的示例可以包括手套和鞋子。

用于操作的手指的数量可以是1或者可以大于1。可以将具体的手指视为是用于操作的部分。通过规定用于操作的部分，可以不那么频繁地发生误检测。

移动方向检测单元42检测朝着空中图像10的运动、远离空中图像10的运动、沿着外缘的运动等，作为与操作有关的运动。对应沿着外缘的运动，可以包括身体的局部移动的方向。在使用多个部分(例如，双手、多个手指)进行操作的情况下，可以检测所述多个部分之间的间隔是变窄还是变宽。

图10和图11是图示了由操作内容决定单元43使用来规定操作的内容的规则的示例的表格。

图10是用于阐释在输出空中图像10的应用是画图软件的情况下用于规定操作的内容的规则的示例的表格。

图11是用于阐释在输出空中图像10的应用是文档创建软件的情况下用于规定操作的内容的规则的示例的表格。

图10和图11所示的各个表格由示出了被给予组合的序号的列R1、示出了输出空中图像10的应用的列R2、显示为空中图像10的内容的列R3、示出了用于操作的部分的列R4、示出了开始位置的列R5、示出了运动方向的列R6、和示出了操作的内容的列R7。

首先，描述应用是画图软件的情况(见图10)。

在图10的情况下，画图软件是三维计算机图形(3DCG)软件或者二维计算机图像(2DCG)软件。

组合1

空中图像10是立体图像或者平面图像。

组合1对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的双手彼此相向移动的情况。

在这种情况下，接收用户的操作作为均等地缩小空中图像10的最大显示区域的操作。

组合2

空中图像10是立体图像或者平面图像。

组合2对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的双手相互远离移动的情况。

在这种情况下，接收用户的操作作为均等地放大空中图像10的最大显示区域的操作。

组合3

空中图像10是立体图像或者平面图像。

组合3对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的双手彼此相向移动的情况。

在这种情况下，接收用户的操作作为局部地缩小空中图像10的被夹在双手之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未被双手夹着的部分变形以便根据该区域的缩小而被放大。

组合4

空中图像10是立体图像或者平面图像。

组合4对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的双手相互远离移动的情况。

在这种情况下，接收用户的操作作为局部地放大空中图像10的被夹在双手之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未被双手夹着的部分变形以便根据该区域的放大而缩小。

组合5

空中图像10是立体图像或者平面图像。

组合5对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手朝着空中图像10移动的情况。

在这种情况下，接收用户的操作作为在移动这只手的方向上移动整个空中图像10的操作。

组合6

空中图像10是立体图像或者平面图像。

组合6对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)彼此相向移动的情况。

在这种情况下，接收用户的操作作为均等地缩小空中图像10的最大显示区域的操作。

组合7

空中图像10是立体图像或者平面图像。

组合7对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)相互远离移动的情况。

在这种情况下，接收用户的操作作为均等地放大空中图像10的最大显示区域的操作。

组合8

空中图像10是立体图像或者平面图像。

组合8对应移动位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手以在具体物体上滑动的情况。

在这种情况下，接收用户的操作作为改变构成空中图像10的一部分的具体物体的属性的操作。

属性的示例包括物体的颜色和攻击力。

组合9

空中图像10是立体图像或者平面图像。

组合9对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)相互远离移动的情况。

在这种情况下，接收用户的操作作为局部地放大空中图像10的被夹在手指之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未夹在手指之间的部分变形，以便根据该区域的放大而缩小。

组合10

空中图像10是立体图像或者平面图像。

组合10对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)彼此相向移动的情况。

在这种情况下，接收用户的操作作为局部地缩小空中图像10的被夹在手指之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未夹在手指之间的部分变形以便根据该区域的缩小而被放大。

组合11

在本组合的情况下，空中图像10是立体图像。

组合11对应将位于空中图像10的外缘上(在视为与空中图像10接触的位置处)的单只手沿着外缘移动的情况。

在这种情况下，接收用户的操作作为在移动这只手的方向上旋转整个空中图像10的操作。

如上所述，接收用于用户的操作的身体的局部、该操作的开始位置和运动的方向的不同组合，作为不同的操作。

在本示例性实施例中，不对应组合1至组合11中任何一个组合的手势不被视为操作。

在根据如图10所示的预定规则对操作的开始位置和运动的方向进行分类的情况下，可以忽略位置和方向方面的细小差异。

此外，通过事先决定操作的组合，可以提供用户对用户的手势所执行的操作的内容的预测性。

接下来，描述应用是文档创建软件的情况(见图11)。

组合1

空中图像10是文档。此处假设该文档被逐页显示。

组合1对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的双手彼此相向移动的情况。

在这种情况下，接收用户的操作作为均等地缩小空中图像10的最大显示区域的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合2

空中图像10是文档。

组合2对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的双手相互远离移动的情况。

在这种情况下，接收用户的操作作为均等地放大空中图像10的最大显示区域的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合3

空中图像10是文档。

组合3对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的双手彼此相向移动的情况。

在这种情况下，接收用户的操作作为局部地缩小空中图像10的被夹在双手之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未被双手夹着的部分变形，以便根据该区域的缩小而被放大。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合4

空中图像10是文档。

组合4对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的双手相互远离移动的情况。

在这种情况下，接收用户的操作作为局部地放大空中图像10的被夹在双手之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未被双手夹着的部分变形，以便根据该区域的放大而缩小。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合5

空中图像10是文档。

组合5对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手朝着空中图像10移动的情况。

在这种情况下，接收用户的操作作为在移动这只手的方向上移动整个空中图像10的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合6

空中图像10是文档。

组合6对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)彼此相向移动的情况。

在这种情况下，接收用户的操作作为均等地缩小空中图像10的最大显示区域的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合7

空中图像10是文档。

组合7对应将位于空中图像10外部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)相互远离移动的情况。

在这种情况下，接收用户的操作作为均等地放大空中图像10的最大显示区域的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合8

空中图像10是文档。

组合8对应移动位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手以在空中图像10上滑动的情况。

在这种情况下，接收用户的操作作为删除在已经进行了滑动动作的部分中的物体的操作。

虽然进行了相同的手势，但操作的内容与软件是画图软件的情况(见图10)中的操作的内容不同。

组合9

空中图像10是由多个页面构成的文档。

组合9对应移动位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手以在空中图像10上滑动的情况。

在这种情况下，接收用户的操作作为在滑动的方向上翻过被显示为空中图像10的页面的操作。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容不同。

组合10

空中图像10是由多个页面构成的文档。

组合10对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)相互远离移动的情况。

在这种情况下，接收用户的操作作为局部地放大空中图像10的被夹在手指之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未夹在手指之间的部分变形以便根据该区域的放大而缩小。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

组合11

空中图像10是由多个页面构成的文档。

组合11对应将位于空中图像10内部(在不视为与空中图像10接触的位置处)的单只手的多个手指(例如，拇指和食指)彼此相向移动的情况。

在这种情况下，接收用户的操作作为局部地缩小空中图像10的被夹在手指之间的部分图像(在空中图像10是立体图像的情况下，是位于用户侧的部分图像)的操作。同时，使空中图像10的未夹在手指之间的部分变形,以便根据该区域的缩小而被放大。

操作的内容与软件是画图软件的情况(见图10)中的操作的内容相同。

如上所述，在输出空中图像10的软件不同的情况下，即使相同的组合也会被接收作为不同的操作。

毋庸置疑，在一些情况下，即使是在输出空中图像10的软件不同的情况下，相同的组合也会被接收作为相同的操作。

即使是在输出空中图像10的软件是画图软件的情况下，也可以将在空中图像10的内侧上滑动单只手的运动接收作为删除物体。

相反，即使是在输出空中图像10的软件是文档创建软件的情况下，也可以将在空中图像10的内侧上滑动单只手的运动接收作为改变在已经进行了该滑动运动的部分中的物体的属性(例如，字体、颜色)。

可以取决于滑动的方向来切换要接收哪一种操作。

操作接收处理

接下来，描述操作接收装置12(见图1)进行的接收对空中图像10(见图)的操作的处理。

图12是用于阐释根据第一示例性实施例的操作接收装置12进行的处理的内容的流程图的示例。通过使用参照图8描述的功能单元来实现该处理的内容。通过执行程序来控制该处理的具体进度。

在图12中，构成该处理的各个步骤使用符号“S”来表示。

首先，开始位置检测单元41(见图8)确定身体的局部保持静止的状态是否持续了预定时间以上(步骤1)。

步骤1中得到否定结果的时段是用户正将身体的局部移动到操作的开始位置的时段。

在步骤1中得到肯定结果的情况下，开始位置检测单元41(见图8)检测与空中图像10有关的运动的开始位置(步骤2)。例如，检测身体的局部是否位于空中图像10外部(身体的局部不与空中图像10重叠)、身体的局部是否位于空中图像10内部(身体的局部与空中图像10重叠)、以及身体的局部是否与空中图像10的外缘接触。

接下来，移动方向检测单元42(见图8)检测用于操作的身体的局部的运动的方向(步骤3)。

在检测到开始位置以及与操作有关的运动的方向后，操作内容决定单元43(见图8)基于输出空中图像10的软件的类型、被显示为空中图像10的内容等来决定操作的内容(步骤4)。

当决定了操作的内容时，进行根据操作的内容的处理(步骤5)。

例如，操作内容决定单元43通过控制空中触觉装置14给出表示接收到操作的刺激或者根据操作的内容的刺激。

例如，画面更新单元44根据对空中图像10的操作的内容来进行处理。例如，画面更新单元44改变空中图像10在空中的显示位置。例如，画面更新单元44放大或者缩小空中图像10的最大显示区域。例如，画面更新单元44局部地放大或者缩小构成空中图像10的部分图像(包括物体)。可替代地，画面更新单元44删除部分图像(包括物体)或者改变属性。

操作的具体示例

下面描述基于与操作有关的运动的开始位置、该运动的方向等执行的操作的具体示例。

具体示例1

图13A和图13B是用于阐释使用手势的操作的具体示例1的视图。图13A图示了操作手(右手3R和左手3L)之间的位置关系且图13B图示了在接收到操作之后显示的空中图像10。

在图13A和图13B的情况下，将地球的图像显示为空中图像10。

在图13A和图13B的情况下，从右手3R和左手3L位于空中图像10外部的状态，将用户的右手3R和左手3L彼此相向移动。

在这种情况下，均等地缩小空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的缩小均等地缩小地球的图像。

该具体示例对应图10的组合1。

具体示例2

图14A和图14B是用于阐释使用手势的操作的具体示例2的视图。图14A图示了操作手(右手3R和左手3L)之间的位置关系且图14B图示了在接收到操作之后显示的空中图像10。

在图14A和图14B的情况下，将地球的图像显示为空中图像10。

在图14A和图14B的情况下，从右手3R和左手3L位于空中图像10外部的状态，将用户的右手3R和左手3L相互远离移动。

在这种情况下，均等地放大空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的放大均等地放大地球的图像。

该具体示例对应图10的组合2。

具体示例3

图15A和图15B是用于阐释使用手势的操作的具体示例3的视图。图15A图示了操作手(右手3R和左手3L)之间的位置关系，且图15B图示了在接收到操作之后显示的空中图像10。

在图15A和图15B的情况下，将地球的图像显示为空中图像10。

在图15A和图15B的情况下，从右手3R和左手3L位于空中图像10内部的状态，将用户的右手3R和左手3L彼此相向移动。由于空中图像10是如前面描述的光学地形成在空中的图像，所以可以将右手3R和左手3L***空中图像10中。

在图15A和图15B中，北美大陆被夹在右手3R和左手3L之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地缩小北美大陆的图像。使北美大陆周围的部分的图像变形以便根据北美大陆的缩小而被放大。例如，使更靠近北美大陆(使其变形以便缩小)的空间更大地变形以便被放大。

该具体示例对应图10的组合3。

具体示例4

图16A和图16B是用于阐释使用手势的操作的具体示例4的视图。图16A图示了操作手(右手3R和左手3L)之间的位置关系且图16B图示了在接收到操作之后显示的空中图像10。

在图16A和图16B的情况下，将地球的图像显示为空中图像10。

在图16A和图16B的情况下，从右手3R和左手3L位于空中图像10内部的状态，将用户的右手3R和左手3L相互远离移动。

在图16A和图16B中，北美大陆被夹在右手3R和左手3L之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地放大北美大陆的图像。使北美大陆周围的部分的图像变形以便根据北美大陆的放大而缩小。例如，使更靠近北美大陆(使其变形以便被放大)的空间更大地变形以便缩小。

该具体示例对应图10的组合4。

具体示例5

图17A和图17B是用于阐释使用手势的操作的具体示例5的视图。图17A图示了操作手(右手3R)与空中图像10之间的位置关系，且图17B图示了在接收到操作之后显示的空中图像10。

在图17A和图17B的情况下，将地球的图像显示为空中图像10。

在图17A和图17B的情况下，从右手3R位于空中图像10外部的状态，将用户的右手3R朝着空中图像10移动。换言之，在图17中，从空中图像10的左侧向右移动右手3R。

在这种情况下，不改变空中图像10的最大显示区域的尺寸，但在移动右手3R的方向上移动空中图像10的位置。

该具体示例对应图10的组合5。

具体示例6

图18A和图18B是用于阐释使用手势的操作的具体示例6的视图。图18A图示了操作手(右手3R)与空中图像10之间的位置关系，且图18B图示了在接收到操作之后显示的空中图像10。

在图18A和图18B的情况下，将地球的图像显示为空中图像10。

在图18A和图18B的情况下，用户的右手3R位于空中图像10内部，并且移动右手3R以在北美大陆上滑动。

在这种情况下，不改变空中图像10的最大显示区域的尺寸和空中图像10的位置，但改变显示的北美大陆的颜色。

该具体示例对应图10的组合8。

在被显示为空中图像10的物体是视频游戏中的人物时，可以通过相同的操作增加该人物的攻击力。当增加攻击力时，该人物可以进化或者可以增强该人物的装备。

具体示例7

图19A和图19B是用于阐释使用手势的操作的具体示例7的视图。图19A图示了操作手(右手3R)与空中图像10之间的位置关系，且图19B图示了在接收到操作之后显示的空中图像10。

在图19A和图19B的情况下，将地球的图像显示为空中图像10。

在图19A和图19B的情况下，用户的右手3R位于空中图像10的外缘(周向表面)上，并且沿着外缘移动右手3R。

在这种情况下，不改变空中图像10的最大显示区域的尺寸和空中图像10的位置，但在移动右手3R的方向上旋转这些大陆。在图19A和图19B的情况下，由于该操作，从用户角度看到的大陆变为非洲大陆和欧亚大陆。

该具体示例对应图10的组合11。

在被显示为空中图像10的物体是视频游戏中的人物时，可以将该人物从前视图转为后视图。

具体示例8

图20A和图20B是用于阐释使用手势的操作的具体示例8的视图。图20A图示了操作手(右手3R)与空中图像10之间的位置关系，且图20B图示了在接收到操作之后显示的空中图像10。

在图20A和图20B的情况下，将地球的图像显示为空中图像10。

在图20A和图20B的情况下，用户的右手3R位于空中图像10内部，并且在该状态下移动右手3R以在空中图像10上滑动。

在这种情况下，删除在其上移动了右手3R的北美大陆。

该具体示例对应图11的组合8。

具体示例9

图21A和图21B是用于阐释使用手势的操作的具体示例9的视图。图21A图示了操作手(左手3L)与空中图像10之间的位置关系，且图21B图示了在接收到操作之后显示的空中图像10。

在图21A和图21B的情况下，将地球的图像显示为空中图像10。

在图21A和图21B的情况下，用户的左手3L位于空中图像10外部，并且在该状态下将拇指和食指彼此相向移动。

在这种情况下，均等地缩小空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的缩小均等地缩小地球的图像。

该具体示例对应图10的组合6。

具体示例10

图22A和图22B是用于阐释使用手势的操作的具体示例10的视图。图22A图示了操作手(左手3L)与空中图像10之间的位置关系，且图22B图示了在接收到操作之后显示的空中图像10。

在图22A和图22B的情况下，将地球的图像显示为空中图像10。

在图22A和图22B的情况下，用户的左手3L位于空中图像10外部，并且在该状态下将拇指和食指相互远离移动。

在这种情况下，均等地放大空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的放大均等地放大地球的图像。

该具体示例对应图10的组合7。

具体示例11

图23A和图23B是用于阐释使用手势的操作的具体示例11的视图。图23A图示了操作手(左手3L)与空中图像10之间的位置关系，且图23B图示了在接收到操作之后显示的空中图像10。

在图23A和图23B的情况下，将地球的图像显示为空中图像10。

在图23A和图23B的情况下，用户的左手3L位于空中图像10内部，并且在该状态下将拇指和食指彼此相向移动。

在图23A和图23B的情况下，北美大陆被夹在左手3L的拇指和食指之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地缩小北美大陆的图像。使北美大陆周围的部分的图像变形以便根据北美大陆的缩小而被放大。例如，使更靠近北美大陆(其变形以便缩小)的空间更大地变形以便被放大。

该具体示例对应图10的组合10。

具体示例12

图24A和图24B是用于阐释使用手势的操作的具体示例12的视图。图24A图示了操作手(左手3L)与空中图像10之间的位置关系，且图24B图示了在接收到操作之后显示的空中图像10。

在图24A和图24B的情况下，将地球的图像显示为空中图像10。

在图24A和图24B的情况下，用户的左手3L位于空中图像10内部并且在该状态下将拇指和食指相互远离移动。

在图24A和图24B的情况下，北美大陆的一部分被夹在左手3L的拇指和食指之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地放大北美大陆的图像。使北美大陆周围的部分的图像变形以便根据北美大陆的放大而缩小。例如，使更靠近北美大陆(使其变形以便被放大)的空间更大地变形以便缩小。

该具体示例对应图10的组合9。

具体示例13

图25A和图25B是用于阐释使用手势的操作的具体示例13的视图。图25A图示了操作手(右手3R和左手3L)之间的位置关系，且图25B图示了在接收到操作之后显示的空中图像10。

在图25A和图25B中，将文档“AAAAA/AAAAA/AAAAA/AAAAA”的图像显示为空中图像10。斜线(/)分别表示换行。

在图25A和图25B的情况下，从右手3R和左手3L位于空中图像10外部的状态，将用户的右手3R和左手3L彼此相向移动。

在这种情况下，均等地缩小空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的缩小均等地缩小显示的文档的图像。具体地，缩小字体的大小。在文档包括插图和图形的情况下，也均等地缩小该插图和图形。

该具体示例对应图11的组合1。

具体示例14

图26A和图26B是用于阐释使用手势的操作的具体示例14的视图。图26A图示了操作手(右手3R和左手3L)之间的位置关系，且图26B图示了在接收到操作之后显示的空中图像10。

在图26A和图26B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图26A和图26B的情况下，从右手3R和左手3L位于空中图像10外部的状态，将用户的右手3R和左手3L相互远离移动。

在这种情况下，均等地放大空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的放大均等地放大显示的文档的图像。具体地，放大字体的大小。在文档包括插图和图形的情况下，也均等地放大该插图和图形。

该具体示例对应图11的组合2。

具体示例15

图27A和图27B是用于阐释使用手势的操作的具体示例15的视图。图27A图示了操作手(右手3R和左手3L)之间的位置关系，且图27B图示了在接收到操作之后显示的空中图像10。

在图27A和图27B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图27A和图27B的情况下，从右手3R和左手3L位于空中图像10内部的状态，将用户的右手3R和左手3L彼此相向移动。

在图27A和图27B的情况下，顶部字符串(AAAAA)的中间三个字符(AAA)被夹在右手3R和左手3L之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地缩小顶部字符串的中间三个字符。在图27A和图27B的情况下，不改变顶部字符串的其它字符和从顶部数起后续的字符串。

可替代地，可以使顶部字符串的中间三个字符周围的部分的图像变形，以便根据字符串的缩小而被放大。在这种情况下，可以使更靠近字符串(其变形以便缩小)的图像更大地变形以便被放大。

该具体示例对应图11的组合3。

具体示例16

图28A和图28B是用于阐释使用手势的操作的具体示例16的视图。图28A图示了操作手(右手3R和左手3L)之间的位置关系，且图28B图示了在接收到操作之后显示的空中图像10。

在图28A和图28B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图28A和图28B的情况下，从右手3R和左手3L位于空中图像10内部的状态，将用户的右手3R和左手3L相互远离移动。

在图28A和图28B的情况下，顶部字符串(AAAAA)的中间三个字符(AAA)被夹在右手3R和左手3L之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地放大顶部字符串的中间三个字符。在图28A和图28B的情况下，不改变顶部字符串的其它字符和从顶部数起后续的字符串。

可替代地，可以使顶部字符串的中间三个字符周围的部分的图像变形以便根据字符串的放大而缩小。在这种情况下，可以使更靠近字符串(其变形以便被放大)的图像更大地变形以便缩小。

该具体示例对应图11的组合4。

具体示例17

图29A和图29B是用于阐释使用手势的操作的具体示例16的视图。图29A图示了操作手(右手3R)与空中图像10之间的位置关系，且图29B图示了在接收到操作之后显示的空中图像10。

在图29A和图29B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图29A和图29B的情况下，从右手3R位于空中图像10外部的状态，将用户的右手3R朝着空中图像10移动。换言之，在图29A和图29B中，从空中图像10的右侧向左移动右手3R。

在这种情况下，不改变空中图像10的最大显示区域的尺寸，但在移动右手3R的方向上移动空中图像10的位置。

该具体示例对应图11的组合5。

具体示例18

图30A和图30B是用于阐释使用手势的操作的具体示例18的视图。图30A图示了操作手(右手3R)与空中图像10之间的位置关系，且图30B图示了在接收到操作之后显示的空中图像10。

在图30A和图30B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图30A和图30B的情况下，用户的右手3R位于空中图像10内部，并且移动右手3R以在顶部字符串(AAAAA)上滑动。

在这种情况下，不改变空中图像10的最大小时区域的尺寸，但删除在移动了右手3R的地方中显示的字符串。

该具体示例对应图11的组合8。

具体示例19

图31A和图31B是用于阐释使用手势的操作的具体示例19的视图。图31A图示了操作手(右手3R)与空中图像10之间的位置关系，且图31B图示了在接收到操作之后显示的空中图像10。

在图31A和图31B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图31A和图31B的情况下，用户的右手3R位于空中图像10内部，并且在该状态下将拇指和食指彼此相向移动。

在图31A和图31B的情况下，顶部字符串(AAAAA)右侧的三个字符(AAA)被夹在右手3R的拇指和食指之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地缩小顶部字符串右侧的字符。在图31A和图31B的情况下，不改变顶部字符串的其它字符、以及第二字符串和后续的字符串。

可替代地，可以使字符周围的部分的图像变形，以便根据字符串的缩小而被放大。在这种情况下，可以使更靠近字符串(其变形以便缩小)的图像更大地变形以便被放大。

该具体示例对应图11的组合11。

具体示例20

图32A和图32B是用于阐释使用手势的操作的具体示例20的视图。图32A图示了操作手(左手3L)与空中图像10之间的位置关系，且图32B图示了在接收到操作之后显示的空中图像10。

在图32A和图32B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图32A和图32B的情况下，用户的左手3L位于空中图像10外部，并且在该状态下将拇指和食指彼此相向移动。

在这种情况下，均等地缩小空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的缩小均等地缩小显示的文档的图像。具体地，缩小字体的大小。在文档包括插图和图形的情况下，也均等地缩小该插图和图形。

该具体示例对应图11的组合6。

具体示例21

图33A和图33B是用于阐释使用手势的操作的具体示例21的视图。图33A图示了操作手(左手3L)与空中图像10之间的位置关系，且图33B图示了在接收到操作之后显示的空中图像10。

在图33A和图33B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图33A和图33B的情况下，用户的左手3L位于空中图像10外部，并且在该状态下将拇指和食指相互远离移动。

在这种情况下，均等地放大空中图像10的最大显示区域。毋庸置疑，也根据最大显示区域的放大均等地放大显示的文档的图像。具体地，放大字体的大小。在文档包括插图和图形的情况下，也均等地放大该插图和图形。

该具体示例对应图11的组合7。

具体示例22

图34A和图34B是用于阐释使用手势的操作的具体示例22的视图。图34A图示了操作手(右手3R)与空中图像10之间的位置关系，且图34B图示了在接收到操作之后显示的空中图像10。

在图34A和图34B的情况下，将文档(AAAAA/AAAAA/AAAAA/AAAAA)显示为空中图像10。

在图34A和图34B的情况下，用户的右手3R位于空中图像10内部并且在该状态下将拇指和食指相互远离移动。

在图34A和图34B的情况下，顶部字符串(AAAAA)右侧的三个字符(AAA)被夹在右手3R的拇指和食指之间。

在这种情况下，不改变空中图像10的最大显示区域，但是局部地放大顶部字符串右侧的三个字符。在图34A和图34B的情况下，不改变顶部字符串的其它字符、以及第二字符串和后续的字符串。

可替代地，可以使字符周围的部分的图像变形，以便根据字符串的放大而缩小。在这种情况下，可以使更靠近字符串(其变形以便被放大)的图像更大地变形以便缩小。

该具体示例对应图10的组合10。

具体示例23

图35A和图35B是用于阐释使用手势的操作的具体示例23的视图。图35A图示了操作手(右手3R)与空中图像10之间的位置关系，且图35B图示了在接收到操作之后显示的空中图像10。

在图35A和图35B的情况下，多个页面的图像被显示为空中图像10。具体地，从左侧到右侧显示页面1、2、3的图像。

在图35A和图35B的情况下，用户的右手3R位于空中图像10内部，并且移动右手3R以在图像上滑动。

在这种情况下，不改变空中图像10的最大显示区域，但是改变被显示为空中图像10的页面。具体地，从左侧到右侧显示页面2、3、4的图像。该操作对应用于向前翻过显示的页面的翻页。

该具体示例对应图11的组合9。

具体示例24

图36A和图36B是用于阐释使用手势的操作的具体示例24的视图。图36A图示了操作手(右手3R)与空中图像10之间的位置关系，且图36B图示了在接收到操作之后显示的空中图像10。

在图36A和图36B的情况下，显示包括游戏人物10A和10B的空中图像10。

具体示例23是如在具体示例1至12中描述的、从画图软件输出空中图像10的情况。

在图36A和图36B的情况下，用户的右手3R位于空中图像10内部并且移动右手3R以在位于图36A和图36B右侧的人物10A上滑动。

在这种情况下，不改变空中图像10的最大显示区域，但是改变人物10A的颜色。

该具体示例对应图10的组合8。

具体示例25

图37A和图37B是用于阐释使用手势的操作的具体示例25的视图。图37A图示了操作手(右手3R)与空中图像10之间的位置关系，且图37B图示了在接收到操作之后显示的空中图像10。

在图37A和图37B的情况下，显示包括游戏人物10A和10B的空中图像10。

在图37A和图37B的情况下，用户的右手3R位于空中图像10内部，并且移动右手3R以在位于图37A和图37B右侧的人物10A上滑动。

然而，在具体示例24中，该操作用于移动空中图像10中的人物10A的显示位置。

在图37A和图37B的情况下，人物10A攻击在人物10A被移动到的位置处的人物10B。受攻击人物10B的表情变成痛苦表情。

具体示例26

图38A至图38C是用于阐释使用手势的操作的具体示例26的视图。图38A图示了操作手(右手3R)与空中图像10之间的位置关系，图38B图示了对空中图像10的操作，且图38C图示了在接收到两阶段操作之后显示的空中图像10。

在图38A至图38C的情况下，显示包括配备有剑10C的游戏人物10A的空中图像10。

38A至图38C的示例对应通过组合多种操作来切换操作的内容的示例。

在图38A至图38C的情况下，右手3R位于空中图像10外部。在该状态下，将右手3R朝着空中图像10移动。该单独的移动不会被识别为对空中图像10的操作，因此不会改变空中图像10。

然后，将用户的右手3R移动到空中图像10的内，并且移动右手3R以便在人物10A上滑动。与具体示例23(见图35A和图35B)和具体示例24(见图36A和图36B)不同，该操作被接收作为移动空中图像10的操作。

具体示例27

图39A至图39C是用于阐释使用手势的操作的具体示例27的视图。图39A图示了操作手(右手3R)与空中图像10之间的位置关系，图39B图示了对空中图像10的操作，且图39C图示了在接收到两阶段操作之后显示的空中图像10。

在图39A至图39C的情况下，显示包括配备有剑10C的游戏人物10A的空中图像10。

39A至图39C的示例对应通过组合多种操作来切换操作的内容的示例。

在图39A至图39C的情况下，右手3R放置为与剑10C接触或者与剑10C重叠。在该状态下，将右手3R移动成更靠近空中图像10或者将其***空中图像10中。在图39A至图39C的情况下，该操作不会被识别为对空中图像10的操作，因此在该阶段中不会改变空中图像10。

然后，将用户的右手3R移动到空中图像10的内部，并且移动右手3R以便在人物10A上滑动。该操作被接收作为改变剑10C的属性的操作。

在图39A至图39C的情况下，将剑10C改变成攻击力提高的剑10C。

在图39A至图39C的情况下，人物10A的装备是剑10C，但每当接收到操作便可改变盾牌、衣服、鞋子、帽子等。

具体示例28

图40A和图40B是用于阐释使用手势的操作的具体示例28的视图。图40A图示了操作手(右手3R)与空中图像10之间的位置关系，且图40B图示了在接收到操作之后显示的空中图像10。

在图40A和图40B的情况下，显示具有三维数据(内部结构数据)的蛋的空中图像10。

在图40A和图40B的情况下，从右手3R位于空中图像10外部的状态，将用户的右手3R朝着空中图像10移动。换言之，在图40A和图40B中，将右手3R从空中图像10的右侧移动到左侧。

在这种情况下，不改变空中图像10的最大显示区域的尺寸，但在移动右手3R的方向上移动空中图像10的位置。

该具体示例是对外层图像的操作的示例。

具体示例29

图41A至图41C是用于阐释使用手势的操作的具体示例29的视图。图41A图示了操作手(右手3R)与空中图像10之间的位置关系，图41B图示了在接收到操作之后显示的空中图像10，且图41C图示了在进一步接收到操作之后的空中图像10。

在图41A至图41C的情况下，显示具有内部结构的蛋的空中图像10。具体地，该蛋具有蛋壳作为最顶层、蛋白作为中间层和蛋黄作为最下层。可以并行地显示这三层，或者可以仅显示用户指定的层。

在图41A至图41C的情况下，用户的右手3R与空中图像10接触或者位于空中图像10内部。

图41A至图41C图示了在该状态下移动右手3R以在空中图像10上滑动的情况下产生的空中图像10的改变。

在图41A至图41C的情况下，由于第一手势空中图像10变成蛋白，并且，由于第二手势空中图像10变成蛋黄。

该具体示例是对内部图像的操作的示例。

其它示例性实施例

虽然上面已经描述了本公开的示例性实施例，但本公开的技术范围不限于示例性实施例中描述的范围。从权利要求书的叙述可知，上述示例性实施例的各种改变或者修改也都囊括在本公开的技术范围内。

出于图示和说明之目的，已经呈现了对本发明的示例性实施例的前述说明。并不旨在力求详尽或者将本公开局限于所公开的精确形式。显然，本领域的技术人员会想到许多修改和变化。选择和描述实施例是为了最好地阐释本公开及其实际应用的原理，从而使本领域的技术人员能够理解本公开用于适合于预期的特定用途的各种实施例和各种修改。本公开的范围旨在由所附权利要求书及其等同物限定。