具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

为详细描述本发明的AR设备图像控制方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的AR设备图像控制方法的流程。

如图1所示，本发明实施例的AR设备图像控制方法，包括：

S110：通过AR设备上的深度相机采集当前环境下的真实图像数据，并基于真实图像数据建立三维空间模型。

其中，基于真实图像数据建立三维空间模型的过程可以包括：

1、获取真实图像数据中的真实物体的位置信息；

2、基于位置信息构建虚拟的三维空间模型，然后AR设备推送的虚拟场景中的各虚拟图片可加载至构建后的三维空间模型中，由此三维空间模型中的所有物体包括由真实物体所构建的虚拟物体以及AR设备推送的虚拟场景中的虚拟物体。该虚拟场景可以是虚拟游戏，虚拟教学、虚拟演练等多种场景，对应的虚拟场景和真实场景共同形成构三维空间模型。

此外，也可以采用其他的方式构建三维空间模型，例如基于真实图像数据建立三维空间模型的过程也可以包括：

1、获取真实图像数据中的真实物体的位置信息，以及AR设备推送至显示界面上的虚拟物体；

2、基于真实物体的位置信息以及虚拟物体，构建虚拟的三维空间模型，三维空间模型中的所有物体包括由真实物体所构建的虚拟物体以及AR设备推送的虚拟物体。

在该构建过程中，AR设备推送的虚拟物体可直接显示在显示屏幕上，并被用户所拾取，即用户能够同时获取真实环境中的真实物体以及显示屏幕显示的虚拟物体，进而系统可根据真实物体和虚拟物体的位置信息，构建虚拟的三维空间模型。

S120：对三维空间模型分层处理，对不同分层中的所有物体进行定位，并根据物体的定位结果确定是否存在至少两个相互重叠的目标物体。

在该步骤中，当三维空间模型构建完成后，可以进一步对三维空间模型进行分层处理，并对不同分层中的所有物体进行定位，进而可确定各物体的位置以及各物体之间的相对位置关系，用户在体验过程中，便于对物体的抓取或其他操作等体验。

进一步地，可根据物体的定位结果，确定是否存在位置相互重叠的至少两个物体作为目标物体。例如，可基于物体的定位结果，确定物体所在的区域，当不同物体所在的区域之间的重叠区域大于预设阈值时，确定物体为相互重叠的目标物体。

上述预设阈值可根据应用场景及用户需求进行设置及调整，例如，当两个物体之间的重叠区域比较小时，表明二者之间的遮挡程度比较低，在不影响操作的情况下，可不进行分层处理等。

S130：若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，并通过控制手势对对应的分层和/或对应分层上的目标物体进行控制。

其中，对三维空间模型进行分层处理时，可在三维空间模型的虚拟图片形成的过程中通过系统进行分层，所分层数可根据需求进行设定，然后对不同分层中的所有物体进行定位，若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，通过启动不同的分层可对对应分层和/或分层上的物体进行调节控制。

具体地，在获取用户的控制手势时，可采集用户的双手姿态信息，然后，基于双手姿态信息确定控制手势；最终，通过控制手势对对应分层上的物体进行与控制手势相对应的控制操作。

进一步地，采集用户的双手姿态信息的过程包括：通过手势识别装置采集用户的双手图像数据；基于预训练的骨骼点识别模型对双手图像数据中的双手进行骨骼点识别，并基于骨骼点识别结果确定双手姿态信息。其中手势识别装置可以包括但不限于手势识别相机、红外装置、雷达、安装在用户手部的传感器等，在本实施例中，可通过手势识别相机采集用户的手部图像数据，并根据手部图像数据确定双手姿态信息。

作为具体示例，控制手势包括剪刀手势、OK手势或用户使用比较频繁的其他手势，例如，左手至少两个手指的相向滑动、反向滑动、平行滑动、左手的至少一个单击、双击，以及右手至少两手指的相向滑动、反向滑动、平行滑动、右手的至少一个单击、双击等；对应的控制操作可包括：移动、放大、缩小和旋转等。

此外，基于双手姿态信息确定所述控制手势的过程包括：确定左手对应的姿态信息，和/或，右手对应的姿态信息；基于左手对应的姿态信息，和/或，右手对应的姿态信息确定左手对应的控制手势，和/或，右手对应的控制手势。需要说明的是，一种控制手势对应一种控制操作，具体地控制手势可在设备初始化或者调试过程中，根据用户需求自行进行设置或调整，并不限于具体地控制手势，对各层分配不同的控制手势后，可通过左右两个手，或左右两个手的不同手势，同时对两个层进行操作，能够避免每次仅能操作一个层，影响操作效率和用户体验。换言之，通过控制手势对对应的分层和/或对应分层上的目标物体进行控制的过程还可包括：通过左手或者右手控制不同分层；以及，通过同一只手的不同手势对同一分层进行不同的手势控制操作。

进一步地，通过同一只手的不同手势对同一分层进行不同的手势控制操作的过程包括：通过同一只手的不同手势对同一分层整体进行不同的控制操作，和/或，通过同一只手的不同手势对同一分层的不同的所述目标物体进行手势控制，和/或，通过同一只手的不同手势对同一分层的同一所述目标物体进行不同的手势控制。

此外，在确定分层后也可对不同的分层设置不同的启动手势，即通过对应的启动手势，将对应的分层启动为活跃层，其他的分层锁定，因此可以实现对活跃层进行控制，而避免对其他的分层误操作，进而可通过其他的控制手势对活跃层或者活跃层的物体分别进行调整和控制。另外，也可通过其他指令，如预先设置的声音指令、界面操作指令等，将对应的层启动为活跃层，用户可对活跃层或者活跃层上的所有物体进行相应的操作等。

在本发明的一个具体实施方式中，位于同一分层上所有目标物体采用相同的控制手势进行控制；或者，位于同一分层上的所有目标物体分别采用不同的控制手势进行控制等，例如，可以通过左手至少两个手指的相向滑动对同一分层上的所有物体实现缩小操作，或者，通过左手食指和中指的相向滑动实现同一分层上一目标物体的缩小操作，通过左手拇指和食指的相向滑动实现同一分层上另一目标物体的缩小操作。

作为具体示例，图2示出了根据本发明实施例的AR设备图像控制方法的详细流程。

如图2所示，本发明实施例的AR设备图像控制方法，可以包括：

1、AR设备系统启动。

2、通过AR设备上的深度相机采集真实环境中的真实图像数据，并基于真实图像数据构建三维空间模型；

3、对三维空间模型进行分层处理，对不同分层中的所有物体进行定位，并根据物体的定位结果确定是否存在至少两个相互重叠的目标物体；

4、若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，并通过控制手势对所述对应的分层和/或对应分层上的目标物体进行控制；

5、逐步判断当前的控制手及控制手势，根据提前设置的控制手和控制手势对应的控制规则，将当前的控制手设置对应的分层为活跃层，根据控制手势对活跃层进行相应的控制操作，相应的控制操作可反馈至三维空间模型中；

7、当收到结束分层控制指令时，结束分层控制的过程，恢复对三维空间模型的整体控制。具体的，分层控制指令可以为预先设置好的手势控制指令、语音控制指令，屏幕控制、按键控制等。

与上述AR设备图像控制方法相对应，本发明还提供一种AR设备图像控制系统，图3示出了根据本发明实施例的AR设备图像控制系统的示意逻辑。

如图3所示，本发明实施例的AR设备图像控制系统200，包括：

三维空间建模单元210，用于通过AR设备上的深度相机采集当前环境下的真实图像数据，并基于真实图像数据建立三维空间模型；

分层处理单元220，用于对三维空间模型分层处理，对不同分层中的所有物体进行定位，并根据物体的定位结果确定是否存在至少两个相互重叠的目标物体。

物体控制单元230，用于若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，并通过控制手势对所述对应的分层和/或对应分层上的目标物体进行控制；

其中，所述至少两个相互重叠的目标物体分别位于不同分层上。

需要说明的是，上述AR设备图像控制系统的实施例可参考AR设备图像控制方法实施例中的描述，此处不再一一赘述。

根据上述本发明的AR设备图像控制方法及系统，在使用场景中，如出现多个物体相互遮挡的情况，可以将遮挡的物体移走，即可通过对应的控制手势对被遮挡的物体进行控制，即可直接操作被遮挡的物体，能够大大提高操作方便性及快捷性，提高用户的体验效果。

如上参照附图以示例的方式描述根据本发明的AR设备图像控制方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的AR设备图像控制方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。