具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1、由于传统的界面交互逻辑并不能实现和物体的直接交互，寻找操作的过程和物体本身是不相关的，针对任何物体都需要从多级菜单中寻找所需的操作，并不利于AR的使用者直接和现实中的物体进行交互，例如，当使用者在AR场景中看到桌面上一左一右或者一远一近的两个触手可及的可交互虚拟物体时，使用者会本能地想要去与该虚拟物体直接交互，而不是从与该虚拟物体完全割裂的菜单中选择所需执行的操作，因此传统的菜单并不适合AR应用，也不适用AR的人机交互界面。

目前在手术过程中，主要使用基于终端的界面交互逻辑实现人机交互，由于手术过程对环境的要求相对严格，目前手术过程中使用的人机交互方式过于繁杂，不便于手术医生的操作。本实施例为了解决手术过程中人机交互方式过于繁杂，不便操作的缺陷，基于AR场景的手势操作以及人机交互，为操作的目标对象建立环状菜单，从而利用和环状菜单上的命令项之间的AR场景下的交互方式，实现对目标对象的虚拟对象的相关命令操作。

如图1所示，本实施例提供一种增强现实的人机交互方法，该方法的实施流程如下所示：

步骤100、确定使用增强现实AR设备的用户进行操作的目标对象；

本实施例中的目标对象包括但不限于人体、人体部位、医疗仪器、电子设备等，本实施例中的目标对象确定后，需要获取目标对象的虚拟对象，该虚拟对象是根据目标对象的结构、体积、重量等确定的，虚拟对象用于在虚拟空间中呈现与该目标对象的内外部结构一致、体积、重量相同的对象。并且该虚拟对象能够实现缩放、旋转、移动等操作。

本实施例中的AR设备包括但不限于AR眼镜、AR处理器、传感器、装有AR标记的识别体中的至少一种。

在一些示例中，本实施例确定目标对象的方式如下所示：

通过AR设备中用于检测眼球的传感器，检测佩戴AR设备的AR眼镜的用户的视线方向；

沿着所述视线方向，从用户所处环境中确定出用户正在目视的对象，将该对象确定为所述目标对象。

实施中，用户佩戴AR眼镜后，通过配置于AR眼镜上的传感器，能够检测眼球的转动，从而感知人眼的视线方向，沿该视线方向确定在用户所处的环境中用户正在目视的对象，并将该对象作为用户进行操作的目标对象。

需要说明的是，本实施例中的AR设备能够对用户所在的环境进行扫描，能够得到环境中各个物体所处位置以及各个物体的大小、结构等信息，从而用于构建用户所在环境的虚拟空间，以及该环境中各个物体(对象)的虚拟模型。其中构建的虚拟空间可以是三维空间，虚拟模型可以是三维模型。用户可以在AR设备构建的虚拟空间中与各个虚拟模型直接进行交互。

步骤101、响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；

实施中，用户佩戴AR眼镜后，能够直观的看到与真实环境对应的虚拟空间，并且在用户发出手势指令后，能够显示用户当前目视的目标对象的虚拟对象以及与该虚拟对象对应的环状菜单。

需要说明的是，本实施例中的手势指令用于表示用户的不同手势触发的不同指令，例如用户通过三指手势触发显示目标对象的虚拟对象以及对应的环状菜单。其中，手势的具体设计可以根据用户需求定义，本实施例对具体的手势不作过多限定。

如图2所示，本实施例提供的一种发出手势指令的AR场景，该场景中用户发出手势指令后，在AR设备构建的虚拟空间中显示目标对象的虚拟对象，其中虚拟对象显示的位置和目标对象所在的位置相同，并在虚拟对象所在的位置显示环状菜单。本实施例中的显示虚拟对象以及环状菜单的方式，能够更好的适应AR场景下用户和对象的直接交互行为，用户在交互的过程中，只需发出手势指令，便可以在视线所在的目标对象处显示该目标对象的虚拟对象以及环状菜单，由于环状菜单在虚拟对象位置，处于用户视线范围内，可以实现和环状菜单的直接交互，使得操作更加便携，有效提高了用户的使用体验。

如图3所示，本实施例中的环状菜单上直接显示了与所述虚拟对象相关的命令项，例如，缩放、移动、平移、打开、关闭等。本实施例中的命令项按顺时针方向或逆时针方向，均匀分布在所述环状菜单的环上。实施中，还可以通过手势控制环状菜单上的命令项沿环的方向顺时针旋转或逆时针旋转。

在一些示例中，响应于用户的旋转手势，控制环状菜单上的命令项顺时针或逆时针移动，将移动前显示的命令项进行隐藏，并按预设顺序依次显示其他的命令项。

需要说明的是，不同的虚拟对象所对应的命令项可能是不同的，为了更加便于用户操作，本实施例在环状菜单上针对性的显示了虚拟对象的相关命令项，不需要用户从通用菜单中逐级寻找出对应的命令项，方便用户直接与虚拟对象进行交互。

如图4A、图4B所示，本实施例中环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。本实施例中的环状菜单不会遮挡虚拟对象，便于用户通过命令项在和虚拟对象进行交互的过程中，还可以直观的看到虚拟对象的变化，提高用户的操作体验。

步骤102、响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。

本实施例显示虚拟对象的环状菜单之后，用户在虚拟空间可以直接利用手势和命令项进行交互，从而触发打开交互的命令项，对虚拟对象执行与该打开指令对应的命令项的操作。本实施例在整个用户操作的过程中，只需要通过简单的手势与命令项进行交互即可实现用户与虚拟对象的交互，并且在交互过程中，可以同时现实虚拟对象、环状菜单、命令项，用户能够直观的与虚拟对象进行交互，有效提高用户的交互体验。

在一些示例中，本实施例中环状菜单的显示位置位于用户视线上靠近用户的位置，以便于用户能够直接通过手部接触到环状菜单从而触发命令项，具体实施过程如下所示：

过程1、确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；

过程2、在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。

实施中，在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；

其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。

在一些示例中，本实施例环状菜单在虚拟空间的坐标可表示为C((x2-x1)Δt+(y2-y1)Δt+(z2-z1)Δt)，其中，

其中，E为预设值，眼睛(第一位置)的坐标表示为A(x1,y1,z1)，虚拟对象(第二位置)的坐标表示为B(x2,y2,z2)，第三位置的坐标表示为C(x3,y3,z3)。

在一些示例中，本实施例可通过手势和命令项进行交互从而触发打开命令项的打开指令，具体包括如下任一或任多种交互方式：

方式1、接收用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；

实施中，如图5所示，本实施例中用户可以通过直接触控虚拟空间中的环状菜单上的命令项，从而触发打开该命令项。例如用户直接触控环状菜单上的移动命令，则控制虚拟对象移动到指定位置。

方式2、接收用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。

实施中，如图6所示，本实施例中用户可以通过将某一手势进行移动的方式，根据移动的方向触发打开环状菜单上的某一命令项。实施中，用户在发出某一手势指之后，向所要打开的命令项所在的位置移动，从而触发打开该命令项。

在一些示例中，本发明实施例为了提高用户的交互体验，在用户发出手势的位置，还显示缩略菜单，具体实施步骤如下所示：

步骤1、响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单之后，确定所述手势指令在所述虚拟空间中的手势位置；

步骤2、根据所述手势位置，确定与所述手势指令对应的备选位置；

实施中，备选位置可以是手势位置，也可以是靠近手势位置的地方，具体根据用户的操作需求确定，本实施例对此不作过多限定。

步骤3、在所述备选位置显示与所述环状菜单对应的缩略菜单，其中所述缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。

实施中，如图7所示，在手势位置对应的备选位置，显示与该环状菜单对应的缩略菜单，其中缩略菜单的形状为球状。

在一些示例中，在所述备选位置显示与所述环状菜单对应的缩略菜单之后，响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，还包括如下任一种显示方式：

方式1、在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项。

方式2、在所述环状菜单上显示所述移动的所述手势的所述移动方向。

方式3、在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项，以及在所述环状菜单上显示所述移动的所述手势的所述移动方向。

如图8所示，用户发出手势后，按照由环状菜单的中心指向环状菜单上的命令项的方向移动，此时在缩略菜单上能显示移动方向以及指向的命令项，在环状菜单上显示移动方向。

在一些示例中，如图9所示，本实施例还提供一种详细的AR人机交互方法，该方法的实施流程如下所示：

步骤900、确定使用AR设备的用户进行操作的目标对象；

步骤901、响应于用户的手势指令，在AR设备构建的虚拟空间中显示目标对象的虚拟对象；

步骤902、确定在虚拟空间中用户的眼睛的第一位置和虚拟对象的第二位置；在第一位置和第二位置确定的线段上，与第一位置相距预设值的第三位置显示虚拟对象的环状菜单；

其中第三位置与第一位置之间的距离，小于第三位置与第二位置之间的距离。

步骤903、确定手势指令在虚拟空间中的手势位置；根据手势位置，确定与手势指令对应的备选位置；在备选位置显示与环状菜单对应的缩略菜单；

其中缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。

步骤904、响应于用户在所述虚拟空间利用手势对所述命令项进行触控后触发的打开指令，对虚拟对象进行与打开指令对应的命令项的操作；

步骤905、响应于用户在虚拟空间利用移动的手势和命令项进行交互触发的打开指令；

其中移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。

步骤906、在缩略菜单上显示移动的手势的移动方向以及指向的环状菜单上的命令项，以及在环状菜单上显示移动的手势的移动方向。

实施例2、

基于相同的发明构思，本发明实施例还提供了一种增强现实的人机交互设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图10所示，该设备包括处理器1000和存储器1001，所述存储器1001用于存储所述处理器1000可执行的程序，所述处理器1000用于读取所述存储器1001中的程序并执行如下步骤：

确定使用增强现实AR设备的用户进行操作的目标对象；

响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；

响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。

作为一种可选的实施方式，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。

作为一种可选的实施方式，所述处理器1000具体被配置为执行：

确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；

在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。

作为一种可选的实施方式，所述处理器1000具体被配置为执行：

在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；

其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。

作为一种可选的实施方式，所述打开指令，包括：

所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，

所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。

作为一种可选的实施方式，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单之后，所述处理器1000具体还被配置为执行：

确定所述手势指令在所述虚拟空间中的手势位置；

根据所述手势位置，确定与所述手势指令对应的备选位置；

在所述备选位置显示与所述环状菜单对应的缩略菜单，其中所述缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。

作为一种可选的实施方式，所述在所述备选位置显示与所述环状菜单对应的缩略菜单之后，所述处理器1000具体还被配置为执行：

响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项；和/或，

响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述环状菜单上显示所述移动的所述手势的所述移动方向。

实施例3、

基于相同的发明构思，本发明实施例还提供了一种增强现实的人机交互装置，由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图11所示，该装置包括：

确定单元1100，用于确定使用增强现实AR设备的用户进行操作的目标对象；

显示单元1101，用于响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；

操作单元1102，用于响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。

作为一种可选的实施方式，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。

作为一种可选的实施方式，所述显示单元1101具体用于：

确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；

在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。

作为一种可选的实施方式，所述显示单元1101具体用于：

在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；

其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。

作为一种可选的实施方式，所述打开指令，包括：

所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，

所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。

作为一种可选的实施方式，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单之后，还包括显示缩略单元，用于：

确定所述手势指令在所述虚拟空间中的手势位置；

根据所述手势位置，确定与所述手势指令对应的备选位置；

在所述备选位置显示与所述环状菜单对应的缩略菜单，其中所述缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。

作为一种可选的实施方式，所述在所述备选位置显示与所述环状菜单对应的缩略菜单之后，所述显示缩略单元还用于：

响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项；和/或，

响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述环状菜单上显示所述移动的所述手势的所述移动方向。

基于相同的发明构思，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

确定使用增强现实AR设备的用户进行操作的目标对象；

响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；

响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。