头戴显示设备的交互方法、装置和电子设备

文档序号:13587 发布日期:2021-09-21 浏览:32次 >En<

阅读说明:本技术 头戴显示设备的交互方法、装置和电子设备 (Interaction method and device of head-mounted display equipment and electronic equipment ) 是由 李炳耀 于 2021-06-21 设计创作,主要内容包括:本申请涉及一种头戴显示设备的交互方法、装置、计算机设备和存储介质。所述方法应用于用户佩戴的头戴显示设备,用户穿戴的可穿戴设备与头戴显示设备连接;包括:显示在待进入功能应用的情况下所对应的交互界面;响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。采用本方法能够简化对头戴显示设备的交互操作,提高交互效率。(The application relates to an interaction method and device of a head-mounted display device, a computer device and a storage medium. The method is applied to head-mounted display equipment worn by a user, and the wearable equipment worn by the user is connected with the head-mounted display equipment; the method comprises the following steps: displaying an interactive interface corresponding to the condition of the function application to be entered; responding to an interactive operation triggered by an interactive element in the interactive interface, and executing an interactive event triggered by the interactive operation aiming at the interactive element; and the interactive operation is obtained by matching the pose data sent by the wearable equipment. By adopting the method, the interactive operation of the head-mounted display equipment can be simplified, and the interactive efficiency is improved.)

头戴显示设备的交互方法、装置和电子设备

技术领域

本申请涉及计算机

技术领域

,特别是涉及一种头戴显示设备的交互方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展,各种智能化电子产品,如实现增强现实技术、虚拟现实技术的头戴显示设备得到了越来越广泛的应用。头戴显示设备可以通过增强现实技术、虚拟现实技术,将用户从传统的二维屏幕空间向三维空间进行转换,提供更好的视觉效果。而目前对于头戴显示设备的交互控制中,存在交互操作困难导致交互效率低的问题,不利于用户与头戴显示设备进行交互。

发明内容

本申请实施例提供了一种头戴显示设备的交互方法、装置、电子设备、计算机可读存储介质,可以简化对头戴显示设备的交互操作,提高交互效率。

一种头戴显示设备的交互方法,应用于用户佩戴的头戴显示设备,用户穿戴的可穿戴设备与头戴显示设备连接;所述方法包括:

显示在待进入功能应用的情况下所对应的交互界面;

响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

一种头戴显示设备的交互装置,应用于用户佩戴的头戴显示设备,用户穿戴的可穿戴设备与头戴显示设备连接;所述装置包括:

交交互界面显示模块,用于显示在待进入功能应用的情况下所对应的交互界面;

交互操作响应模块,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:

显示在待进入功能应用的情况下所对应的交互界面;

响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

显示在待进入功能应用的情况下所对应的交互界面;

响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

上述头戴显示设备的交互方法、装置、电子设备、计算机可读存储介质,在待进入功能应用的情况下显示对应的交互界面,响应于对交互界面中根据与头戴显示设备连接的可穿戴设备的位姿数据匹配得到的交互操作,执行交互操作针对交互元素所触发的交互事件,从而实现对头戴显示设备的交互处理。在头戴显示设备的交互处理过程中,在头戴显示设备处于待进入功能应用的情况下,通过响应用户在对应的交互界面中通过穿戴的可穿戴设备触发的交互操作,交互操作根据与头戴显示设备连接的可穿戴设备发送的位姿数据匹配得到,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据实现与头戴显示设备的交互,简化了交互操作方式,提高了交互效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中头戴显示设备的交互方法的应用环境图;

图2为一个实施例中头戴显示设备的交互方法的流程图;

图3为一个实施例中显示设备配置交互界面的界面示意图;

图4为一个实施例中选中设备配置交互界面中交互元素的界面示意图;

图5为一个实施例中进入色彩设置的界面示意图;

图6为一个实施例中显示应用信息交互界面的界面示意图;

图7为一个实施例中选中应用信息交互界面中交互元素的界面示意图;

图8为一个实施例中进入功能应用的界面示意图;

图9为一个实施例中确定交互操作的流程图;

图10为另一个实施例中头戴显示设备的交互的应用环境图;

图11为另一个实施例中头戴显示设备的交互方法的流程图;

图12为一个实施例中头戴显示设备的交互装置的结构框图;

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

图1为一个实施例中头戴显示设备的交互方法的应用环境示意图。如图1所示,该应用环境包括用户穿戴的可穿戴设备102、用户佩戴的头戴显示设备104和服务器106。其中,可穿戴设备102通过网络与头戴显示设备104进行通信,头戴显示设备104通过网络与服务器106进行通信。用户佩戴头戴显示设备104后,服务器106可以将显示数据下发至头戴显示设备104进行显示,在头戴显示设备104待进入功能应用的情况下显示对应的交互界面,头戴显示设备104响应于对交互界面中根据可穿戴设备102的位姿数据匹配得到的交互操作,执行交互操作针对交互元素所触发的交互事件,从而实现对头戴显示设备104的交互处理。此外,在头戴显示设备104本地端已存储由需要显示的数据时,头戴显示设备104也可以不与服务器104连接,直接实现通过可穿戴设备102对头戴显示设备104的交互处理。

其中,可穿戴设备102可以但不限于是智能手表、智能手环等各种便携式可穿戴设备,头戴显示设备104可以但不限于是AR(Augmented Reality,增强现实)眼镜、VR(VirtualReality,虚拟现实)眼镜等各种头戴式显示器设备,服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2为一个实施例中头戴显示设备的交互方法的流程图。本实施例中的头戴显示设备的交互方法,以运行于图1中用户佩戴的与可穿戴设备连接的头戴显示设备上为例进行描述。如图2所示,头戴显示设备的交互方法包括步骤202至步骤204。

步骤202,显示在待进入功能应用的情况下所对应的交互界面。

其中,功能应用指可以在头戴显示设备上安装并运行客户端的应用,可以提供相应的功能服务,具体可以包括各种类型的应用,如游戏应用、视频应用、新闻媒体应用和社交应用等。功能应用在头戴显示设备上运行时,可以在头戴显示设备的显示区域进行显示,以展示功能应用的应用内容。例如,头戴显示设备具体可以为AR眼镜或头盔、VR眼镜或头盔等,则在用户佩戴头戴显示设备后,可以展示出功能应用的三维画面,用户可以在展示的三维画面中进行交互,如进行游戏交互。其中,VR,即虚拟现实是一种可以创建和体验虚拟世界的计算机仿真技术,其利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是用户肉眼所看不到的物质,通过三维模型表现出来。AR,即增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

对于不同的功能应用,其具有相应的交互方式,如可以触摸、遥控器、手势等各种交互方式。在头戴显示设备进入功能应用后,会展示与功能应用对应的应用交互界面,在该应用交互界面下用户可以通过功能应用所支持的交互方式进行交互处理。而在头戴显示设备未进入功能应用的情况下,即头戴显示设备处于待进入功能应用的情况,头戴显示设备会展示与对应所处情况相应的交互界面,如头戴显示设备在启动阶段显示启动交互界面、在启动后显示主界面以及对头戴显示设备进行配置的配置界面等各种交互界面,在此类交互界面中,头戴显示设备尚未进入功能应用,不能通过功能应用所支持的交互方式进行交互,往往需要通过头戴显示设备关联的遥控器进行交互,而通过遥控器与头戴显示设备进行交互,需要用户通过摸索遥控器上的相关按键触发对应的交互操作,交互操作困难,交互效率低。例如,对于头戴显示设备,若用户已经佩戴头戴显示设备,则用户不便于查看遥控器,用户通过遥控器进行交互时操作显得更加困难,交互效率较低。

具体地,在头戴显示设备未进入功能应用,处于待进入功能应用的情况下,头戴显示设备显示对应的交互界面,在该交互界面中,用户可以针对头戴显示设备进行与头戴显示设备相关的交互,例如,控制头戴显示设备的启动或关闭、配置头戴显示设备的运行参数、查看头戴显示设备安装的功能应用的应用信息等各种交互。

步骤204,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

其中,交互操作根据可穿戴设备发送的位姿数据匹配得到,可穿戴设备具体可以为佩戴头戴显示设备的用户所穿戴的设备,如手表、手环等各种可穿戴设备,可穿戴设备与头戴显示设备连接,如可以通过蓝牙进行连接,从而可穿戴设备可以将自身的位姿数据发送至头戴显示设备,以由头戴显示设备基于位姿数据匹配相应的交互操作。位姿数据为表征可穿戴设备的位置和姿态的数据,用户在穿戴可穿戴设备对头戴显示设备触发交互时,用户可以控制可穿戴设备的位置和姿态发生变换,如用户穿戴智能手表时,可以通过挪动手臂和旋转手腕改变智能手表的位置和姿态,可穿戴设备可以通过内置的传感器捕捉到位置数据和姿态数据,根据位置数据和姿态数据可以确定可穿戴设备的运动状态,从而得到可穿戴设备的位姿数据。

可穿戴设备将采集到的位姿数据发送至头戴显示设备,头戴显示设备针对可穿戴设备发送的位姿数据进行交互操作匹配,根据匹配结果确定对应触发的交互操作,如确定交互操作为移动、选择、确认或取消等各种操作。交互元素为交互界面中可以响应交互操作触发相应交互事件的元素,如可以为各种类型的控件,通过对该控件触发交互操作,可以执行控件对应的交互事件,如对于确认按钮触发确认操作,则确认执行相应的设定,从而实现对头戴显示设备的交互处理。

具体地,用户在头戴显示设备显示的交互界面中可以触发交互操作,交互操作根据用户穿戴的可穿戴设备发送的位姿数据匹配得到,从而用户可以通过改变可穿戴设备的位姿以对交互界面中的交互元素触发不同的交互操作,用户针对交互元素触发交互操作后,头戴显示设备执行交互操作针对交互元素所触发的交互事件,如对头戴显示设备进行配置处理、进入选定的功能应用等各种交互事件。

本实施例中的头戴显示设备的交互方法,在待进入功能应用的情况下显示对应的交互界面,响应于对交互界面中根据与头戴显示设备连接的可穿戴设备的位姿数据匹配得到的交互操作,执行交互操作针对交互元素所触发的交互事件,从而实现对头戴显示设备的交互处理。在头戴显示设备的交互处理过程中,在头戴显示设备处于待进入功能应用的情况下,通过响应用户在对应的交互界面中通过穿戴的可穿戴设备触发的交互操作,交互操作根据与头戴显示设备连接的可穿戴设备发送的位姿数据匹配得到,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据实现与头戴显示设备的交互,简化了交互操作方式,提高了交互效率。

在一个实施例中,显示在待进入功能应用的情况下所对应的交互界面,包括:在待进入功能应用的情况下,显示设备配置交互界面,在设备配置交互界面中显示针对头戴显示设备进行配置的交互元素。

其中,设备配置交互界面为对头戴显示设备进行配置交互的界面,在设备配置交互界面中可以包括针对头戴显示设备进行配置的各种交互元素,如设备配置交互界面中可以包括针对头戴显示设备的显示参数进行配置的交互控件,如亮度、对比度、饱和度、色系、主题等各种交互控件,用户可以针对各交互控件触发对头戴显示设备的显示参数进行配置处理。对于不同的配置功能,可以具有相应的设备配置交互界面,设备配置交互界面中可以包括不同的交互元素,设备配置交互界面具体的界面内容可以根据实际需要进行灵活设置。

具体地,在头戴显示设备处于待进入功能应用的情况下,头戴显示设备展示出设备配置交互界面,具体可以为用户触发针对头戴显示设备进行配置处理时,头戴显示设备显示与设备配置处理相应的设备配置交互界面,在该设备配置交互界面中,显示各种交互元素,显示的各种交互元素为针对头戴显示设备进行配置处理的界面元素,具体可以为各种类型的控件,以为用户提供针对头戴显示设备进行配置交互处理的入口。

进一步地,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件,包括:响应于对设备配置交互界面中的交互元素触发的交互操作,显示通过交互操作和交互元素对头戴显示设备进行配置的设备配置结果。

具体地,针对设备配置交互界面中显示的各交互元素,用户可以通过操控可穿戴设备产生不同运动状态,以根据可穿戴设备的位姿数据触发不同的交互操作。在用户针对设备配置交互界面中的交互元素触发交互操作后,头戴显示设备响应于该交互操作,确定交互操作所针对的交互元素,并通过交互操作和交互元素对头戴显示设备进行配置处理,显示设备配置结果。在具体实现时,头戴显示设备可以在通过交互操作和交互元素对头戴显示设备进行配置处理时,显示等待界面,在等待界面中展示配置处理的处理进度信息,以为用户展示配置的处理过程,在配置完成后,显示对应的设备配置结果。

在一个具体应用中,如图3所示,头戴显示设备在待进入功能应用的情况下,显示设备配置交互界面,交互界面中包括色彩设置的交互元素,用户通过移动手臂,操控穿戴的智能手环改变位姿以触发交互操作,交互操作作用焦点通过显示的射线进行标记。如图4所示,射线移动至色彩设置对应的交互元素。进一步地,如图5所示,在触发对色彩设置的交互操作时,头戴显示设备执行色彩设置所对应的交互事件,进入色彩设置的界面,以对亮度、对比度和饱和度等色彩参数进行设置,以实现对头戴显示设备的配置。

本实施例中,头戴显示设备在待进入功能应用的情况下,显示设备配置交互界面,并响应于用户对设备配置交互界面中交互元素触发的交互操作,显示通过交互操作和交互元素对头戴显示设备进行配置的设备配置结果,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据,实现对头戴显示设备进行配置的交互处理,简化了交互操作方式,提高了交互效率。

在一个实施例中,显示在待进入功能应用的情况下所对应的交互界面,包括:在待进入功能应用的情况下,显示应用信息交互界面,在应用信息交互界面中显示各功能应用相应的应用描述信息的交互元素。

其中,应用信息交互界面为对头戴显示设备中各种功能应用的应用信息进行交互的界面,在应用信息交互界面中可以包括针对头戴显示设备中各种功能应用的应用信息进行交互的各种交互元素,如应用信息交互界面中可以包括针对头戴显示设备的功能应用进行访问的交互控件,具体可以在应用信息交互界面中展示各功能应用对应的应用图标,用户可以针对各应用图标触发对相应功能应用进行交互处理,如访问对应的功能应用、对功能应用进行卸载、对功能应用进行信息更新等交互处理。应用信息交互界面具体的界面内容与头戴显示设备所支持运行的各种功能应用对应。应用信息交互界面中各种交互元素的类型也可以根据实际需要进行灵活设置,如可以为各种功能应用对应的应用图标、应用名称、应用标签页等各种形式的交互元素。

具体地,在头戴显示设备处于待进入功能应用的情况下,头戴显示设备展示出应用信息交互界面,具体可以为用户触发针对头戴显示设备的功能应用进行预览时,头戴显示设备显示与功能应用预览相应的应用信息交互界面,在该应用信息交互界面中,显示各种交互元素,显示的各种交互元素为表示相应功能应用的界面元素,具体可以为各种功能应用对应的应用图标,以为用户提供浏览或访问功能应用的入口。

进一步地,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件,包括:响应于对应用信息交互界面中的交互元素的交互操作,显示交互操作作用于交互元素所对应的应用交互结果。

具体地,针对应用信息交互界面中显示的各交互元素,用户可以通过操控可穿戴设备产生不同运动状态,以根据可穿戴设备的位姿数据触发不同的交互操作。在用户针对应用信息交互界面中的交互元素触发交互操作后,头戴显示设备响应于该交互操作,确定交互操作所针对的交互元素,并通过交互操作对对应的交互元素进行交互处理,头戴显示设备显示对应的应用交互结果。在具体实现时,头戴显示设备可以在通过交互操作对对应的交互元素进行交互处理时,显示等待界面,在等待界面中展示交互处理的处理进度信息,以为用户展示交互处理的处理过程,在交互处理完成后,显示对应的应用交互结果。例如,用户对应用信息交互界面中的交互元素A触发访问操作,表明用户需要访问交互元素A对应的功能应用,头戴显示设备可以显示访问交互元素A对应的功能应用的应用启动动画,在功能应用启动完成后,进入功能应用,从而实现对功能应用的访问处理。

在一个具体应用中,如图6所示,头戴显示设备在待进入功能应用的情况下,显示应用信息交互界面,应用信息交互界面中显示有4个功能应用所对应的应用图标,用户通过移动手臂,操控穿戴的智能手环改变位姿以触发交互操作,交互操作作用焦点通过显示的射线进行标记。如图7所示,用户在选中荒野游玩的应用图标后,通过旋转手腕,触发访问荒野游玩。如图8所示,在针对荒野游玩的应用图标触发访问后,头戴显示设备进入荒野游玩,展示荒野游玩对应的应用内容。

本实施例中,头戴显示设备在待进入功能应用的情况下,显示应用信息交互界面,并响应于用户对应用信息交互界面中交互元素触发的交互操作,显示交互操作作用于交互元素所对应的应用交互结果,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据,实现对头戴显示设备的功能应用进行交互处理,简化了交互操作方式,提高了交互效率。

在一个实施例中,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件,包括:响应于对交互界面中的交互元素触发的元素选择操作,在交互界面中标记出通过元素选择操作选中的目标交互元素;在满足目标交互元素的执行条件时,执行针对目标交互元素所触发的交互事件。

其中,元素选择操作为用户通过可穿戴设备在交互界面中触发的对交互元素进行选择的操作,通过元素选择操作可以从交互界面中的各交互元素进行选定,以确定用户需要针对进行交互处理的交互对象。目标交互元素即为用户通过触发的元素选择操作从交互界面中的交互元素中选定的需要进行交互处理的交互元素。执行条件为触发执行目标交互元素对应的交互事件的条件,执行条件可以根据实际需要灵活进行设置,如用户在选定目标交互元素后保持元素选择操作的持续时长达到预设时长,则认为满足目标交互元素的执行条件,又如在用户选定目标交互元素后,进一步触发执行目标交互元素对应交互事件的确认操作,则认为满足目标交互元素的执行条件。

具体地,头戴显示设备显示交互界面后,用户通过可穿戴设备在交互界面中触发元素选择操作,元素选择操作作用于交互界面中的交互元素,元素选择操作针对作用的交互元素为目标交互元素,头戴显示设备可以在交互界面中标记出元素选择操作选中的目标交互元素,例如可以对目标交互元素进行特殊标记,如进行高亮显示,以提示该交互元素为选定的目标交互元素,还可以通过射线或选择记号对目标交互元素标记,如射线指向该目标交互元素,选择记号落点在目标交互元素的区域,从而在交互界面中标记出通过元素选择操作选中的目标交互元素。进一步地,头戴显示设备确认是否满足目标交互元素对应的执行条件,如用户是否触发针对目标交互元素的确认操作,若是,则表明满足目标交互元素对应的执行条件,则头戴显示设备执行针对目标交互元素所触发的交互事件,从而实现对头戴显示设备的交互处理。

本实施例中,用户通过可穿戴设备在交互界面中触发元素选择操作,头戴显示设备在交互界面中标记出通过元素选择操作选中的目标交互元素,在满足目标交互元素的执行条件时,头戴显示设备执行针对目标交互元素所触发的交互事件,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据,实现对头戴显示设备的交互处理,简化了交互操作方式,提高了交互效率。

在一个实施例中,在显示在待进入功能应用的情况下所对应的交互界面之后,还包括:在交互界面中的预设位置显示交互预选标志。

其中,交互预选标志可以为标记出用户的交互操作对应作用焦点的标志,具体可以为一道射线,该射线射向头戴显示设备显示的交互界面,射线的端点位置即为用户的交互操作对应的作用焦点。交互预选标志还可以为鼠标标记、选择框等各种形式的标志,用于标记出用户的交互操作对应作用焦点。交互预选标志的具体类型可以根据实际需要预先进行配置,还可以由用户进行个性化设置。

具体地,头戴显示设备显示在待进入功能应用的情况下所对应的交互界面后,在该交互界面中的预设位置显示交互预选标志,如可以在交互界面的几何中点位置,显示交互预选标志,以表示用户的交互操作对应作用的焦点为交互界面的几何中点。

进一步地,在交互界面中标记出通过元素选择操作选中的目标交互元素,包括:将交互预选标志从预设位置,移动至元素选择操作选中的目标交互元素所对应的位置。

具体地,在用户触发元素选择操作后,头戴显示设备将交互预选标志从预设位置,移动至元素选择操作选中的目标交互元素所对应的位置,从而通过交互预选标志表示用户的交互操作对应作用的焦点为目标交互元素,即用户选定了目标交互元素进行交互处理。在具体实现时,头戴显示设备可以对元素选择操作对应的位姿数据进行分析,确定元素选择操作选中的目标交互元素,并将交互预选标志从预设位置移动至该目标交互元素所对应的位置。

本实施例中,通过交互预选标志标记出用户的交互操作对应作用焦点,从而用户可以通过交互预选标志所标记的对象确定交互元素,直观地展示出用户选定的目标交互元素,有利于对用户的交互操作进行实时反馈,便于用户针对目标交互元素进行交互处理,提高交互效率。

在一个实施例中,在满足目标交互元素的执行条件时,执行针对目标交互元素所触发的交互事件,包括:响应于对目标交互元素触发的执行确认操作,执行该执行确认操作针对目标交互元素所触发的交互事件。

其中,执行确认操作为确认针对目标交互元素触发执行的操作,具体可以为用户针对目标交互元素进一步触发的操作。例如,在可穿戴设备为智能手表时,用户可以通过旋转手腕以改变智能手表的位姿,如用户通过顺时针转动手腕,触发执行确认操作,以触发针对目标交互元素的交互事件。

具体地,在用户选定目标交互元素后,用户可以进一步通过可穿戴设备触发执行确认操作,表明用户确认需要执行选定的目标交互元素所对应的交互事件,头戴显示设备响应于该执行确认操作,执行该执行确认操作针对目标交互元素所触发的交互事件,如访问目标交互元素对应的功能应用,或对头戴显示设备进行与目标交互元素匹配的配置处理。

本实施例中,头戴显示设备响应用户针对目标交互元素触发的执行确认操作,执行该执行确认操作针对目标交互元素所触发的交互事件,从而可以在头戴显示设备待进入功能应用的情况下通过可穿戴设备的位姿数据,实现对头戴显示设备的功能应用进行交互处理,简化了交互操作方式,提高了交互效率。

在一个实施例中,头戴显示设备的交互方法还包括:响应于通过可穿戴设备触发的标定操作,显示标定界面;在标定界面中标记出标定交互操作对应的交互操作结果;标定交互操作与可穿戴设备的当前位姿数据匹配。

其中,标定操作为对可穿戴设备的位姿进行标定处理的操作,通过可穿戴设备的位姿进行标定处理,可以对可穿戴设备的位姿校准,以确保用户通过可穿戴设备触发交互操作的灵敏度和准确性,确保针对头戴显示设备的交互效率。标定操作具体的触发可以根据实际需要进行设定,如可以根据可穿戴设备的位姿数据或标定指令触发,如在可穿戴设备的特定区域,如显示屏区域被遮挡且持续一定时长时,或用户通过可穿戴设备向头戴显示设备发出标定指令时,触发标定操作。标定界面为对可穿戴设备的位姿进行标定处理的界面,用户可以在标定界面中触发标定交互操作,以对对可穿戴设备的位姿进行标定处理。其中,标定交互操作与可穿戴设备的当前位姿数据匹配,即在触发标定操作,头戴显示设备显示标定界面后,根据可穿戴设备的当前位姿数据可以匹配确定相应的标定交互操作,标定交互操作与可穿戴设备的当前位姿数据匹配。

具体地,在用户需要对可穿戴设备的位姿进行标定处理,以确保交互操作的灵敏度和准确度时,用户可以通过可穿戴设备触发标定操作,如用户可以遮盖可穿戴设备的特定区域,触发标定操作,头戴显示设备响应于该标定操作,显示标定界面。进一步地,头戴显示设备根据可穿戴设备的当前位姿数据匹配相应的标定交互操作,并在标定界面中标记出标定交互操作对应的交互操作结果。例如,头戴显示设备可以根据可穿戴设备的当前位姿数据匹配相应的标定交互操作,在标定界面的界面几何中心中,标记出标定交互操作对应作用焦点,从而标记出标定交互操作对应的交互操作结果,表明用户穿戴的可穿戴设备当前位姿数据对应的交互操作的作用焦点为标定界面的界面几何中心,用户可以通过在触发标定时改变可穿戴设备的当前位姿数据,以实现对可穿戴设备的位姿的标定处理。

本实施例中,头戴显示设备可以响应于用户通过可穿戴设备触发的标定操作,在标点界面中显示可穿戴设备的当前位姿数据匹配的标定交互操作对应的交互操作结果,通过对可穿戴设备的位姿进行标定处理,可以确保通过可穿戴设备进行交互的灵敏度和准确度,有利于提高交互效率。

在一个实施例中,头戴显示设备的交互方法还包括:在触发振动反馈的情况下,通过可穿戴设备中的振动组件进行振动反馈。

其中,振动组件可以设置于可穿戴设备中,以为穿戴可穿戴设备的用户体用振动反馈。具体地,在触发振动反馈的情况下,如用户通过可穿戴设备触发的交互操作生效时,或交互操作的作用焦点位于交互界面的边缘位置时,可以认为需要进行振动反馈,提示用户,则可以通过可穿戴设备中的振动组件进行振动反馈。具体实现时,头戴显示设备可以监测是否满足触发振动反馈的情况,若是,则向可穿戴设备发送振动指令,可穿戴设备根据振动指令,控制振动组件为用户进行振动反馈。在具体应用中,振动组件的振动强度可以根据实际需要进行灵活设置,如振动强度可以根据交互操作的操作幅度对应,具体可以成正相关,即交互操作的操作幅度越大,则对应的振动强度也越大。此外,在交互操作的作用焦点位于交互界面的边缘位置时,对应的振动强度可以为最大,以提示用户以达到操作的边缘位置。

本实施例中,触发振动反馈的情况下,通过可穿戴设备中的振动组件进行振动反馈,从而可以通过振动反馈为用户提供反馈信息,以便用户可以及时得到交互操作的作用效果,有利于用户进行交互处理,提高头戴显示设备的交互效率。

在一个实施例中,如图9所示,头戴显示设备的交互方法还包括交互操作确定的处理,具体包括:

步骤902,获取可穿戴设备的位姿数据,位姿数据由可穿戴设备中的传感器组件采集得到。

其中,位姿数据为表征可穿戴设备的位置和姿态的数据,用户在穿戴可穿戴设备对头戴显示设备触发交互时,用户可以控制可穿戴设备的位置和姿态发生变换,如用户穿戴智能手表时,可以通过挪动手臂和旋转手腕改变智能手表的位置和姿态,可穿戴设备可以通过内置的传感器捕捉到位置数据和姿态数据,根据位置数据和姿态数据可以确定可穿戴设备的运动状态,从而得到可穿戴设备的位姿数据。位姿数据由可穿戴设备中的传感器组件采集得到,具体包括方向传感器、速度传感器、距离传感器等。

在具体实现时,传感器组件可以检测可穿戴设备在空间坐标系中X、Y、Z三个轴的加速度和绕X、Y、Z三个轴的旋转角速度,头戴显示设备通过三个轴的加速度可以计算出可穿戴设备的姿态;通过三个轴的加速度变化和旋转角速度的变化可以判断出可穿戴设备的运动方向和旋转方向;通过对加速度和角速度的积分运算计算出可穿戴设备在三个轴上的位移和旋转角度;根据三个轴上的位移分量合成可穿戴设备实际位移,从而确定可穿戴设备的运动状态。

具体地,用户通过操控穿戴的可穿戴设备,改变可穿戴设备的运动状态,可穿戴设备中的传感器组件采集到位姿数据,并将位姿数据发送至头戴显示设备,头戴显示设备接收到可穿戴设备发送的位姿数据。

步骤904,对位姿数据进行位姿状态分析,得到可穿戴设备的位姿状态。

头戴显示设备接收到可穿戴设备发送的位姿数据后,头戴显示设备对位姿数据进行位姿状态分析,例如可以通过位姿数据对可穿戴设备的运动状态进行分析,得到可穿戴设备的位姿状态。例如,在传感器组件可以检测可穿戴设备在空间坐标系中X、Y、Z三个轴的加速度和绕X、Y、Z三个轴的旋转角速度时,头戴显示设备通过三个轴的加速度可以计算出可穿戴设备的姿态;通过三个轴的加速度变化和旋转角速度的变化可以判断出可穿戴设备的运动方向和旋转方向;通过对加速度和角速度的积分运算计算出可穿戴设备在三个轴上的位移和旋转角度;根据三个轴上的位移分量合成可穿戴设备实际位移,从而获得可穿戴设备的运动状态,进一步确定可穿戴设备的位姿状态。

步骤906,基于位姿状态与预设的位姿操作映射关系,匹配得到通过可穿戴设备所触发的交互操作。

得到可穿戴设备的位姿状态后,头戴显示设备可以查询预设的位姿操作映射关系,位姿操作映射关系包括各种位姿状态对应匹配的交互操作。头戴显示设备将位姿状态与预设的位姿操作映射关系进行匹配,根据匹配结果得到通过可穿戴设备所触发的交互操作,从而确定用户通过操控可穿戴设备所出发的交互操作。

本实施例中,头戴显示设备通过对可穿戴设备采集并发送的位姿数据进行分析,根据确定的位姿状态与预设的位姿操作映射关系进行匹配,根据匹配结果得到可穿戴设备所触发的交互操作,从而实现用户可以通过操控改变可穿戴设备的位姿数据触发交互操作,以实现对头戴显示设备的交互操作,简化了交互操作方式,提高了交互效率。

本申请还提供一种应用场景,该应用场景应用上述的头戴显示设备的交互方法。具体地,该头戴显示设备的交互方法在该应用场景的应用如下:

头戴显示设备可以为智能显示设备,如可以为AR眼镜、VR眼镜或智能电视等智能设备,而传统的头戴显示设备在功能应用内部通过遥控器、手机充当遥控器以及手势识别进行控制。在头戴显示设备待进入功能应用的情况下,如在启动阶段和主界面中,一般通过遥控器和手机进行控制,进入具体的功能应用后根据功能应用要求选择相应的方式进行交互。

具体地,在头戴显示设备待进入功能应用的情况下,通过遥控器控制头戴显示设备是目前最主流的方式,遥控器通过有线或无线的方式与头戴显示设备建立连接,遥控器上一般设置上下左右四个方向键,以及返回键、确认键、菜单键。当遥控器被唤醒时,头戴显示设备会在当前显示界面中高亮显示光标所在位置。用户可通过上下左右方向键移动光标位置,并进行确认、返回等操作。

另一方面,使用手机充当遥控器的方式需要运行特定的应用程序,手机通过有线或无线的方式与头戴式显示设备建立连接,手机上的IMU(Inertial Measurement Unit,惯性测量单元)传感器数据可计算出当前手机的指向,同时在头戴设备的显示屏显示一条射线用于指示手机当前指向,用户通过调整手机位姿可以改变射线所指区域,通过手机显示屏上的按钮可以对当前指向区域进行相应的操作。手机屏幕上设置有复位射线按钮,点击复位射线按钮即可将射线移动到指定的位置,并与当前手机指向进行标定。

然而,用户在佩戴上头戴显示设备后看不到现实世界,看不到遥控器或手机的按键所在位置,只能对遥控器和手机进行盲操作,影响交互正确性和效率。此外,即使头戴显示设备戴上后能同时看到虚拟图像和现实世界,但是使用遥控器和手机控制时需要用户的注意力在现实世界和虚拟图像中来回切换,人眼的焦点也需要不断的变化调节,影响用户的沉浸式体验,也影响了交互效率。

基于此,本实施例提供的头戴显示设备的交互方法,应用于用户佩戴的头戴显示设备,用户穿戴的可穿戴设备与所述头戴显示设备连接。其中,用户穿戴的可穿戴设备可以为智能手表或智能手环等各种可穿戴式设备。如图10所示,智能手表或智能手环可以由表带100、壳体200、触摸屏300和传感器组件组成,触摸屏300和传感器组件安装在壳体200上,智能手表通过表带100将壳体200固定在用户的手腕处。可穿戴设备通过无线方式,如可以通过蓝牙与头戴式显示设备建立连接,连接成功后可穿戴设备自动打开或者由用户打开头戴显示设备控制应用,可穿戴设备成功打开控制应用后头戴式显示设备会在屏幕400中的默认位置显示一条射线500。

其中,传感器组件可以检测X、Y、Z三个轴的加速度和绕X、Y、Z三个轴的旋转角速度。头戴显示设备连接通过三个轴的加速度可以计算出电子装置的姿态;通过三个轴的加速度变化和旋转角速度的变化可以判断出可穿戴设备的运动方向和旋转方向;通过对加速度和角速度的积分运算计算出可穿戴设备在三个轴上的位移和旋转角度;根据三个轴上的位移分量合成可穿戴设备实际位移。具体地,传感器组件感应可穿戴设备的运动状态,获取运动方向、速度、距离参数等运动参数,可穿戴设备将运动参数发送至头戴显示设备,头戴显示设备解算运动数据,并根据运动数据改变屏幕400内射线500的指向。若用户顺时针转动手腕时可穿戴设备发出“确认”命令,其作用相当于对射线500指向位置进行“点击”操作,头戴显示设备的屏幕400切换相应的内容,即执行相应的交互事件。

具体地,如图11所示,可穿戴设备与头戴显示设备建立连接后,可穿戴设备启动交互控制应用,并采集用户在摆动手臂过程中的运动方向、速度和距离,得运动数据,可穿戴设备将采集获得的运动数据发送至头戴显示设备。头戴显示设备对接收到的运动数据进行解算,改变射线指向,在用户触发确认操作时,头戴设备执行射线指向交互元素对应的交互事件。其中,可穿戴式设备内的传感器会检测可穿戴式设备在空间坐标系的X,Y,Z三个方向的移动距离和绕X,Y,Z三个轴的转动角度,可穿戴式设备的上下左右移动可以控制屏幕400内射线500做绕起点的上下左右转动,从而改变射线500指向屏幕400中不同的位置。用户可以顺时针转动手腕穿戴式设备发出“确认”命令,逆时针转动手腕发出“返回/取消”命令。“确认”命令和“返回/取消”命令对应的手势用户可以通过自定义设置。用户在实际使用中一般很难使手部做严格的上下左右平移运动,而且大部分使用场景是将手肘放置在椅子扶手或桌子上,以手肘为圆心做上下左右摆动。可穿戴式设备内的传感器可通过检测X,Y,Z三个方向的运动分量还原出用户小臂的真实运动轨迹,通过小臂的摆动即可改变头戴显示设备屏幕400内射线500的指向。

此外,可穿戴式设备还具有标定功能,标定功能被触发时,头戴显示设备屏幕400中的射线500会进行复位,可穿戴式设备此刻的位姿会与处于复位位置的射线500进行匹配。标定功能可以让用户快速找到射线500位置和调整手部姿态,防止控制过程中出现射线丢失和手臂行程过大的现象。标定功能可以通过轻敲可穿戴式设备触摸屏300或者捂住触摸屏300的方式触发,具体的触发方式也可由用户自定义设置,默认捂住触摸屏300触发标定功能。

可穿戴设备还包括可以振动组件,通过振动组件对用户的操作进行反馈。当用户进行有效的小臂摆动时,振动组件通过振动进行反馈,振动强度跟摆动幅度成正比,当射线500指向位置达到头戴显示设备的屏幕400边缘时振动幅度最大,提醒用户射线500已经达到限位位置。用户转动手腕时同样可以通过振动组件给予用户相应的反馈,让用户除了根据自身手臂扭转程度外多一种方式感知手腕的转过角度,当转过角度超过阈值时振动消失,提醒用户该转动已成功触发对应的指令发送到头戴显示设备。

本实施例中,对于虚拟现实类头戴显示设备,用户戴上后看不到现实世界,使用现有的遥控器或手机控制时看不到按键所在位置,容易发生误操作或者需要较长时间才能摸索到按键的正确位置。而本实施例中,用户可以通过手部运动来控制头戴显示设备,无需任何按键操作,可以提高操作的准确性和速度。对于增强现实类头戴显示设备,用户戴上后虽然可以看到显示世界,但是用户的注意力需要在头戴显示设备和遥控器或手机之间来回切换,人眼的焦点也需要相应改变,影响用户的使用体验。而本实施例中,用户可将注意力完全放在头戴设备的显示屏上,只需简单的手部运动即可对头戴设备进行控制,提高用户的沉浸式体验效果,提高了交互效率。

应该理解的是,虽然图2、图9和图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图9和图11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图12为一个实施例的头戴显示设备的交互装置1200的结构框图。头戴显示设备的交互装置1200应用于用户佩戴的头戴显示设备,用户穿戴的可穿戴设备与头戴显示设备连接。如图12所示,头戴显示设备的交互装置1200包括交互界面显示模块1202和交互操作响应模块1204;其中:

交互界面显示模块1202,用于显示在待进入功能应用的情况下所对应的交互界面;

交互操作响应模块1204,响应于对交互界面中的交互元素触发的交互操作,执行交互操作针对交互元素所触发的交互事件;其中,交互操作是根据可穿戴设备发送的位姿数据匹配得到的。

在一个实施例中,交互界面显示模块1202,还用于在待进入功能应用的情况下,显示设备配置交互界面,在设备配置交互界面中显示针对头戴显示设备进行配置的交互元素;交互操作响应模块1204,还用于响应于对设备配置交互界面中的交互元素触发的交互操作,显示通过交互操作和交互元素对头戴显示设备进行配置的设备配置结果。

在一个实施例中,交互界面显示模块1202,还用于在待进入功能应用的情况下,显示应用信息交互界面,在应用信息交互界面中显示各功能应用相应的应用描述信息的交互元素;交互操作响应模块1204,还用于响应于对应用信息交互界面中的交互元素的交互操作,显示交互操作作用于交互元素所对应的应用交互结果。

在一个实施例中,交互操作响应模块1204包括目标交互元素确定模块和目标交互元素执行模块;其中:目标交互元素确定模块,用于响应于对交互界面中的交互元素触发的元素选择操作,在交互界面中标记出通过元素选择操作选中的目标交互元素;目标交互元素执行模块,用于在满足目标交互元素的执行条件时,执行针对目标交互元素所触发的交互事件。

在一个实施例中,还包括预先标志显示模块,用于在交互界面中的预设位置显示交互预选标志;目标交互元素确定模块,还用于将交互预选标志从预设位置,移动至元素选择操作选中的目标交互元素所对应的位置。

在一个实施例中,目标交互元素执行模块,还用于响应于对目标交互元素触发的执行确认操作,执行执行确认操作针对目标交互元素所触发的交互事件。

在一个实施例中,还包括标定界面显示模块和标定结果模块;其中:标定界面显示模块,用于响应于通过可穿戴设备触发的标定操作,显示标定界面;标定结果模块,用于在标定界面中标记出标定交互操作对应的交互操作结果;标定交互操作与可穿戴设备的当前位姿数据匹配。

在一个实施例中,还包括振动反馈模块,用于在触发振动反馈的情况下,通过可穿戴设备中的振动组件进行振动反馈。

在一个实施例中,还包括位姿数据获取模块、位姿数据分析模块和交互操作确定模块;其中:位姿数据获取模块,用于获取可穿戴设备的位姿数据,位姿数据由可穿戴设备中的传感器组件采集得到;位姿数据分析模块,用于对位姿数据进行位姿状态分析,得到可穿戴设备的位姿状态;交互操作确定模块,用于基于位姿状态与预设的位姿操作映射关系,匹配得到通过可穿戴设备所触发的交互操作。

上述头戴显示设备的交互装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将头戴显示设备的交互装置按照需要划分为不同的模块,以完成上述头戴显示设备的交互装置的全部或部分功能。

关于头戴显示设备的交互装置的具体限定可以参见上文中对于头戴显示设备的交互方法的限定,在此不再赘述。上述头戴显示设备的交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

图13为一个实施例中电子设备的内部结构示意图。该电子设备可以是头戴式显示设备,具体可以为实现虚拟现实、增强现实、混合现实等不同效果的显示设备。该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital SignalProcessing,数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种头戴显示设备的交互方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的头戴显示设备的交互装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行头戴显示设备的交互方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行头戴显示设备的交互方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory,只读存储器)、PROM(Programmable Read-only Memory,可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory,电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory,随机存取存储器),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如SRAM(Static Random Access Memory,静态随机存取存储器)、DRAM(Dynamic Random Access Memory,动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)、双数据率DDRSDRAM (Double Data Rate Synchronous Dynamic Random Access memory,双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory,增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory,同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic RandomAccess Memory,总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory,接口动态随机存储器)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

24页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种虚拟对象传送方法、装置、设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类