基于头部运动的瞳孔间距离补偿的观察系统

文档序号:690444 发布日期:2021-04-30 浏览:28次 >En<

阅读说明:本技术 基于头部运动的瞳孔间距离补偿的观察系统 (Observation system for interpupillary distance compensation based on head movement ) 是由 S·A·米勒 于 2019-08-02 设计创作,主要内容包括:本发明提供了一种观察系统,其包括:增强现实系统,其至少部分地基于用户的IPD向用户生成视觉呈现;以及IPD补偿器,其基于IPD补偿因子来调节视觉呈现。(The present invention provides an observation system, comprising: an augmented reality system that generates a visual presentation to a user based at least in part on the user&#39;s IPD; and an IPD compensator to adjust the visual presentation based on the IPD compensation factor.)

基于头部运动的瞳孔间距离补偿的观察系统

相关申请的交叉引用

本申请要求于2018年8月2日提交的美国临时专利申请号62/714,056的优先权,其全部内容通过引用整体合并于此。

技术领域

本发明涉及连接的移动计算系统、方法和配置,并且更具体地涉及以可用于虚拟和/或增强现实操作的至少一个可穿戴组件为特征的移动计算系统、方法和配置。

背景技术

期望混合现实或增强现实近眼显示器是轻量级的,低成本的,具有小的形状因数,具有宽的虚拟图像视野并且尽可能透明。另外,期望具有在多个焦平面(例如,两个或更多个)中呈现虚拟图像信息的配置,以便在不超出可接受的聚散调节失配容差的情况下,适用于各种各样的用例。

发明内容

本发明提供一种观察系统。包括瞳孔间距离IPD检测器,其能够定位以检测用户的IPD并生成IPD数据,头部运动检测器设备,其基于所述用户的头部的运动来生成头部运动数据,相关器,其被连接到所述IPD检测器和所述头部运动检测设备以生成所述IPD数据与所述头部运动数据之间的相关性,以及存储系统,其被连接到所述相关器以存储所述相关性。

所述观察设备可进一步包括:可固定到所述用户的头部的装置框架,所述IPD检测器和所述头部运动设备被固定到所述装置框架。

所述观察设备可进一步包括:所述IPD检测器是具有朝向所述用户的眼睛取向的捕获场的相机。

所述观察设备可进一步包括:所述头部运动检测器包括一个或多个加速度计、陀螺仪、惯性测量单元IMU或相机。

所述观察设备可进一步包括:所述头部运动检测器确定所述用户的头部的旋转和位置中的至少一个。

所述观察设备可进一步包括:供所述用户咬住的口咬接口,以将所述装置框架牢固地附着到所述用户的头部。

所述观察设备可进一步包括:所述用户能够在所述IPD数据被收集时加速其头部。

所述观察设备可进一步包括:IPD补偿因子计算器,其基于所述相关性来计算IPD补偿因子。

所述观察设备可进一步包括:增强现实系统,其至少部分地基于所述用户的IPD来向用户生成视觉呈现,以及IPD补偿器,其基于所述IPT补偿因子来调节所述视觉呈现。

本发明还提供了一种观察系统,包括:增强现实系统,其至少部分地基于所述用户的IPD来向用户生成视觉呈现,以及IPD补偿器,其基于IPD补偿因子来调节所述视觉呈现。

所述观察系统可进一步包括:俯仰角检测器,其检测所述用户的头部的俯仰角,其中,所述IPD补偿因子取决于所述俯仰角检测器所检测的所述俯仰角。

所述观察系统可进一步包括:观察校准系统,其指导所述用户进行一系列观察练习,以确定一个或多个IPD补偿因子。

所述观察系统可进一步包括:IPD检测器,其可定位以检测用户的IPD并生成IPD数据,头部运动检测器设备,其基于所述用户的头部的运动来生成头部运动数据,相关器,其被连接到所述IPD检测器和所述头部运动检测设备以生成所述IPD数据与所述头部运动数据之间的相关性,以及存储系统,其被连接到所述相关器以存储所述相关性。

所述观察系统可进一步包括:可固定到所述用户的头部的装置框架,所述IPD检测器和所述头部运动设备被固定到所述装置框架。

所述观察系统可进一步包括:所述IPD检测器是具有朝向所述用户的眼睛取向的捕获场的相机。

所述观察系统可进一步包括:所述头部运动检测器包括一个或多个加速度计、陀螺仪、惯性测量单元IMU或相机。

所述观察系统可进一步包括:所述头部运动检测器确定所述用户的头部的旋转和位置中的至少一个。

所述观察系统可进一步包括:供所述用户咬住的口咬接口,以将所述装置框架牢固地附着到所述用户的头部。

所述观察系统可进一步包括:所述用户能够在所述IPD数据被收集时加速其头部。

附图说明

参考附图,通过示例的方式进一步描述本发明,在附图中:

图1是示出增强现实观察系统的示意图;

图2是示出用户的各种头部运动以及用户的瞳孔间距离(IPD)的变化的用户的示意图;

图3是类似于图2的视图,其中用户在向上方向倾斜其头部;

图4A和图4B是示出具有用于基于头部运动来检测IPD补偿的实验装置的用户的透视图;

图5是示出相对于头部俯仰的IPD补偿因子的图;

图6A是示出IPD头部旋转补偿的流程图;

图6B是示出IPD头部旋转补偿的流程图;

图6C是示出IPD头部旋转补偿的流程图;

图7是增强现实系统的局部顶视图和局部框图;以及

图8是示出其IPD补偿特征的增强现实系统的顶视图。

具体实施方式

参考图1,示出了增强现实系统,其特征在于头戴式观察组件(2)、手持控制器组件(4)以及可以配置作为腰包等戴在用户上的互连辅助计算或控制器组件(6)。这些组件中的每一个组件可以经由有线或无线通信配置(诸如由IEEE 802.11、蓝牙(RTM)和其它连接标准和配置指定的那些)彼此以及与其它连接的资源(8)(诸如云计算或云存储资源)可操作地耦接(10、12、14、16、17、18)。例如,如在美国专利申请序列号14/555,585、14/690,401、14/331,218、15/481,255和62/518,539中所述,其中的每一个申请通过引用整体并入在此,描述了此类组件的各个方面,诸如两个所描绘的光学元件(20)的各种实施例,用户可以通过该光学元件(20)看到它们周围的世界,以及可以由相关联的系统组件产生的视觉组件,以用于增强现实体验。在各种实施例中,诸如在前述参考专利申请中所描述的许多实施例中,一个或多个组件可以具有设备或子组件的特征,诸如加速度计、陀螺仪、电位计、集成惯性测量单元(“IMU”)和相机,它们用于确定或估计相互耦接的用户身体部位的位置和/或取向(诸如,当耦接到仪器装备的头戴式观察组件(2)时用户头部的位置或取向),以及有助于线性和/或成角度地确定其速度和/或加速度。在各种实施例中,诸如在前述参考专利申请中所描述的许多实施例中,对于系统在向此类用户呈现与增强或虚拟现实体验有关的视觉信息时利用单个用户的瞳孔间距离(“IPD”)作为至少一个输入可能是有价值的。在各种实施例中,方便的是在使用相关系统之前简单地测量用户的IPD并将该信息作为用户输入提供给系统;在其它实施例中,可能是系统被配置为利用诸如相机的向内(即,朝向用户的眼睛)设备来在各种应用的运行时间或所呈现的信息之前和/或期间自动确定用户的IPD信息。如下面进一步详细讨论的,在利用增强现实系统和相关联测试装置的各种实施例的同时,我们已经确定,随着此类用户以各种方式相对于其身体的其余部分和他们周围的环境旋转或重新取向他们的头部,各种用户可能会受益于所呈现的增强现实信息的定位的补偿或调节。例如,在一个实施例中,具有随用户头部的俯仰位置而略微改变所呈现的增强现实信息的z轴位置(即,从用户面部的平面直出)的补偿因子可能是有价值的。这可能与这些用户中的至少一些用户在改变其头部的俯仰、将其头部偏航向侧面或甚至滚动其头部(即,诸如围绕从他们的鼻子垂直延伸的z轴)时经历IPD的实际变化或功能(functional)变化有关。在一个实施例中,可以利用输入到相关计算中的IPD信息的变化,该变化可以与头部取向相关(诸如以将IPD调节因子或补偿与头部取向相关的方程式或查找表的形式),作为补偿变量,以在此类配置中向用户生成所呈现的增强现实信息。

参考图2,示出了具有被附接的头部(32)的用户身体(30)的表示,该用户位于包括固定墙壁(22、24)、地板(28)和天花板(26)的房间内,例如,这些可以与以X、Y、Z笛卡尔坐标(分别为40、42、44)为特征的此类房间的全局坐标系相关联。另一个坐标系可以与用户的头部(32)相关联,使得Z轴(38)大约从面部直出,并且X(34)和Y(36)轴与Z轴(38)正交,如图2中所示。用户的头部(32)被取向为使得Z轴(38)与房间全局坐标系(44)的Z轴大致平行,并且来自用户的眼睛的注视矢量(52、54)聚焦在目标(46)上,该目标(46)可以是虚拟的或实际的,该目标(46)在左墙壁(22)的位置处,在使水平的眼睛注视(52、54)大致平行于用户头部的Z轴(38)的位置处,如上面在该示例中所述,该位置与地板大致水平,或与房间坐标系的Z轴(44)大致平行。从此类位置,用户可以将他们的头部朝地板向下俯仰,或者朝天花板向上俯仰。该描绘的位置可以被认为是零旋转位置,例如,典型的人能够朝地板向下俯仰直至约-90度,并且朝天花板向上俯仰约+90度。在零旋转位置中,可以使用增强现实系统可穿戴组件(2)的方面手动和/或自动测量IPD(50)。

参考图3,示出了相同的用户(30、32),其中用户的头部相对于地板(28;或房间坐标系44的Z轴)的平面向上旋转(56)到约+50度的俯仰,并且增强现实系统可穿戴组件(2)用户的眼睛(52、54)的注视指向第二目标(48)。在此类旋转配置中,可以使用增强现实系统可穿戴组件(2)的方面来手动和/或自动地测量IPD。在针对不同对象用户使用此类配置的实验室实验中,我们发现IPD(50)随头部俯仰角变化而变化。

使用诸如图4A和图4B中所示的实验装置,我们已经从各种用户的头部的重新定位中收集了关于线性和/或旋转位置(即,相对于房间或周围环境)、线性和/或旋转速度(即,相对于房间或周围环境),以及线性和/或旋转加速度(即,相对于房间或周围环境)的数据。所描绘的装置包括具有朝向用户的眼睛(70)取向的捕获场的高分辨率相机(62),使得可以从由相互耦接(64)计算系统所捕获的视频信息中测量用户的IPD,并且还可以包括一个或多个角度或线性运动测量设备,诸如一个或多个加速度计、陀螺仪、IMU或相机,它们可以可操作地耦接到装置框架(68),并被配置为用于基于从周围环境捕获的图像来确定旋转/位置(即,诸如基于计算机视觉技术的“头部姿势”确定)。相机设备(62)所固定地耦接到的装置框架(68)使用口咬接口(66)可移除地耦接到用户的头部,以供用户咬住,使得用户可以在获取与他的眼睛和IPD有关的数据时相对容易地移动和加速其头部。参考图5,示出了来自一组用户对象的样本数据的图表(72),其特征在于屈光度误差对头部俯仰角的曲线图(76);还示出了数学上可以拟合该样本数据(74)的多项式方程,该多项式方程可以用作IPD补偿因子(零俯仰如图2中所示;俯仰以度为单位;-90是用户大致竖直向下看地板;+90是用户大致直向上看天花板)。可以看到,在图5中所示的样本实验数据中,随着用户的头部从-90俯仰,逐渐向0俯仰,并且然后向上+90俯仰,屈光度误差通常会略有增加。为该样本实验数据开发的相关联的IPD补偿因子(74)可以用作增强现实系统的输入,使得例如在用户的头部根据该样本的俯仰旋转期间保持焦点。

诸如图4A和图4B中所示的装置,或具有适当组件的虚拟或增强现实系统,诸如图1和图2中所示的系统,可以用来不仅获得测量的IPD与头部俯仰角位置之间关系的信息,还获得俯仰相对于周围环境的线速度和/或角速度,以及俯仰相对于周围环境的线性加速度和/或角加速度。此外,可以为诸如正交偏航轴或正交滚动轴的其它轴确定此类关系。我们已经通过实验看到了与围绕这些轴中的每个轴的位置、速度和加速度的变化相关联的眼睛定位的变化。

参考图6A,示出了不具有IPD头部旋转补偿的配置,其中,例如,用户佩戴校准的(即,具有IPD的初始输入或确定)增强现实系统(80)。当用户注视空间中的第一目标时(82),系统被配置为至少部分基于该用户的IPD来生成与该用户注视第一目标有关的视觉呈现或其一部分(84)。用户可以将注视改变为第二目标(86),并且该系统可以类似地配置为再次至少部分地基于该用户的IPD(即,尚未补偿头部位置或旋转相关的变量),生成与该用户注视第二目标有关的视觉呈现或其一部分(88)。

参考图6B,示出了补偿配置,其中在初始校准(80)和注视第一目标(82)之后,系统被配置为至少部分地基于补偿头部取向的IPD(诸如观察第一目标时的头部俯仰角,该俯仰角由系统确定),生成与用户注视第一目标有关的视觉呈现或其一部分。然后,如果用户将注视改变为第二目标(86),则系统被配置为至少部分地基于补偿头部取向的IPD(诸如观察第二目标时的头部俯仰角,该俯仰角由系统确定),生成与用户注视第二目标有关的视觉呈现或其一部分。

参考图6C,系统本身可以用于为特定用户开发一个或多个补偿关系。如图6C中所示,用户可以佩戴校准的增强现实系统(例如,IPD由系统在水平头部俯仰角处确定,诸如与在基本上水平的视线上注视到无限远相关联的IPD)(100)。为了确定用户的视觉系统在实际IPD或功能IPD中随着各种位置、角速度或线速度、或角加速度或线性加速度的任何变化,观察校准系统可以指导用户进行一系列观察练习(即,他在其中进行定位、加速他的头部,以及其中系统被配置为捕获与实际和/或功能IPD有关的数据(102)。该系统可以被配置为确定用户的IPD补偿配置(诸如查找表或一个或多个数学关系),该IPD补偿配置可以随着各种位置、角速度或线性速度,或角加速度或线性加速度而变化(104),从而完成用户的IPD补偿配置(106)。然后,当用户注视空间中的第一目标(82)时,系统可被配置成至少部分地基于针对注视第一目标的用户头部的位置、速度和/或加速度(角和/或笛卡尔)的用户IPD补偿配置来生成与用户注视第一目标有关的视觉呈现或其一部分(108)。然后,当用户注视第二目标时(86),系统可以被配置为至少部分地基于针对注视第二目标的用户头部的位置、速度和/或加速度(角和/或笛卡尔)的用户IPD补偿配置来生成与用户注视第二目标有关的视觉呈现或其一部分(110)。

图7更详细地示出增强现实系统142。系统142包括立体分析器144,其连接到渲染引擎130并形成视觉数据和算法的一部分。

系统142进一步包括左投影仪166A和右投影仪166B以及左波导170A和右波导170B。左投影仪166A和右投影仪166B被连接到电源。每个投影仪166A和166B具有用于将要提供给相应投影仪166A或166B的图像数据的相应输入。相应的投影仪166A或166B在通电时生成二维图案的光并从中发出光。左波导170A和右波导170B被定位成分别接收来自左投影仪166A和右投影仪166B的光。左波导170A和右波导170B是透明波导。

在使用中,用户将头戴式框架140安装到他们的头部上。头戴式框架140的组件可以例如包括缠绕在用户的头部的后面周围的带子(未示出)。左波导170A和右波导170B然后位于用户的左眼220A和右眼220B的前面。

渲染引擎130将其接收的图像数据输入到立体分析器144中。图像数据被投影到多个虚拟平面上。立体分析器144分析图像数据,以基于用于投影到每个深度平面上的图像数据确定左图像数据集和右图像数据集。左图像数据集和右图像数据集是表示二维图像的数据集,该二维图像以三维投影的形式给用户深度感。

立体分析器144将左图像数据集和右图像数据集输入到左投影仪166A和右投影仪166B中。然后,左投影仪166A和右投影仪166B创建左照明图案和右照明图案。系统142的组件以平面图示出,但是应当理解,当以正视图示出时,左图案和右图案是二维图案。每个光图案包括多个像素。为了说明的目的,示出了来自两个像素的光线224A和226A离开左投影仪166A并进入左波导170A。光线224A和226A从左波导170A的侧面反射。示出了光线224A和226A通过内部反射在左波导170A内从左向右传播,但是应当理解,光线224A和226A也使用折射和反射系统在一定方向中传播到纸中。

光线224A和226A通过光瞳228A离开左光波导170A,并且然后通过左眼220A的瞳孔230A进入左眼220A。然后,光线224A和226A落在左眼220A的视网膜232A上。以该方式,左光图案落在左眼220A的视网膜232A上。给用户的感觉是,形成在视网膜232A上的像素是用户感知为在左波导170A的与左眼220A相对的一侧上的某个距离处的像素234A和236A。深度感知是通过操纵光的焦距来创建的。

以类似的方式,立体分析器144将右图像数据集输入到右投影仪166B中。右投影仪166B透射右光线图案,该右光线图案由光线224B和226B形式的像素表示。光线224B和226B在右波导170B内反射并通过光瞳228B离开。光线224B和226B然后通过右眼220B的瞳孔230B进入并且落在右眼220B的视网膜232B上。光线224B和226B的像素被感知为右波导170B后面的像素134B和236B。

在视网膜232A和232B上创建的图案被分别感知为左图像和右图像。由于立体分析器144的功能,左图像和右图像彼此略有不同。左图像和右图像在用户的脑海中被感知为三维渲染。

如上所述,左波导170A和右波导170B是透明的。来自诸如与眼睛220A和220B相对的左波导170A和右波导170B的一侧上的桌子116的现实对象的光可以通过左波导170A和右波导170B投射并落在视网膜232A和232B上。

图8示出设备142的更多细节,因为它与如前所述的IPD补偿有关。该设备进一步包括用作IPD检测器的IPD相机302,检测头部运动的世界相机304和IMU 306,相关器308,存储系统310,IPD补偿因子计算器312,IPD补偿器314和观察校准系统316。相关器308连接到IPD相机302、世界相机304和IMU 306。相关器308将来自世界相机304和IMU 306的头部运动数据与来自IPD相机302的IPD数据相关。存储系统310连接到相关器308,并存储由相关器308生成的相关性。IPD补偿因子计算器312计算IPD补偿因子。IPD补偿器314连接到IPD补偿因子计算器312,并且渲染引擎130连接到IPD补偿器314。IPD补偿器314基于IPD补偿因子计算器312修改由渲染引擎130创建的可视化。

观察校准系统316通过一系列视觉测试来提示用户,以生成一个或多个IPD补偿因子,诸如IPD补偿因子计算器312。

尽管已经描述并在附图中示出了某些示例性实施例,但是应当理解,这些实施例仅是示例性的,而不是对本发明的限制,并且因为本领域的普通技术人员可以进行修改,本发明不限于所示和描述的特定构造和布置。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:自动手术机器人视觉系统中多模态感测深度的系统和方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类