用于表演事件的光场显示系统

文档序号:425329 发布日期:2021-12-21 浏览:33次 >En<

阅读说明:本技术 用于表演事件的光场显示系统 (Light field display system for performance events ) 是由 J·S·卡拉夫 B·E·比弗森 J·多姆 于 2020-04-30 设计创作,主要内容包括:一种用于向场地中的观看者显示全息表演内容(例如,现场表演)的光场(LF)显示系统。所述场地中的所述LF显示系统包含平铺在一起以形成LF模块阵列的LF显示模块。所述LF模块阵列创建用于在所述场地中显示所述表演内容的表演体(例如,舞台)。所述LF模块阵列向观看体中的观看者显示所述表演内容。所述LF显示系统可包含在LF呈现网络中。所述LF呈现网络允许在一个位置记录全息表演内容并且在另一位置显示(同时或非同时)。所述LF呈现网络包含管理所述全息表演内容的数字权限的网络系统。(A Light Field (LF) display system for displaying holographic performance content (e.g., live performances) to viewers in a venue. The LF display system in the field includes LF display modules tiled together to form an array of LF modules. The array of LF modules creates a performance volume (e.g., a stage) for displaying the performance content in the venue. The array of LF modules displays the performance content to viewers in a viewing volume. The LF display system may be included in an LF presentation network. The LF presentation network allows recording of holographic show content at one location and display (simultaneous or non-simultaneous) at another location. The LF presentation network includes a network system that manages digital rights to the holographic performance content.)

用于表演事件的光场显示系统

相关申请的交叉引用

本申请涉及国际申请第PCT/US2017/042275号、第PCT/US2017/042276、第PCT/US2017/042418号、第PCT/US2017/042452号、第PCT/US2017/042462号、第PCT/US2017/042466号、第PCT/US2017/042467号、第PCT/US2017/042468号、第PCT/US2017/042469号、第PCT/US2017/042470号和第PCT/US2017/042679号,所有所述国际申请通过引用以其全文并入本文。

背景技术

本公开涉及在表演场地中的表演,并且具体地说,涉及用于在表演场地中显示表演的光场显示系统。

传统上,表演场地(例如,影院、音乐厅等)被配置成允许观看者(例如,粉丝、赞助人等)在场地现场实时观看表演者(例如,乐队、剧团、喜剧演员等)的现场表演(例如,音乐会、戏剧、喜剧节目等)。不幸的是,在某些情况下,在场地举办表演会限制想要这样来观看表演的观看者的能力。例如,表演可能已售罄,可能在不方便的时间,或者可能距离观看者很远。有时表演会被记录下来,随后在例如电影屏幕或电视之类的二维表面上进行再现,但这些再现很难再现现场表演的场地中的气氛和激情。因此,对表演场地进行配置,使得观看者能够像处于现场表演一样感知表演将是有益的。

发明内容

一种用于在场地(例如,影院、音乐厅等)中显示表演的全息内容的光场(LF)显示系统。所述LF显示系统包含形成场地中的表面(例如,舞台等)的LF显示模块,所述LF显示模块各自具有显示区域并且平铺在一起以形成具有大于显示区域的有效显示区域的无缝显示表面。所述LF显示模块从表演体中显示演出的全息内容,以便场地中的观看者可以感知表演。

在一些实施例中,表演的全息内容可以是在另一场地同时发生、由内容创建系统创建以在场地中显示和/或从数据存储装置存取以在场地中显示的表演的再现。所述全息内容可由负责管理全息内容的数字权限的网络系统管理。例如,场地中的观看者可以支付交易费用来访问全息内容以在场地中显示。

在一些实施例中,LF显示系统包含跟踪系统和/或观看者概况分析系统。所述跟踪系统和观看者概况分析系统可监测并且存储场地中的观看者的特性、描述观看者的观看者简档和/或观看者对场地中的全息内容的响应。创建为在场地中显示的全息内容可以是基于所监测或所存储的信息中的任一个。

在一些实施例中,用户可与全息内容交互,并且交互可充当全息内容创建系统的输入。例如,在一些实施例中,LF显示系统中的一些或全部LF显示系统包含多个超声扬声器。多个超声扬声器被配置成生成与全息内容的至少一部分一致的触觉表面。跟踪系统被配置成跟踪用户与全息对象的交互(例如,通过由LF显示模块和/或一些其它相机的成像传感器捕获的图像)。并且LF显示系统被配置成基于交互提供全息内容的创建。

附图说明

图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。

图2A是根据一个或多个实施例的光场显示模块的一部分的横截面。

图2B是根据一个或多个实施例的光场显示模块的一部分的横截面。

图3A是根据一个或多个实施例的光场显示模块的透视图。

图3B是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。

图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。

图4B是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。

图4C是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。

图4D是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。

图4E是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。

图4F是根据一个或多个实施例的在房间的前壁上具有聚合表面的LF显示系统的侧视图的侧视图。

图5A是根据一个或多个实施例的光场显示系统的框图。

图5B示出了根据一个或多个实施例的实例LF电影网络550。

图6示出了根据一个或多个实施例的场地600的侧视图,所述场地是已经用LF显示系统增强的传统影院。

图7A示出了根据一个或多个实施例的包含LF显示系统的第一场地的横截面,所述LF显示系统用于在观看体中的观看位置处向观看者显示表演内容。

图7B示出了根据一个或多个实施例的包含LF显示系统的第二场地的横截面,所述LF显示系统用于在观看体中的观看位置处向观看者显示表演内容。

图8示出了根据一个或多个实施例的在观看者的客厅中也充当家庭影院的场地。

图9是示出用于在LF表演网络内显示表演的全息的方法的流程图。

附图仅出于说明的目的描绘了本发明的各个实施例。本领域技术人员将从下面的讨论中容易地认识到,在不脱离本文所描述的本发明原理的情况下,可以采用本文所展示的结构和方法的替代性实施例。

具体实施方式

概述

光场(LF)显示系统在作为表演设置的场地中实施。例如,表演可以是音乐会、戏剧、喜剧节目、舞蹈表演等。LF显示系统包括LF显示组件,所述LF显示组件被配置成呈现包含将在LF显示系统的观看体中对一个或多个用户可见的一个或多个全息对象的全息内容。LF显示组件可在场地中的一个或多个表面(例如,舞台)中的一些或全部表面上形成多面无缝表面。LF显示系统可将全息内容呈现给场地中的观看者。观看者通常在场地观看表演,但可以是在场地中能够在场地观看全息内容的任何人。全息对象还可以用其它感觉刺激(例如,触觉和/或音频)增强。例如,LF显示系统中的超声发射器可以发射超声压力波,所述超声压力波为全息对象中的一些或全部全息对象提供触觉表面。全息内容可以包含额外视觉内容(即,2D或3D视觉内容)。协调发射器以确保实现内聚性体验是多发射器实施方案中的系统的一部分(即,在任何给定时间点提供正确的触觉感觉和感觉刺激的全息对象)。

在一些实施例中,LF显示系统包含在场地中形成舞台的多个LF显示模块。形成舞台的LF显示模块可被配置成将表演的全息内容投影给场地中的观看者。以此方式,场地中的观看者可感知舞台上的全息表演。例如,LF显示系统可以显示正在举办音乐会的乐队、首演芭蕾舞的舞蹈团或正在表演戏剧的剧团。在一些实施例中,LF显示系统可创建全息内容以显示给场地中的观看者。例如,LF显示系统可创建虚拟表演者以向场地中的观看者表演为虚拟表演者创建的歌曲。

在一些实施例中,LF显示系统可以包含使系统能够同时发射至少一个类型的能量,并且同时吸收至少一个类型的能量以用于响应创建全息内容的目的的元件。例如,LF显示系统可以发射用于观看的全息对象以及用于触觉感知的超声波两者,并且同时吸收用于跟踪观看者的成像信息和其它场景分析,同时还吸收超声波以检测用户的触摸响应。作为实例,此系统可投影全息表演者,所述全息表演者在人群中冲浪,当观看者虚拟地“触摸”时,给观看者一种表演者在其手上的错觉。执行环境能量感测的显示系统组件可以通过同时发射和吸收能量的双向能量元件集成到显示表面中,或者所述显示系统部件可以是与显示表面分离的专用传感器,例如超声扬声器以及例如相机的成像捕获装置。

LF显示系统可以是LF表演网络的部分。LF表演网络允许LF数据被记录在一个位置中、被编码、被传输到不同位置、被解码并且作为全息内容显示给到场地中的观看者。这允许多个场地的观看者感知发生在其它场地的现场表演。在一些实施例中,LF显示系统包含管理全息内容的数字权限的网络系统。

光场显示系统

图1是根据一个或多个实施例的呈现全息对象120的光场(LF)显示模块110的图100。LF显示模块110是光场(LF)显示系统的一部分。LF显示系统使用一个或多个LF显示模块来呈现包含至少一个全息对象的全息内容。LF显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中,LF显示系统还可以用其它感官内容(例如,触摸、音频、气味、温度等)来增强全息内容。例如,如下文所论述,聚焦超声波的投影可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。LF显示系统包含一个或多个LF显示模块110,并且下文关于图2-5详细地讨论。

LF显示模块110是将全息对象(例如,全息对象120)呈现给一个或多个观看者(例如,观看者140)的全息显示器。LF显示模块110包含能量装置层(例如,发射电子显示器或声学投影装置)和能量波导层(例如,光学透镜阵列)。另外,LF显示模块110可以包含能量中继层,以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处,能量装置层生成能量(例如,全息内容),然后根据一个或多个四维(4D)光场函数使用能量波导层将所述能量引导到空间中的区域。LF显示模块110还可以同时投影和/或感测一种或多种类型的能量。例如,LF显示模块110可能够在观看体中投影全息图像以及超声触觉表面,同时从观看体检测成像数据。LF显示模块110的显示区域150与观看者140之间的全息图像是真实图像,其中形成图像的焦点的集合是会聚线光线。此外,LF显示器生成的一些图像可以是虚拟图像(例如,显示在显示区域150后面的图像),其中通过发散光线的延伸形成焦点的集合。LF显示模块110的操作在下文关于图2-3详细地讨论。

LF显示模块110使用一个或多个4D光场函数(例如,从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3D)、二维(2D)或其某种组合。此外,全息对象可以是多色的(例如,全色)。全息对象可以投影在屏幕平面前面、屏幕平面后面,或者被屏幕平面分开。可以呈现全息对象120,使得在全息对象体160内的任何地方都可以感知到所述全息对象。此处,全息对象120是光线会聚时的真实图像122,并且在显示区域150与观看者140之间呈现。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。

全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即,朝向观看者140),使得全息对象可以呈现在显示区域150的平面前面。另外,全息对象体160可以在显示区域150的表面后面延伸(即,远离观看者140),从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说,全息对象体160可以包含源自显示区域150的所有光线(例如,被投影),并且可以会聚以创建全息对象。本文中,光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地,全息对象体160涵盖观看者可以从中感知全息对象的所有体。

观看体130是空间的体,从所述空间可完全看到通过LF显示系统呈现在全息对象体160内的全息对象(例如,全息对象120)。可以将全息对象呈现在全息对象体160内,并在观看体130内对其进行观看,使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。

在一些情况下,全息对象体160和对应观看体130可以相对较小,使得其被设计用于单个观看者。在其它实施例中,如下文关于例如图4、6、7、8和9详细地讨论,可以放大和/或平铺LF显示模块以创建较大的全息对象体以及可以容纳大范围观看者(例如,1到数千)的对应观看体。可以构建本公开中所呈现的LF显示模块,使得LF显示器的整个表面含有全息成像光学装置,没有无效或死角空间,并且不需要边框。在这些实施例中,LF显示模块可以被平铺,使得成像区域在LF显示模块之间的接缝上是连续的,并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是,在一些配置中,尽管在本文中不详细地描述,但是显示表面的一些部分可以不包含全息成像光学装置。

观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如,观看者140可以移动到观看体130内的不同定位,并且从对应的视角看到全息对象120的不同视图。为了说明,参考图1,观看者140相对于全息对象120位于第一定位,使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。例如,观看者140可以移动使得他/她看到海豚的左侧、海豚的右侧等,就非常像观看者140正在观看实际的海豚一样并且改变他/她与实际的海豚的相对定位以看到海豚的不同视图。在一些实施例中,全息对象120对于观看体130内的所有观看者可见,所有观看者到全息对象120的视线不受阻碍(即,未被对象/人阻挡)。这些观看者可以不受约束,使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此,LF显示系统可以呈现全息对象,使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角,就好像全息对象是物理上存在的一样。

相比之下,常规显示器(例如,立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如,3-D眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地,常规的显示器可以要求观看者被约束到特定的观看定位(例如,在相对于显示器具有固定位置的椅子上)。例如,当观看由立体显示器示出的对象时,观看者总是聚焦在显示表面上,而不是聚焦在对象上,并且显示器将始终呈现对象的仅两个视图,所述视图将跟随试图在所述感知的对象周围移动的观看者,从而导致所述对象的感知失真。然而,利用光场显示器,通过LF显示系统呈现的全息对象的观看者不需要穿戴外部装置,也不必被限制在特定定位以看到全息对象。LF显示系统以观看者可见的方式呈现全息对象,与观看者可看见物理对象的方式几乎相同,而无需特殊的护目镜、眼镜或头戴式附件。进一步地,观看者可以从观看体内的任何位置观看全息内容。

值得注意的是,全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小,可以增加LF显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个LF显示模块平铺在一起。无缝显示表面的有效显示区域大于各个LF显示模块的显示区域。下文关于图4和6-9讨论与平铺LF显示模块相关的一些实施例。如图1所示,显示区域150是矩形的,从而导致全息对象体160是角锥形。在其它实施例中,显示区域可以具有某个其它形状(例如,六边形),这也影响对应的观看体的形状。

另外,尽管上文讨论聚焦于将全息对象120呈现在全息对象体160的位于LF显示模块110与观看者140之间的一部分内,但是LF显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如,LF显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外,LF显示系统可以生成在全息对象体160周围无缝地移动的内容,包含在显示区域150的平面后面和前面。

图2A说明根据一个或多个实施例的LF显示模块210的一部分的横截面200。LF显示模块210可以是LF显示模块110。在其它实施例中,LF显示模块210可以是显示区域形状与显示区域150不同的另一LF显示模块。在所说明的实施例中,LF显示模块210包含能量装置层220、能量中继层230和能量波导层240。LF显示模块210的一些实施例具有与此处所描述的部件不同的部件。例如,在一些实施例中,LF显示模块210不包含能量中继层230。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。

此处所描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处,将发射的能量从显示表面上的每个坐标引导朝向特定的方向。换句话说,显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线会聚,这由此可以创建全息对象。例如,对于可见光,LF显示器将从投影位置投影出可以会聚在全息对象体的任何点处的非常多的光线,因此从定位得比被投影的对象更远的观看者的视角看,所述光线似乎来自定位在此空间的区域中的真实对象的表面。以此方式,LF显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化,并且观看者将看到所述全息对象的不同视图。

如本文所描述的,能量装置层220包含一个或多个电子显示器(例如,发射显示器,如OLED)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如,来自LF显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素,每个像素具有独立控制的强度。可以在LF显示器中使用许多类型的商用显示器,如发射LED和OLED显示器。

能量装置层220还可以包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学投影装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波阵列可以用于体积触觉(例如,在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如,沉浸式音频)。例如,假设全息对象250是海豚,则可以使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面,使得观看者可以触摸全息对象250;并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱声)相对应的音频内容。声学接收装置(例如,麦克风或麦克风阵列)可以被配置成监测LF显示模块210的局部区域内的超声和/或可听压力波。

能量装置层220还可以包含一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感,并且在一些情况下,可能对其它波段中的光(例如,红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(CMOS)阵列、电荷耦合装置(CCD)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。LF显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。

在一些配置中,能量中继层230在能量装置层220与能量波导层240之间中继能量(例如,电磁能量、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270,并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦合到一个或多个能量装置(例如,电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外,在一些实施例中,能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率,则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式,其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间,以容纳多个能量源的机械包膜,如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上,其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是,在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框,并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。

相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中,相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。

在一些实施例中,相邻的能量中继元件的第二表面与可以包含压力、热和化学反应中的一个或多个的处理步骤融合在一起,以这种方式在其之间不存在接缝。并且仍在其它实施例中,通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列,每个能量中继元件被配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。

在一些实施例中,能量中继元件中的一个或多个能量中继元件表现出能量局部化,其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率,并且其中在能量波在表面265与表面270之间传播时,能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继,而分辨率没有任何显著的损失。

能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如,坐标)引导到从显示表面向外进入全息观看体285的特定能量传播路径。能量传播路径由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2D坐标相关联。这四个坐标一起形成一个四维(4D)能量场。作为实例,对于电磁能量,能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中,根据4D光场函数将光进行引导以在全息对象体255内形成全息对象250。

能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中,小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外,在一些实施例中,波导元件中的一些或全部波导元件可以包含一个或多个另外的光学部件。额外的光学部件可以是例如能量抑制结构,如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中,小透镜和/或另外的光学部件中的至少一个能够动态地调整其光功率。例如,小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学部件的表面轮廓的动态调整可以提供对从波导元件投影的光的另外的方向控制。

在所展示的实例中,LF显示器的全息对象体255具有由光线256和光线257形成的边界,但是可以由其它射线形成。全息对象体255是在能量波导层240前面(即,朝向观看者280)和在其后面(即,远离观看者280)两者延伸的连续的体。在所说明的实例中,用户可以感知的射线256和射线257以相对于显示表面277的法线的最大角度从LF显示模块210的相对边缘投影,但是射线可以是其它投影的射线。射线限定了显示器的视场,并因此限定了全息观看体285的边界。在一些情况下,射线限定了全息观看体,在所述全息观看体中可以在没有渐晕的情况下(例如,理想的观看体)观看整个显示器。随着显示器的视场增加,射线256和射线257的会聚点将更靠近显示器。因此,具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外,射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。

在一些实例中,可以将全息对象呈现给观看体285的仅一部分。换句话说,全息对象体可以被划分成任何数量的观看子体(例如,观看子体290)。另外,可以将全息对象投影到全息对象体255的外部。例如,全息对象251呈现在全息对象体255的外部。因为全息对象251呈现在全息对象体255的外部,所以不能从观看体285中的每个位置对其进行观看。例如,全息对象251可以从观看子体290中的位置可见,但是从观看者280的位置不可见。

例如,转到图2B以展示从不同观看子体观看全息内容。图2B说明根据一个或多个实施例的LF显示模块的一部分的横截面200。图2B的横截面与图2A的横截面相同。然而,图2B说明从LF显示模块210投影的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而,如所示,从LF显示模块210的顶部投影的射线和从LF显示模块210的底部投影的射线重叠以在观看体285内形成各个观看子体(例如,观看子体290A、290B、290C和290D)。第一观看子体(例如,290A)中的观看者可以能够感知在全息对象体255中呈现的全息内容,其它观看子体(例如,290B、290C和290D)中的观看者则无法进行感知。

更简单地,如图2A所说明,全息对象体255是其中全息对象可以通过LF显示系统呈现的体,使得所述全息对象可以被观看体285中的观看者(例如,观看者280)感知。以此方式,观看体285是理想观看体的实例,而全息对象体255是理想对象体的实例。然而,在各种配置中,观看者可以在其它示例全息对象体中感知通过LF显示系统200呈现的全息对象。更一般而言,当观看从LF显示模块投影的全息内容时,将应用“视线指南”。视线指南断言,由观看者的眼睛定位和正在被观看的全息对象形成的线必须与LF显示表面相交。

因为根据4D光场函数呈现了全息内容,因此当观看通过LF显示模块210呈现的全息内容时,观看者280的每只眼睛看到全息对象250的不同视角。此外,在观看者280在观看体285内移动时,他/她还将看到全息对象250的不同视角,如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到,4D光场函数在本领域中是众所周知的,并且在本文中将不进一步详细说明。

如本文中更详细描述,在一些实施例中,LF显示器可以投影多于一种类型的能量。例如,LF显示器可以投影两种类型的能量,例如,机械能量和电磁能量。在此配置中,能量中继层230可以包含两个单独的能量中继器,所述能量中继器在能量表面275处交织在一起,但是被分离使得能量被中继到两个不同的能量装置层220。此处,一个中继器可以被配置成传输电磁能量,而另一个中继器可以被配置成传输机械能量。在一些实施例中,机械能量可以从能量波导层240上的电磁波导元件之间的位置投影,从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中,能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。

应注意,在替代实施例(未示出)中,LF显示模块210不包含能量中继层230。在这种情况下,能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中,在没有能量中继层的情况下,相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。

LF显示模块

图3A是根据一个或多个实施例的LF显示模块300A的透视图。LF显示模块300A可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300A可以是某个其它LF显示模块。在所说明的实施例中,LF显示模块300A包含能量装置层310和能量中继层320以及能量波导层330。LF显示模块300A被配置成从显示表面365呈现全息内容,如本文所描述的。为方便起见,显示表面365在LF显示模块300A的框架390上以虚线轮廓展示,但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。显示表面365包含可以从其投影能量的多个投影位置。LF显示模块300A的一些实施例具有与此处所描述的部件不同的部件。例如,在一些实施例中,LF显示模块300A不包含能量中继层320。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。

能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如,所有电子显示器)或者可以包含一种或多种不同类型(例如,包含电子显示器和至少一个声学能量装置)。

能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如,光)或者可以中继一种或多种不同类型(例如,光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面,能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所说明的实施例中,能量中继装置350中的每个能量中继装置是锥形的,使得第一表面具有比第二表面小的表面积,这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量,因此这也可以使无缝能量表面无边界。这意味着可以通过将LF显示模块300A的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面,使得整个组合的表面是无缝的。在其它实施例中,第一表面和第二表面的表面积相同。

能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论,能量波导层330被配置成根据4D光场函数沿着特定的传播路径从无缝能量表面360引导能量,以形成全息对象。应注意,在所说明的实施例中,能量波导层330由框架390界定。在其它实施例中,不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将LF显示模块300A与另外的LF显示模块平铺。

应注意,在所说明的实施例中,无缝能量表面360和能量波导层330是平坦的。在未示出的替代实施例中,无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。

LF显示模块300A可以配置有驻存在无缝能量表面的表面上的另外的能量源,并允许除了光场之外的能量场的投影。在一个实施例中,声能场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未展示)投影出来。此外,LF显示模块300A的静电扬声器定位在光场显示模块300A内,使得双能量表面同时投影声场和全息内容。例如,静电扬声器可以形成有一个或多个传输一些波长的电磁能量的隔膜元件,并由一个或多个导电元件(例如,将一个或多个隔膜元件夹在中间的平面)驱动。静电扬声器可以安装在无缝能量表面360上,使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置,和/或定位在电磁波导元件(例如,框架390)之间的位置处。在各种配置中,扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。

在一些配置中,能量装置340可以感测能量。例如,能量装置可以是麦克风、光传感器、声换能器等。因此,能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说,当能量装置和能量中继装置340被配置成同时发射和感测能量(例如,发射光场并感测声音)时,LF显示模块的无缝能量表面360形成双向能量表面。

更广泛地,LF显示模块340的能量装置340可以是能量源或能量传感器。LF显示模块300A可以包含充当能量源和/或能量传感器的各种类型的能量装置,以促进向用户投影高质量全息内容。其它源和/或传感器可以包含热传感器或源,红外传感器或源、图像传感器或源、生成声学能量的机械能量换能器、反馈源等。多个其它传感器或源是可能的。此外,LF显示模块可以平铺使得LF显示模块可以形成组件,所述组件从大聚合无缝能量表面投影和感测多种类型的能量。

在LF显示模块300A的各个实施例中,无缝能量表面360可以具有各个表面部分,其中每个表面部分被配置成投影和/或发射特定类型的能量。例如,当无缝能量表面是双能量表面时,无缝能量表面360包含投影电磁能量的一个或多个表面部分以及投影超声能量的一个或多个其它表面部分。投影超声能量的表面部分可以定位于电磁波导元件之间的无缝能量表面360上,和/或与被设计成抑制电磁波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中,能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中,无缝能量表面360可以被配置成使得表面的在任何特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。

图3B是根据一个或多个实施例的包含交织的能量中继装置的LF显示模块300B的横截面视图。能量中继装置350A在连接到能量装置340A的能量中继第一表面345A与无缝能量表面360之间传输能量。能量中继器350B在连接到能量装置340B的能量中继第一表面345B与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中,表面360含有能量装置340A和340B两者的交织的能量位置,所述两者可以是能量源或能量传感器。因此,LF显示模块300B可以被配置为用于投影多于一种类型的能量的双能量投影装置,或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。LF显示模块300B可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300B可以是某个其它LF显示模块。

LF显示模块300B包含与图3A中的LF显示模块300A的组件类似地配置的许多部件。例如,在所展示的实施例中,LF显示模块300B包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330,包含至少与关于图3A所描述的功能相同的功能。另外,LF显示模块300B可以呈现和/或接收来自显示表面365的能量。值得注意的是,与图3A中的LF显示模块300A的部件相比,LF显示模块300B的部件可替代地连接和/或定向。LF显示模块300B的一些实施例具有与此处所描述的部件不同的部件。类似地,可以以与此处所描述的方式不同的方式在部件之间分配功能。图3B说明可以被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个LF显示模块300B的设计。

在一个实施例中,LF显示模块300B是双向LF显示系统的LF显示模块。双向LF显示系统可以同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此,在图3B的实例中,能量中继层320以与图3A的能量中继层不同的方式进行配置。为方便起见,LF显示模块300B的能量中继层在本文中将被称为“交织的能量中继层”。

交织的能量中继层320包含两个支脚:第一能量中继装置350A和第二能量中继装置350B。在图3B中,支脚中的每个支脚被展示为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成,并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中,两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所说明的实例中,交织的能量中继装置352被展示为深色阴影区域。

当在无缝能量表面360处交织时,能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所说明,能量装置340A连接到能量中继装置350A,并且能量装置340B连接到能量中继装置350B。在各个实施例中,每个能量装置可以是能量源或能量传感器。

能量波导层330包含波导元件370,以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中,在一系列会聚点处形成了全息对象380。值得注意的是,如所展示的,全息对象380处的能量的会聚发生在显示表面365的观看者侧(即,前侧)。然而,在其它实例中,能量的会聚可以在全息对象体中的任何地方,在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如,能量传感器),如下文所描述的。

在LF显示模块300B的一个实例实施例中,发射显示器用作能量源(例如,能量装置340A),并且成像传感器用作能量传感器(例如,能量装置340B)。以此方式,LF显示模块300B可以同时投影全息内容并且检测来自显示表面365前面的体的光。以此方式,LF显示模块300B的此实施例同时用作LF显示器和LF传感器。

在一个实施例中,LF显示模块300B被配置成同时将光场从显示表面上的投影位置投影到显示表面前面,并在投影位置处捕获来自显示表面前面的光场。在此实施例中,能量中继装置350A将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340A。在一个实例中,能量装置340A是具有源像素阵列的发射显示器。能量中继装置340B将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340B。在一个实例中,能量装置340B是具有传感器像素阵列的成像传感器。LF显示模块300B可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或这些位置的某种组合。在其它实施例中,双向能量表面可以投影和接收各种其它形式的能量。

在LF显示模块300B的另一个示例实施例中,LF显示模块被配置成投影两种不同类型的能量。例如,在一个实施例中,能量装置340A是被配置成发射电磁能量的发射显示器,并且能量装置340B是被配置成发射机械能量的超声换能器。因此,可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中,能量中继装置350A将能量装置340A连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的性质(例如,变化的折射率)。能量中继装置350B将能量装置340B连接到无缝能量表面360并中继机械能量。能量中继装置350B被配置成具有用于超声能量的高效传输的性质(例如,具有不同声学阻抗的材料的分布)。在一些实施例中,机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中,投影超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投影的全息对象(例如,全息对象380)重合。在一些实例中,阵列上的相位延迟和幅度变化可以帮助形成触觉形状。

在各个实施例中,具有交织的能量中继装置的LF显示模块300B可以包含多个能量装置层,其中每个能量装置层包含特定类型的能量装置。在这些实例中,能量中继层被配置成在无缝能量表面360与能量装置层310之间中继适当类型的能量。

平铺的LF显示模块

图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的LF显示系统400的一部分的透视图。LF显示系统400包含被平铺以形成阵列410的多个LF显示模块。更明确地说,阵列410中的小方块中的每个小方块表示平铺的LF显示模块412。LF显示模块412可以与LF显示模块300A或300B相同。阵列410可以覆盖例如房间的表面(例如,壁)的一些或全部。LF阵列可以覆盖其它表面,例如桌面、广告牌、圆形建筑等。

阵列410可以投影一个或多个全息对象。例如,在所说明的实施例中,阵列410投影全息对象420和全息对象422。LF显示模块412的平铺允许更大的观看体,并且允许对象被投影到距阵列410更远的距离。例如,在所说明的实施例中,观看体是大约阵列410前面和后面的整个区域,而不是LF显示模块412前面(和后面)的局部体。

在一些实施例中,LF显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如,向观看者430呈现全息对象420的直接视图,而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动,向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如,在观看者430在全息对象420周围行走时,只要全息对象420保留在阵列410的全息对象体中,观看者430就看到全息对象420的不同侧面。因此,观看者430和观看者434可以同时在真实世界空间中看到全息对象420,就好像所述全息对象真实存在一样。另外,观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置,因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外,此处,全息对象422被展示在阵列后面,因为阵列的观看体在阵列的表面后面延伸。以此方式,可以将全息对象422呈现给观看者430和/或观看者434。因为图像源自LF显示器的平面后面,所以全息对象422可以是虚拟图像424。

在一些实施例中,LF显示系统400可以包含跟踪系统,所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中,所跟踪的定位是观看者的定位。在其它实施例中,所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同,后者跟踪眼睛正在看的地方(例如,使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。

在各种配置中,LF显示系统400可以包含一个或多个跟踪系统。例如,在图4A的所说明实施例中,LF显示系统包含在阵列410外部的跟踪系统440。此处,跟踪系统可以是耦合到阵列410的相机系统。关于图5A更详细地描述了外部跟踪系统。在其它示例实施例中,跟踪系统可以如本文所描述的并入到阵列410中。例如,包含在阵列410中的含有双向能量表面的一个或多个LF显示模块412的能量装置(例如,能量装置340)可以被配置成捕获阵列410前面的观看者的图像。在任何情况下,LF显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如,观看者430和/或观看者434)的跟踪信息。

跟踪信息描述了观看者的定位或观看者的一部分(例如,观看者的一只或两只眼睛,或观看者的肢体)的定位在空间(例如,相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含被配置成确定跟踪信息的各种系统。例如,跟踪系统可以包含一个或多个红外源(例如,结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如,红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中,LF显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。例如,LF显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。

LF显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如,可以向观看者430呈现全息对象420,而不是全息对象422。类似地,可以向观看者434呈现全息对象422,而不是全息对象420。例如,LF显示系统400跟踪观看者430和观看者434中的每个观看者的定位。LF显示系统400基于观看者相对于全息对象要被呈现的地方的定位来确定对所述观看者应当可见的全息对象的视角。LF显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此,观看者434和观看者430可以同时具有可能完全不同的体验。换句话说,LF显示系统400可以将全息内容呈现给观看体的观看子体(即,类似于图2B中所示的观看子体290A、290B、290C和290D)。例如,如所展示的,因为LF显示系统400可以跟踪观看者430的定位,所以LF显示系统400可以向包围观看者430的观看子体呈现空间内容(例如,全息对象420),并且向包围观看者434的观看子体呈现野生动物园内容(例如,全息对象422)。相比之下,常规系统将必须使用单独的耳机来提供类似的体验。

在一些实施例中,LF显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如,触觉、音频或气味)。例如,在图4A的所说明实施例中,LF显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中,感觉反馈系统442可以是耦合到阵列410的静电扬声器。关于图5A更详细地描述了外部感觉反馈系统。在其它示例实施例中,如本文所描述的,可以将感觉反馈系统并入到阵列410中。例如,包含在阵列410中的LF显示模块412的能量装置(例如,图3B中的能量装置340A)可以被配置成将超声能量投影到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下,感觉反馈系统向观看通过阵列410呈现的全息内容(例如,全息对象420和/或全息对象422)的观看者(例如,观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。

LF显示系统400可以包含感觉反馈系统442,所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。可替代地或另外地,LF显示系统400可以包含一个或多个集成到阵列410中的声学投影装置,如本文所描述的。声学投影装置可以由被配置成投影体触觉表面的超声源阵列组成。在一些实施例中,对于全息对象的一个或多个表面,如果观看者的一部分在一个或多个表面的阈值距离内,则触觉表面可以与全息对象重合(例如,在全息对象420的表面处)。体触觉感觉可以允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波,所述可听压力波向观看者提供音频内容(例如,沉浸式音频)。因此,超声压力波和/或可听压力波可以起到补充全息对象的作用。

在各个实施例中,LF显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。例如,图4A中所说明的全息对象422是狮子,并且LF显示系统400可以使全息对象422在视觉上(即,全息对象422似乎在咆哮)和听觉上(即,一个或多个声学投影装置投影压力波)均咆哮,使观看者430将其感知为全息对象422发出的狮子的咆哮。

应注意,在所说明的配置中,可以以类似于图2中的LF显示系统200的观看体285的方式限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个LF显示模块,如下文相对于图4B到4F所描述。

图4B是根据一个或多个实施例的在多面无缝表面环境中的LF显示系统402的一部分的透视图。LF显示系统402与LF显示系统400基本上类似,除了将多个LF显示模块平铺以创建多面无缝表面环境之外。更具体地,将LF显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在图4B中,多个LF显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中,多个LF显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中,多个LF显示模块被平铺以形成某个其它聚合无缝表面。例如,壁可以是弯曲的,使得形成圆柱形的聚合能量环境。此外,如下文关于图6-9所描述,在一些实施例中,LF显示模块可平铺成在场地(例如,壁等)中形成表面。

LF显示系统402可以投影一个或多个全息对象。例如,在所说明的实施例中,LF显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中,LF显示系统的观看体也含在六面聚合无缝表面环境内。应注意,在所说明的配置中,观看者434可以定位在全息对象420与LF显示模块414之间,所述LF显示模块投影用于形成全息对象420的能量(例如,光和/或压力波)。因此,观看者434的定位可以防止观看者430感知由来自LF显示模块414的能量形成的全息对象420。然而,在所展示的配置中,存在至少一个其它LF显示模块,例如,LF显示模块416,所述LF显示模块不受阻碍(例如,被观看者434)并且可以投影能量以形成全息对象420并且被观看者430观察到。以此方式,在空间中被观看者遮挡可能导致全息投影的一些部分消失,但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”,因为全息对象体在聚合表面后面延伸。因此,观看者430和/或观看者434可以将全息对象422感知为其可以在整个中移动的经包围的六面环境的“外部”。

如上文参考图4A所描述的,在一些实施例中,LF显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的LF显示模块呈现全息内容。因此,多面配置可以提供更稳健的环境(例如,相对于图4A),以提供全息对象,其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。

值得注意的是,各种LF显示系统可以具有不同的配置。此外,每种配置可以具有表面的特定定向,所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说,可以将LF显示系统的LF显示模块平铺以形成各种聚合表面。例如,在图4B中,LF显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的LF显示模块。在一些其它实例中,聚合表面可以仅出现在表面的一部分(例如,壁的一半)上,而不是整个表面(例如,整个壁)上。本文描述了一些实例。

在一些配置中,LF显示系统的聚合表面可以包含聚合表面,所述聚合表面被配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验:增加特定观看体中的投影的能量的密度,增加观看者在所述观看体中的FOV,并使观看体更接近显示表面。

例如,图4C展示了具有呈“翼状”配置的聚合表面的LF显示系统450A的俯视图。在此实例中,LF显示系统450A定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。LF显示系统450A包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分466,所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。

在此实例中,LF显示系统450A的观看体468A位于房间的中心,并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。

为了说明,考虑例如仅具有中心表面的聚合表面。参考图2A,如上文所描述的,从显示表面的任一端投影的射线创建理想的全息体和理想的观看体。现在考虑,例如,中心表面是否包含两个朝向观看者成角度的侧表面。在这种情况下,射线256和射线257将从中心表面的法线以更大的角度投影。因此,观看体的视场将增加。类似地,全息观看体将更靠近显示表面。另外,由于两个第二部分和第三部分倾斜得更靠近观看体,所以从显示表面以固定距离投影的全息对象更靠近所述观看体。

为简化起见,仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面,增加了相对于平面视场的视场,相对于平面间隔,减小了显示表面与观看体之间的间隔,并相对于平面接近度,增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场,减小了间隔并增加了接近度。换句话说,侧表面的成角度的放置增加了观看者的沉浸式体验。

另外,如下文关于图6所描述,偏转光学件可用于针对LF显示参数(例如,尺寸和FOV)优化观看体的大小和定位。

返回到图4D,在类似实例中,图4D展示了具有呈“倾斜”配置的聚合表面的LF显示系统450B的侧视图。在此实例中,LF显示系统450B定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。LF显示系统450B包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分464,所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。

在此实例中,LF显示系统450B的观看体468B位于房间的中心,并且被聚合表面460的三个部分部分地包围。与图4C所示的配置类似,两个侧面部分(例如,第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468B中的任何观看者的视角来看,包围表面增加了观看FOV。另外,包围表面允许观看体468B更靠近显示器的表面,使得投影的对象显得更靠近。换句话说,侧表面的成角度放置增加了视场,减小了间隔,并增加了聚合表面的接近度,由此增加了观看者的沉浸式体验。此外,如下文将讨论,偏转光学件可以用于优化观看体468B的大小和定位。

与如果第三部分466没有倾斜相比,聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468B。例如,与如果使用具有平坦的前壁的LF显示系统相比,从呈倾斜配置的LF显示系统呈现的角色的下肢(例如,腿)可能看起来更靠近并且更真实。

另外,LF显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。

图4E例如展示了具有在房间的前壁452上的聚合表面460的LF显示系统450C的俯视图。在此实例中,LF显示系统450D定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。

LF显示系统450C从聚合表面460投影各种射线。光线从显示表面上的每个定位投影到以观看体为中心的角度范围中。从聚合表面460的左侧投影的射线具有水平角度范围481,从聚合表面的右侧投影的射线具有水平角度范围482,并且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间,所投影射线可采取如下文关于图6所描述的角度范围的中间值。以此方式在跨越显示表面的投影射线中具有梯度偏转角创建了观看体468C。此外,此配置避免了在将射线投影到侧壁456和458中时浪费显示器的分辨率。

图4F展示了具有在房间的前壁452上的聚合表面460的LF显示系统450D的侧视图。在此实例中,LF显示系统450E定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中,地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处,地板的每一层包含观看子体(例如,观看子体470A和470B)。分层地板允许不重叠的观看子体。换句话说,每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说,这种定向产生了“体育场就座”效果,其中各层之间的竖直偏移使视线畅通无阻,从而使每一层都可以“查看”其它层的观看子体。包含不重叠的观看子体的LF显示系统可以提供比具有确实重叠的观看体的LF显示系统更高的观看体验。例如,在图4F所示的配置中,可以向观看子体470A和470B中的观众投影不同的全息内容。

LF显示系统的控制

图5A是根据一个或多个实施例的LF显示系统500的框图。LF显示系统500包括LF显示组件510和控制器520。LF显示组件510包含投影光场的一个或多个LF显示模块512。LF显示模块512可以包含源/传感器系统514,所述源/传感器系统包含投影和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储器522、网络接口524和LF处理引擎530。控制器520还可以包含跟踪模块526和观看者概况分析模块528。在一些实施例中,LF显示系统500还包含感测反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的LF显示系统是LF显示系统500的实施例。在其它实施例中,LF显示系统500包括比本文所描述的模块另外的或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。LF显示系统500的应用也将在下文关于图2到5详细地讨论。

LF显示组件510在全息对象体中提供全息内容,所述全息对象体对于定位在观看体内的观看者可以是可见的。LF显示组件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投影在LF显示组件510的聚合表面前面、LF显示组件510的聚合表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。

LF显示组件510使用包含在LF显示组件510中的一个或多个LF显示模块(例如,LF显示模块110、LF显示系统200和LF显示模块300中的任一个)来提供全息内容。为了方便起见,一个或多个LF显示模块在本文中可以被描述为LF显示模块512。LF显示模块512可以被平铺以形成LF显示组件510。LF显示模块512可以被结构化为各种无缝表面环境(例如,单面、多面、场地的壁、弯曲的表面等)。也就是说,平铺的LF显示模块形成聚合表面。如先前所描述,LF显示模块512包含呈现全息内容的能量装置层(例如,能量装置层220)和能量波导层(例如,能量波导层240)。LF显示模块512还可以包含能量中继层(例如,能量中继层230),当呈现全息内容时,所述能量中继层在能量装置层与能量波导层之间转移能量。

LF显示模块512还可以包含其它集成系统,所述其它集成系统被配置成用于如先前所描述的能量投影和/或能量感测。例如,光场显示模块512可以包含被配置成投影和/或感测能量的任何数量的能量装置(例如,能量装置340)。为了方便起见,本文可以将LF显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在LF显示模块512内,使得源/传感器系统514与LF显示模块512共享相同的无缝能量表面。换句话说,LF显示组件510的聚合表面包含LF显示模块512和源/传感器模块514两者的功能。换句话说,包含具有源/传感器系统514的LF显示模块512的LF组件510可以在同时投影光场时投影能量和/或感测能量。例如,LF显示组件510可以包含LF显示模块512和源/传感器系统514,所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。

在一些实施例中,LF显示系统500使用感觉反馈系统570用其它感觉内容(例如,协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常,感觉反馈系统570包含在LF显示组件510外部的任何数量的感觉反馈装置(例如,感觉反馈系统442)。一些实例感觉反馈装置可以包含协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下,感觉反馈系统570可以具有与光场显示组件510类似的功能性,且反之亦然。例如,感觉反馈系统570和光场显示组件510两者都可以被配置成产生声场。作为另一个实例,感觉反馈系统570可以被配置成在没有光场显示器510组件的情况下生成触觉表面。

为了说明,在光场显示系统500的示例实施例中,感觉反馈系统570可以包含一个或多个声学投影装置。一个或多个声学投影装置被配置成在执行从控制器520接收的显示指令时生成与全息内容互补的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地,感觉反馈系统570可以包含香气投影装置。香气投影装置可以被配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香气装置可以连接到空气循环系统(例如,管道、风扇或通风口)中,以协调目标区域内的空气流动。此外,感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。

在一些实施例中,感觉反馈系统570被配置成从LF显示系统500的观看者接收输入。在这种情况下,感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包含例如声学接收装置(例如,麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。

为了说明,在光场显示组件的实例实施例中,感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个观看者产生的音频(例如,喘气、尖叫、笑声等)。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。类似地,感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。

在一些实施例中,LF显示系统500包含跟踪系统580。跟踪系统580包含配置成确定目标区域中的观看者的定位、移动和/或特性的任何数目的跟踪装置。通常,跟踪装置在LF显示组件510的外部。一些示例跟踪装置包含相机组件(“相机”)、深度传感器、结构化灯、LIDAR系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。

跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而,在一些情况下,当呈现全息内容时,目标区域被来自LF显示组件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时,能量源投影光。光可以是例如结构化光图案、光脉冲(例如,IR闪光灯)或其某种组合。跟踪系统可以投影以下中的光:可见波段(约380nm到750nm)、红外(IR)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁频谱的某个其它部分或其某种组合。源可以包含例如发光二极管(LED)、微型LED、激光二极管、TOF深度传感器、可调激光器等。

当执行从控制器520接收的指令时,跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组件投影的某个其它参数或其某种组合。在一个实施例中,源在飞行时间操作中投影光脉冲。

跟踪系统580的相机捕获从目标区域反射的光(例如,结构化光图案)的图像。当执行从控制器520接收的跟踪指令时,相机捕获图像。如先前所描述,光可以由跟踪系统580的源投影。相机可以包含一个或多个相机。也就是说,相机可以是例如光电二极管的阵列(1D或2D)、CCD传感器、CMOS传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中,跟踪系统580可以含有在LF显示组件510外部的光场相机。在其它实施例中,相机被包含作为包含在LF显示组件510中的LF显示源/传感器模块514的一部分。例如,如先前所描述的,如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层,则LF显示组件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中,从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。

当执行从控制器520接收的跟踪指令时,跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。

控制器520控制LF显示组件510和LF显示系统500的任何其它部件。控制器520包括数据存储装置522、网络接口524、跟踪模块526、观看者概况分析模块528和光场处理引擎530。在其它实施例中,控制器520包括比本文所描述的模块更多或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如,跟踪模块526可以是LF显示组件510或跟踪系统580的一部分。

数据存储装置522是存储用于LF显示系统500的信息的存储器。所存储的信息可以包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于光场显示组件510的校准数据、LF显示系统510的配置数据(包含LF模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3D模型的图形创建的内容、场景和环境、材质和纹理以及LF显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器,例如只读存储器(ROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM),或其某一组合。

网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中,LF显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一个实例中,LF显示系统500使用网络接口524将全息内容传输到远程数据存储装置。

跟踪模块526跟踪观看由LF显示系统500呈现的内容的观看者。为此,跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令,并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令,并将跟踪输入提供给跟踪模块526。

跟踪模块526可以确定目标区域内的一个或多个观看者的定位(例如,坐在场地的座椅中)。所确定的定位可以相对于例如某个参考点(例如,显示表面)。在其它实施例中,所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如,眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定定位。跟踪系统580的相机可以分布在LF显示系统500周围,并且可以捕获立体图像,从而允许跟踪模块526被动地跟踪观看者。在其它实施例中,跟踪模块526主动跟踪观看者。也就是说,跟踪系统580照亮目标区域的某个部分,对目标区域进行成像,并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定定位。跟踪模块526使用所确定的定位来生成跟踪信息。

跟踪模块526还可以从LF显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包含与由LF显示系统500向观看者提供的各种输入选项相对应的身体移动。例如,跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到LF处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储装置522、LF处理引擎530、观看者概况分析模块528、LF显示系统500的任何其它部件或其一些组合。

为了向跟踪模块526提供背景,考虑显示戏剧的LF显示系统500的实例实施例,在所述戏剧中的表演者成功击败敌方人物。响应于场景,观看者在空中挥舞拳头以显示其兴奋。跟踪系统580可以记录观看者的手的移动,并将记录传输到跟踪模块526。如先前所描述的,这可以通过跟踪系统580来实现,所述跟踪系统包括在光场显示组件510外部的相机、深度传感器或其它装置,或者同时投影光场图像并记录图像的显示表面,其中从显示表面记录的图像可以是光场图像或这些装置的任何组合。跟踪模块526在记录中跟踪观看者的手的运动,并将输入发送到LF处理引擎530。如下文所描述,观看者概况分析模块528确定图像中的信息指示观看者的手的运动与肯定响应相关联。因此,如果识别出足够的观看者具有肯定响应,则LF处理引擎530生成适当的全息内容以庆祝英雄人物击败敌方人物。例如,LF处理引擎530可以在场景中投影纸屑。

LF显示系统500包含配置成标识观看者并对观看者进行概况分析的观看者概况分析模块528。观看者概况分析模块528生成观看由LF显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者概况分析模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者简档。观看者概况分析模块528可以访问从跟踪系统580获得的信息(例如,所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中,观看者概况分析模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。监测的观看者行为可以包含例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、姿势的其它变化,或观看者的移动等。

更一般地,观看者简档可以包含所接收和/或所确定的关于观看来自LF显示系统的全息内容的观看者的任何信息。例如,每个观看者简档可以记录所述观看者对由LF显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些实例信息。

在一些实施例中,观看者简档可描述观看者关于所显示的表演者(例如,演员、歌手等)、场地(例如,舞台、音乐厅等)等的响应。例如,观看者简档可指示,观看者通常对表演者作为一群18至25岁之间长着磨砂金发的英俊男歌手的表演有积极的响应。

在一些实施例中,观看者简档可指示观看表演的观看者的特性。例如,场地中的观看者正穿着显示大学标志的运动衫。在这种情况下,观看者简档可以指示观看者正穿着运动衫,并且可能更喜欢与运动衫上的大学标志相关联的全息内容。更广泛地,可以在观看者简档中指示的观看者特性可以包含例如年龄、性别、种族、衣物、场地中的观看位置等。

在一些实施例中,观看者简档可以指示观看者关于期望表演和/或场地特性的偏好。例如,观看者简档可以指示观看者仅喜欢观看适合其家人中的每个人的年龄的全息内容。在另一个实例中,观看者简档可以指示全息对象体以显示全息内容(例如,在壁上),并且指示全息对象体不显示全息内容(例如,在其头部上方)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉界面,或者更喜欢避开所述触觉界面。

在另一实例中,观看者简档指示特定观看者观看的表演的历史记录。例如,观看者概况分析模块528确定观看者或观看者群组先前已观看过表演。因此,LF显示系统500可以显示与观看者先前一次观看表演不同的全息内容。作为一个实例,包含全息内容的表演可以具有三个不同的结尾,并且LF显示系统500可以基于出席的观看者来显示不同的结尾。在另一实例中,可以在同一场地中将三个结尾中的每个结尾呈现给不同的观看体。

在一些实施例中,观看者简档也可以描述一组观看者而不是特定观看者的特性和偏好。例如,观看者概况分析模块528可生成在场地中观看表演的观众的观看者简档。在一个实例中,观看者概况分析模块528为观看关于少年爱上吸血鬼的表演的观看者创建观看者简档。简档指示86.3%的观看者是介于20至35岁之间的女性,并且对所述表演具有积极响应。简档还指示剩余23.7%的观看者为介于20与35岁之间的男性,并且对所述表演具有消极反应。先前所描述的信息和特性中的任一项都可以应用于一组观看者。

观看者概况分析模块528还可以从一个或多个第三方系统访问与特定观看者(或多个观看者)相关联的简档,以建立观看者简档。例如,观看者使用链接到所述观看者的社交媒体账户的第三方供应商购买了表演的票券。因此,观看者的票券链接到他的社交媒体账户。当观看者使用其票券进入表演场地时,观看者概况分析模块528可以访问来自其社交媒体账户的信息以建立(或增强)观看者简档。

在一些实施例中,数据存储装置522包含存储由观看者概况分析模块528生成、更新和/或维护的观看者简档的观看者简档存储。可以由观看者概况分析模块528随时在数据存储装置中更新观看者简档。例如,在一个实施例中,当特定观看者观看由LF显示系统500提供的全息内容时,观看者简档存储在其观看者简档中接收并存储关于特定观看者的信息。在此实例中,观看者概况分析模块528包含面部识别算法,所述面部识别算法可以识别观看者并在其观看呈现的全息内容时肯定地标识所述观看者。为了说明,在观看者进入LF显示系统500的目标区域时,跟踪系统580获得观看者的图像。观看者概况分析模块528输入所捕获的图像,并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储装置中的观看者简档相关联,并且如此,所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者概况分析模块还可以利用卡标识扫描仪、语音标识符、射频标识(RFID)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。

在观看者概况分析模块528可以肯定地标识观看者的实施例中,观看者概况分析模块528可以确定每个观看者对LF显示系统500的每次访问。观看者概况分析模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地,观看者概况分析模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或LF显示组件510的任何组合的输入。观看者简档系统528可以另外从控制器520的其它模块或部件接收关于观看者的其它信息,所述信息随后可以与观看者简档一起存储。控制器520的其它部件然后也可以访问所存储的观看者简档,以确定提供给所述观看者的后续内容。

LF处理引擎530生成包括光场数据以及由LF显示系统500支持的所有感觉域的数据的全息内容。例如,LF处理引擎530可以以光栅化格式(“光栅化数据”)生成4D坐标,所述4D坐标当由LF显示组件510执行时使LF显示组件510呈现全息内容。LF处理引擎530可以从数据存储装置522访问光栅化数据。另外,LF处理引擎530可以从向量化数据集构建光栅化数据。下文描述向量化数据。LF处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述,当由LF显示系统500执行时,感觉指令可以生成由LF显示系统500支持的触觉表面、声场和其它形式的感觉能量。LF处理引擎530可以从数据存储装置522访问感觉指令,从向量化数据集构建感觉指令。4D坐标和感测数据聚合地将全息内容表示为可由LF显示系统执行以生成全息和感觉内容的显示指令。更一般地,全息内容可以采取具有以下的CG内容的形式:理想的光场坐标、实景动作内容、光栅化数据、向量化数据、由一组中继器传输的电磁能量、发送给一组能量装置的指令、一个或多个能量表面上的能量位置、从显示表面投影的一组能量传播路径、对观看者或观众可见的全息对象以及许多其它类似形式。

描述通过LF显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522访问时可以将光栅化数据显示在LF显示系统500上,但是不能有效地传输、接收(例如,经由网络接口524)并随后在LF显示系统500上显示光栅化数据。例如,以表示由LF显示系统500进行全息投影的较短表演的光栅化数据为例。在此实例中,LF显示系统500包含含有若干十亿像素的显示器,并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如,每秒数千兆字节的表演显示时间),并且对于经由网络接口524在商业网络上的有效传输来说是不可管理的。对于包含全息内容的实时流式传输的应用,可以放大有效传递问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时,产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验,可以响应于感觉或跟踪输入实时修改由LF处理引擎530生成的光场内容。换句话说,在一些情况下,无法简单地从数据存储装置522读取LF内容。

因此,在一些配置中,可以用向量化数据格式(“向量化数据”)将表示由LF显示系统500显示的全息内容的数据传递到LF处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外,向量化数据提供高图像质量,同时具有实现数据的有效共享的数据集大小。例如,向量化数据可以是源自更密集数据集的稀疏数据集。因此,基于如何从密集光栅化数据采样稀疏向量化数据,向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此,向量化数据实现全息内容经由网络接口524的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。

总而言之,LF处理引擎530可以生成源自从数据存储装置522访问的光栅化数据、从数据存储装置522访问的向量化数据,或经由网络接口524接收的向量化数据的全息内容。在各种配置中,向量化数据可在数据传输之前由编码器进行编码,并且在接收之后由LF控制器520内的解码器进行解码。编码器和解码器对可以是同一专有系统编解码器的一部分。在一些实例中,对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。例如,通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编码向量化数据。在一些实例中,向量化数据可能需要解码器、LF处理引擎530,或者两者来访问在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。可以采用其它实例编码和/或解码方案来传输和/或呈现全息内容。

向量化数据含有LF显示系统500以可支持交互式体验的方式支持的每个感觉域的所有信息。例如,用于交互式全息体验的向量化数据可包含可以为LF显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。向量化特征可以包含可以进行合成地编程、捕获、计算评估等的任何特征。LF处理引擎530可以被配置成将向量化数据中的向量化特征转换成光栅化数据。LF处理引擎530然后可以使用LF显示组件510投影从向量化数据转换的全息内容。在各种配置中,向量化特征可以包含:一个或多个红/绿/蓝/α通道(RGBA)+深度图像;具有或不具有不同分辨率的深度信息的多个视图图像,所述视图图像可以包含一个高分辨率中心图像以及较低分辨率的其它视图;例如反照率和反射率的材料特征;表面法线;其它光学效应;表面标识;几何对象坐标;虚拟相机坐标;显示平面位置;照明坐标;表面的触觉刚度;触觉延展性;触觉强度;声场的振幅和坐标;环境条件;与用于纹理或温度、音频的机械感受器相关的体感能量向量;以及任何其它感觉域特征。许多其它向量化特征也是可能的。

LF显示系统500还可以生成交互式观看体验。也就是说,全息内容可以响应于输入刺激,所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息,或源自观看者概况分析模块528和/或跟踪模块526的其它信息。例如,在实施例中,LF处理系统500使用经由网络接口524接收到的实时性能管理的向量化数据产生交互式观看体验。在另一实例中,如果全息对象需要响应于观看者交互而立即在特定方向上移动,则LF处理引擎530可以更新场景的渲染,因此全息对象在所述所需方向上移动。这可能需要LF处理引擎530使用向量化数据集来基于3D图形场景实时渲染光场,所述3D图形场景具有适当对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等,从而正确地对观看者交互作出响应。LF处理引擎530将向量化数据转换成光栅化数据以由LF显示组件510呈现。LF显示系统500可采用允许LF显示系统近似实时地呈现全息内容的各种其它编码/解码技术。

光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。LF显示组件510通过执行显示指令同时投影实时性能的全息和感觉内容。LF显示系统500通过跟踪模块526和观看者概况分析模块528监测与所呈现的实时性能的观看者交互(例如,声音响应、触摸等)。响应于观看者交互,LF处理引擎可以通过生成另外的全息和/或感觉内容以显示给观看者来创建交互式体验。

为了说明,考虑包含LF处理引擎530的LF显示系统500的实例实施例,所述LF处理引擎生成表示在表演期间从场地的天花板落下的气球的多个全息对象。观看者可以移动以触摸表示气球的全息对象。相应地,跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到LF处理引擎530。LF处理引擎530确定观看者的手在场景中的放置,调整图形的实时渲染以在全息对象中包含任何所需的改变(如定位、颜色或遮挡)。LF处理引擎530指示LF显示组件510(和/或感觉反馈系统570)使用体触觉投影系统(例如,使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分,并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。LF处理引擎530使用跟踪信息来动态地指示LF显示组件510将触觉表面的位置与经渲染的全息对象的位置一起移动,使得给予观看者触摸气球的视觉和触觉感知两者。更简单地,当观看者观看他的手触摸全息气球时,观看者同时感觉到指示其手触摸了全息气球的触觉反馈,并且气球响应于触摸而改变定位或运动。在一些实例中,并非在从数据存储装置522访问的表演中呈现交互式气球,所述交互式气球可被接收为经由网络接口524从直播流式传输的应用接收的全息内容的部分。换句话说,LF显示系统500显示的全息内容可以是全息内容直播流。

LF处理引擎530可在表演之前、期间和/或之后提供显示给场地中的观看者的全息内容以增强场地体验。全息内容可由所述表演的发布者提供、由场地提供、由广告商提供、由LF处理引擎530生成等。全息内容可以是与表演、表演的流派、场地的位置、广告等相关联的内容。在任何情况下,全息内容可存储在数据存储装置522中,或通过网络接口524以向量化格式流式传输到LF显示系统500。例如,表演可在用LF显示模块增强的场地中显示在壁上。表演的发布者可以在表演开始之前提供在壁显示器上呈现的全息内容。LF处理引擎530访问全息内容并且在表演开始之前将来自显示器的所访问内容呈现到场地的壁上。在另一实例中,具有LF显示系统500的场地位于旧金山。如果未提供表演特定内容,则场地存储在表演之前在场地中呈现的金门大桥的全息表示。此处,因为未提供表演特定全息内容,所以LF处理引擎530访问并且在场地中呈现金门大桥。在另一实例中,广告商已将其产品的全息内容作为广告提供给场地以在表演之后显示。在表演结束之后,LF处理引擎530在观看者离开场地时向其呈现广告。在其它实例中,如下文所描述,LF处理引擎可动态地生成在影院的壁上显示的全息内容。

LF处理引擎500还可以修改全息内容以适合正呈现全息内容的场地。例如,并非每个场地都具有相同的大小、相同的座椅数量或相同的技术配置。因此,LF处理引擎530可以修改全息内容,使得其将被适当地显示在场地中。在一个实施例中,LF处理引擎530可以访问场地的配置文件,包含场地的布局、分辨率、视场、其它技术规范等。LF处理引擎530可以基于配置文件中包含的信息来渲染和呈现全息内容。

LF处理引擎530还可以创建全息内容以由LF显示系统500显示。重要的是,此处,创建用于显示的全息内容不同于访问或接收用于显示的全息内容。换句话说,当创建内容时,LF处理引擎530生成用于显示的全新内容,而不是访问先前生成和/或接收的内容。LF处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者概况分析模块528、跟踪模块526或其某种组合的信息来创建用于显示的全息内容。在一些实例中,LF处理引擎530可以访问来自LF显示系统500的元件的信息(例如,跟踪信息和/或观看者简档),基于所述信息创建全息内容,并且作为响应,使用LF显示系统500显示创建的全息内容。当由LF显示系统500显示时,创建的全息内容可以用其它感觉内容(例如,触摸、音频或气味)增强。此外,LF显示系统500可以存储创建的全息内容,使得其可以在将来显示。

LF显示系统的动态内容生成

在一些实施例中,LF处理引擎530并入有人工智能(AI)模型,以创建全息内容以供LF显示系统500显示。AI模型可以包含监督或无监督的学习算法,包含但不限于回归模型、神经网络、分类器或任何其它AI算法。AI模型可以用于基于由LF显示系统500(例如,由跟踪系统580)记录的观看者信息来确定观看者偏好,所述观看者信息可以包含关于观看者的行为的信息。

AI模型可以从数据存储装置522访问信息以创建全息内容。例如,AI模型可以从数据存储装置522中的一个或多个观看者简档访问观看者信息,或者可以从LF显示系统500的各个部件接收观看者信息。为了说明,AI模型可以确定观看者喜欢观看表演者佩戴领结的全息内容。AI模型可以基于一组观看者对包含佩戴蝴蝶结的演员的先前观看的全息内容的积极反应或响应来确定偏好。换句话说,AI模型可以根据学习到的那些观看者的偏好来创建个性化针对一组观看者的全息内容。因此,例如,AI模型可以使用LF显示系统500将蝴蝶结并入由一组观看者观看的全息内容中所显示的演员。AI模型还可以将学习到的每个观看者的偏好存储在数据存储装置522的观看者简档存储中。在一些实例中,AI模型可以为单个观看者而不是一组观看者创建全息内容。

可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的AI模型的一个实例是具有节点层的卷积神经网络模型,其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如,并且AI模型可以包含五个节点层:层A、B、C、D和E。从层A到层B的变换由函数W1给出,从层B到层C的变换由W2给出,从层C到层D的变换由W3给出,并且从层D到层E的变换由W4给出。在一些实例中,还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如,从层D到层E的变换W4可以基于用于完成从层A到B的变换W1的参数。

模型的输入可以是由跟踪系统580获取的编码到卷积层A上的图像,并且模型的输出是从输出层E解码的全息内容。替代地或另外,输出可以是图像中的观看者的所确定特性。在此实例中,AI模型标识表示标识层C中的观看者特性的图像中的潜在信息。AI模型将卷积层A的维度减小到标识层C的维度,以标识图像中的任何特征、动作、响应等。在一些实例中,AI模型然后增加标识层C的维度以生成全息内容。

将来自跟踪系统580的图像编码到卷积层A。卷积层A中的图像输入可以与标识层C中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说,AI模型的卷积层A表示编码图像,并且模型的标识层C表示微笑观看者。可以通过将变换W1和W2应用于卷积层A的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。例如,权重和参数可以是包含在表示图像中的微笑观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如,先前跟踪的观看者)。

在标识层C中标识图像中的微笑观看者。标识层C表示基于关于图像中的微笑观看者的潜在信息而标识的微笑观看者。

图像中的所标识的微笑观看者可以用于生成全息内容。为了生成全息内容,AI模型在标识层C处开始且将变换W2和W3应用于标识层C中的给定所标识的微笑观看者的值。变换产生输出层E中的一组节点。用于变换的权重和参数可以指示所识别的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下,全息内容直接从输出层E的节点输出,而在其它情况下,内容生成系统将输出层E的节点解码到全息内容。例如,如果输出是一组标识的特性,则LF处理引擎可以使用特性来生成全息内容。

另外,AI模型可以包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等或不生成全息内容的层。例如,在给定实例中,层B是卷积层A与标识层C之间的中间层。层D是标识层C与输出层E之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示,但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。例如,隐藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如,大的权重值)。作为另一实例,隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然,神经网络中存在任何数目的连接。另外,每个中间层是功能的组合,例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层B可以用于将卷积层减少到标识层,并且任何数目的中间层D可以用于将标识层增加到输出层。

在一个实施例中,AI模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入并且使用所创建全息内容的改变作为输出来提高性能的质量。

强化学习是机器学习系统,其中机器学习“做什么”-如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如,LF处理引擎530)要采取哪些动作(例如,生成规定的全息内容),而是通过尝试所述动作发现哪些动作产生最高的奖励(例如,通过使更多人欢呼来提高全息内容的质量)。在一些情况下,动作不仅可以影响即时奖励,而且影响下一种情况,并因此影响所有后续奖励。这两个特征--尝试错误搜寻和延迟奖励--是强化学习的两个显著特征。

强化学习不是通过表征学习方法,而是通过表征学习问题来定义。基本上,强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说,在为表演者生成歌曲的实例中,强化学习系统捕获关于场地中观看者的信息(例如,年龄、性格等)。此代理感测环境的状态且采取影响状态的动作以实现一个或多个目标(例如,创作一首会让观看者为之欢呼的流行歌曲)。在其最基本形式中,强化学习的制定包含学习者的三个方面:感觉、动作和目标。继续歌曲实例,LF处理引擎530通过跟踪系统580的传感器感测环境的状态,向环境中的观看者显示全息内容,并且实现作为观看者对所述歌曲的接收的度量的目标。

强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励,强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而,为了发现产生奖励的动作,学习代理会选择之前未选择的动作。代理“利用”它已经知道的信息以获得奖励,但它也“探索”信息以在未来做出更好的行动选择。学习代理尝试各种动作,并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上,每个动作通常都会尝试多次,以获得对其预期奖励的可靠估计。例如,如果LF处理引擎创建了LF处理引擎知道的将导致观看者在长时间段后笑的全息内容,则LF处理引擎可以改变全息内容,使得直到观看者笑的时间减少。

此外,强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标,可以感测其环境的各方面,并可以选择接收高奖励的动作(即,咆哮的人群)。此外,尽管代理面临的环境存在显著的不确定性,但其通常仍在进行操作。当强化学习涉及计划时,系统将解决计划与实时动作选择之间的相互作用,以及如何获取和改善环境要素的问题。为了使强化学习取得进步,必须分离和研究重要的子问题,子问题在完整的交互式寻求目标的代理中起明确作用。

强化学习问题是机器学习问题的框架,在所述框架中,处理交互并执行动作以实现目标。学习者和决策者称为代理(例如,LF处理引擎530)。代理与其交互的事物(包括代理之外的所有事物)称为环境(例如,场地中的观看者等)。这两个持续地进行交互,代理选择动作(例如,创建全息内容),并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励,即代理试图随时间最大化的特殊数值。在一种背景下,奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范定义一项任务,所述任务是强化学习问题的一个实例。

为了提供更多的背景,代理(例如,LF处理引擎530)与环境在一系列离散时间步长(即,t=0、1、2、3等)中的每个离散时间步长中进行交互。在每个时间步长t处,代理接收一些环境状态st的表示(例如,来自跟踪系统580的测量)。状态st在S内,其中S是可能状态的集合。基于状态st和时间步长t,代理选择动作at(例如,使执行者进行拆分)。动作at在A(st)内,其中A(st)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果),代理接收数字奖励rt+1。状态rt+1在R内,其中R是可能奖励的集合。一旦代理接收到奖励,代理就会选择新状态st+1

在每个时间步长处,代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为πt,其中πt(s,a)是如果st=s,则at=a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。

这种强化学习框架非常灵活,并且可以以许多不同的方式(例如,生成全息内容)应用于许多不同的问题。框架提出,无论感觉、记忆和控制设备的细节如何,学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号:一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。

当然,AI模型可以包含任何数量的机器学习算法。可以采用的一些其它AI模型是线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何,LF处理引擎530通常从跟踪模块526和/或观看者概况分析模块528获取输入并且作为响应,机器学习模型创建全息内容。类似地,AI模型可以引导全息内容的渲染。

在实例中,LF处理引擎530创建虚拟流行歌手。LF处理引擎530可以使用存储在数据存储装置522中的观看者简档中包含的信息来创建虚拟流行歌手。例如,包含在存储的观看者简档中的信息指示大量观看者喜欢由20年代中期的前卫女歌手演唱的流行音乐。因而,LF处理引擎530创建由LF显示系统500显示为20年代中期的前卫女歌手的虚拟流行歌手。更明确地说,LF处理引擎530访问场地中的观看者的观看者简档。LF处理引擎530使每个观看者简档中的信息参数化(例如,量化)。例如,LF处理引擎530可以对例如观看者的年龄、位置、性别等特性进行量化。另外,LF处理引擎530可以使包含在观看者简档中的其它信息参数化。例如,如果观看者简档指示观看者观看了女歌手的四场表演,则内容创建模块可以量化此趋势(例如,生成指示观看者对女歌手的兴趣的分数)。LF处理引擎530将参数化的用户简档输入到AI模型(例如,神经网络)中,所述AI模型被配置成基于输入参数生成虚拟表演者的特性,并且作为响应接收表演者的特性。LF处理引擎530然后将虚拟表演者的特性输入到AI模型(例如,程序生成算法)中,所述AI模型被配置成生成给定一组特性的表演者,并且作为响应生成为20年代中期的前卫女歌手的虚拟表演者。另外,LF处理引擎530可以创建将遵循虚拟流行歌手的人物角色的全息内容(例如,歌曲、表演等)。例如,内容生成模块530可以为虚拟的20年代中期的女歌手创作关于嫉妒的前男友的歌曲。更明确地说,LF处理引擎530可以访问虚拟表演者的特性和关于观看者的信息,并且将所述信息输入到AI模型(例如,循环神经网络“RNN”)中。同样,可以(例如,使用分类和回归树)使特性和信息参数化,并且输入到RNN中。此处,可以使用具有类似输入参数的现实世界的歌曲来训练RNN。因此,RNN为虚拟歌手向场地内的观看者生成一首虚拟歌曲,所述虚拟歌曲与其它20年代中期的前卫女歌手创作的一首或多首歌曲具有相似的特性。

LF处理引擎530可基于场地中所示的表演而创建全息内容。例如,场地中所示的表演可与描述表演特性的一组元数据相关联。元数据可包含例如背景、流派、表演者、表演类型、主题、标题、运行时间等。LF处理引擎530可以访问描述表演的元数据中的任一项,并且作为响应生成存在于所述场地中的全息内容。例如,标题为“最后的美男鱼(The LastMerman)”的电影将在用LF显示系统500增强的场地中播放。LF处理引擎530访问表演的元数据以在表演开始之前创建用于场地的壁的全息内容。此处,元数据包含背景是水下并且流派是浪漫。LF处理引擎530将元数据输入AI模型中,并且作为响应接收显示在场地的壁上的全息内容。在此实例中,LF处理引擎530在表演开始播放之前创建显示在场地的壁上的海边日落。

在实例中,LF处理引擎530基于存在于包含LF显示系统500的场地处的观看者来创建全息内容。例如,一组观看者进入场地以观看由LF显示系统500显示的全息内容增强的表演。观看者概况分析模块528为场地中的观看者生成观看者简档,以及表示场地中所有观看者的聚合观看者简档。LF处理引擎530访问汇总观看者简档并且创建全息内容以显示给场地中的观看者。例如,场地中的观看者是观看以浪漫民谣闻名的表演者的一群情侣,并且因此,汇总观看者简档包含指示其可能喜欢与约会中的情侣相称的全息内容的信息(例如,通过参数化和输入到AI模型)。因此,LF处理引擎530生成全息内容,使得所述场地具有更浪漫的氛围(例如,蜡烛、昏暗的灯光、Marvin Gaye的音乐等)。

在一些实例中,LF处理引擎530可以基于先前存在的内容来创建全息内容。此处,先前存在的可以是先前记录的歌曲、现有的现实世界表演者等。例如,观看者最喜欢的乐队是“The Town People”,并且他们希望观看其最喜欢的Town People歌曲的音乐会。因此,LF处理引擎530创建Town People演唱“D.M.C.A.”和“In the Gravy”的表演。在此实例中,LF处理引擎530可以访问来自Town People歌手的现有歌曲和模型(例如,存储在数据存储装置522中)并且使用所述内容创建新的表演以供LF显示系统500显示。更明确地说,内容创建系统可从数据存储装置522访问歌曲和模型。LF处理引擎530将歌曲和模型输入到被配置成创建例如摇滚乐队的表演的AI模型(例如,程序生成算法)中,并且作为响应AI模型输出表演的全息内容。在一些情况下,因为LF处理引擎530基于受版权保护的内容来创建全息内容,所以观看者和/或LF处理引擎530可以向版权持有者支付费用。

在实例中,LF处理引擎530基于观看表演的观看者的响应来创建全息内容。例如,场地中的观看者正在由LF显示系统500增强的场地中观看表演。跟踪模块526和观看者概况分析模块528监测观看者观看表演的反应。例如,跟踪模块526可以在观看者观看表演时获得所述观看者的图像。跟踪模块526标识观看者,并且观看者概况分析模块528可以使用机器视觉算法以基于图像中包含的信息来确定观看者的反应。例如,AI模型可以用于标识观看表演的观看者是否在微笑,并且因此,观看者概况分析模块528可以基于微笑在观看者简档中指示观看者是否对表演有积极或消极响应。还可以确定其它反应。跟踪模块可以确定关于观看者的信息,所述信息包含观看者的定位、观看者的移动、观看者的手势、观看者的表情、观看者的年龄、观看者的性别、观看者的种族或观看者穿戴的衣物。此信息可以与观看者概况分析模块528共享以生成观看者简档。借助于说明,LF处理引擎530生成由虚拟喜剧演员执行的喜剧例程。在LF显示系统500显示表演时,跟踪系统580和观看者概况分析模块528监测观看者的反应。在这种情况下,观看者不会因为虚拟喜剧演员讲的“冷笑话”而发笑。作为响应,LF处理引擎530修改喜剧表演以使得虚拟喜剧演员开始戏弄特定观看者。此处,LF处理引擎530可以将反应输入到AI模型(例如,强化学习模型)中,所述AI模型被配置成在观看全息内容的观看者中引起笑声。基于观众中的观看者的响应和特性,LF处理引擎530改变讲笑话的方式。例如,虚拟喜剧演员可能会开始取笑特定观看者穿的豹纹裤子。此处,可以使用先前执行的喜剧表演和记录的用户对这些表演的响应来训练模型。

在一些实例中,LF处理引擎530可以基于先前存在的内容来创建全息内容。此处,先前存在的可以是先前记录的歌曲、现有的现实世界表演者等。例如,观看者最喜欢的乐队是“The Town People”,并且他们希望观看其最喜欢的Town People歌曲的音乐会。因此,LF处理引擎530创建Town People演唱“D.M.C.A.”和“In the Gravy”的表演。在此实例中,LF处理引擎530可以访问来自Town People歌手的现有歌曲和模型(例如,存储在数据存储装置522中)并且使用所述内容创建新的表演以供LF显示系统500显示。更明确地说,内容创建系统可从数据存储装置522访问歌曲和模型。LF处理引擎530将歌曲和模型输入到被配置成创建例如摇滚乐队的表演的AI模型(例如,程序生成算法)中,并且作为响应AI模型输出表演的全息内容。在一些情况下,因为LF处理引擎530基于受版权保护的内容来创建全息内容,所以观看者和/或LF处理引擎530可以向版权持有者支付费用。

在类似的实例中,LF处理引擎530可以基于先前存在或提供的广告内容来创建全息内容。换句话说,例如,LF处理引擎530可以通过网络接口524从网络系统请求广告,作为响应,网络系统提供全息内容,并且LF处理引擎530创建用于显示包含广告的全息内容。广告的一些实例可以包含产品、文本、视频等。可以基于所述观看体中的观看者将广告呈现给特定的观看体。类似地,全息内容可以用广告(例如,植入式广告)来增强表演。最一般地,如先前所描述,LF处理引擎530可以基于场地中的观看者的特性和/或反应中的任何特性和/或反应来创建广告内容。

创建内容的前述实例不是限制性的。最广泛地,LF处理引擎530创建全息内容以用于显示给LF显示系统500的观看者。可以基于LF显示系统500中包含的信息中的任何信息来创建全息内容。

全息内容发布网络

图5B示出了根据一个或多个实施例的实例LF表演网络550。一个或多个LF显示系统可包含在LF表演网络550中。LF表演网络550包含经由网络552彼此耦合的任何数目的LF显示系统(例如500A、500B和500C)、LF生成系统554和联网系统556。在其它实施例中,相比本文所描述的那些实体,LF表演网络550包括额外或更少的实体。类似地,可以与此处描述的方式不同的方式在不同实体之间分配功能。

在所示实施例中,LF表演网络550包含LF显示系统500A、500B和500C,其可经由网络552接收全息内容并且将全息内容显示给观看者。LF显示系统500A、500B和500C统称为LF显示系统500。

LF生成系统554是生成用于在包含LF显示系统的表演场地中显示的全息内容的系统。换句话说,LF生成系统被配置成生成本文所描述的LF内容中的任一项。全息内容可以是表演或可以是增强传统表演的全息内容。LF生成系统554可以包含由任意数量的传感器和/或处理器组成以记录事件的能量数据的光场记录组件,以及被配置成将这个所记录的能量数据转换为全息内容的处理引擎。例如,光场记录组件的传感器可以包含用于记录图像的相机、用于记录音频的麦克风、用于记录与对象的交互的压力传感器等。在一些实例中,LF生成系统554的光场记录组件包含定位在区域(例如,表演场地)周围以从多个视点记录事件的一个或多个记录模块(例如,被配置成记录来自事件的能量数据的LF显示模块,或用于捕获事件图像的简单的2D相机)。在这种情况下,LF生成系统554的处理引擎被配置成将来自多个视点的能量转换成全息内容。在一些实例中,光场记录组件包含两个或更多个二维记录系统,所述二维记录系统由处理引擎使用以将事件的多个视点转换成三维全息内容。光场记录组件还可包含其它传感器,例如,深度传感器和/或全光相机。

LF生成系统554的处理引擎还可从计算机生成的图像(CGI)动画生成合成光场数据。合成光场数据可来自例如虚拟世界或动画电影,并且可用于增强来自光场记录组件的感测数据。LF生成系统554的处理引擎组合记录的感测信息、合成数据,并且将信息编码为全息内容和感测内容。LF生成系统554可将编码全息内容传输到LF显示系统500中的一个或多个以显示给观看者。如先前所论述,为实现有效传递速度,可在网络552上将LF显示系统500A、500B、500C等的数据作为向量化数据进行传递。

更广泛地,LF生成系统554通过使用可由LF显示系统在展示表演时投影的事件的任何所记录的感测数据或合成数据来生成用于在场地中显示的全息内容。例如,感测数据可包含所记录音频、所记录图像、与对象的所记录交互等。可使用许多其它类型的感测数据。为了说明,所记录视觉内容可包含:3D图形场景、3D模型、对象放置、纹理、颜色、着色和照明;可使用AI模型和较大数据集的类似表演转换转换成全息形式的2D表演数据;来自具有或不具有深度通道的许多相机的相机装备的多视图相机数据;全光相机数据;CG内容;或如本文所描述的事件的其它类型的所记录感测数据。

在各种实例中,用一个或多个能量域上的一个或多个传感器记录的事件可以是音乐会、节目、场景、单次表演、乐队表演、演员表演、舞者表演、魔术师表演或可在表演场地中展示的另一类型的事件。表演场地可以包含表演厅、事件空间、影院、音乐厅、工作室或舞台中的一个或多个。

在一些配置中,LF生成系统554可使用专用编码器来执行将针对表演所记录的感测数据减少为如上文所描述的向量化数据格式的编码操作。也就是说,将数据编码为向量化数据可包含图像处理、音频处理或可产生更容易在网络552上传输的减小的数据集的任何其它计算。编码器可支持由表演制造行业专业人员使用的格式。在其它配置中,LF生成系统可以将表演内容传输到网络系统556和/或LF显示系统而不对内容进行编码。

每个LF显示系统(例如,500A、500B、500C)可经由网络接口524从网络552接收编码数据。在此实例中,每个LF显示系统包含解码器以对编码LF显示数据进行解码。更明确地说,LF处理引擎530通过将由解码器提供的解码算法应用于所接收的编码数据而生成用于LF显示组件510的光栅化数据。在一些实例中,LF处理引擎可另外使用来自如本文所描述的跟踪模块526、观看者概况分析模块528和感测反馈系统570的输入生成用于LF显示组件的光栅化数据。针对LF显示组件510生成的光栅化数据再现由LF生成系统554记录的全息内容。重要的是,每个LF显示系统500A、500B和500C生成适于LF显示组件在几何形状、分辨率等方面的特定配置的光栅化数据。在一些配置中,编码和解码过程是可提供给显示器消费者或由第三方授权的专有编码/解码系统对(或‘编解码器’)的部分。在一些情况下,编码/解码系统对可实施为可向内容创建者提供共同编程接口的专有API。

在一些配置中,LF表演网络550中的各种系统(例如,LF显示系统500、LF生成系统554等)可具有不同硬件配置。硬件配置可包含物理系统、能量源、能量传感器、触觉接口、感觉能力、分辨率、LF显示模块配置或LF表演网络550中的系统的任何其它硬件描述的布置。每个硬件配置可生成或使用呈不同数据格式的感测数据。因此,解码器系统可被配置成对将呈现在LF显示系统上的用于LF显示系统的编码数据进行解码。例如,具有第一硬件配置的LF显示系统(例如,LF显示系统500A)从具有第二硬件配置的LF生成系统(例如,LF生成系统554)接收编码数据。解码系统访问描述LF显示系统500A的第一硬件配置的信息。解码系统使用所访问的硬件配置对编码数据进行解码,使得解码数据可由接收LF显示系统500A的LF处理引擎530处理。尽管记录在第二硬件配置中,但LF处理引擎530生成并且呈现用于第一硬件配置的光栅化内容。以类似方式,无论硬件配置如何,由LF生成系统554记录的全息内容可由任何LF显示系统(例如,LF显示系统500B、LF显示系统500C)呈现。可包含在硬件配置中的各种其它方面可包含:分辨率、每度投影的光线数、视场、显示表面上的偏转角度以及显示表面的维度等。另外,硬件配置还可包含:LF显示组件的多个显示面板、显示面板的相对定向、显示面板的高度、显示面板的宽度以及显示面板的布局。

类似地,LF表演网络550中的各种系统可以具有不同的几何定向。几何定向反映了LF显示系统中包含的各种模块和系统的物理尺寸、布局和布置。因此,解码器系统可被配置成对将呈现在LF显示系统上的用于几何配置中的LF显示系统的编码数据进行解码。例如,具有第一几何配置的LF显示系统(例如,LF显示系统500A)从具有第二几何配置的LF生成系统(例如,LF生成系统554)接收编码数据。解码系统访问描述LF显示系统500A的第一几何配置的信息。解码系统使用所访问的几何配置对编码数据进行解码,使得解码数据可由接收LF显示系统500A的LF处理引擎530处理。尽管记录在第二几何配置中,但LF处理引擎530生成并且呈现用于第一几何配置的光栅化内容。以类似方式,无论几何配置如何,由LF生成系统554记录的全息内容可由任何LF显示系统(例如,LF显示系统500B、LF显示系统500C)呈现。可包含在几何配置中的各种其它方面可包含:LF显示组件的多个显示面板(或表面)、显示面板的相对定向。

类似地,LF表演网络550中的各种场地可以具有不同的配置。场地配置反映了全息对象体的数量和/或定位、观看体的数量和/或定位、以及相对于LF显示系统的观看位置的数量和/或定位中的任一个。因此,解码器系统可被配置成对将呈现在LF显示系统中的用于场地中的LF显示系统的编码数据进行解码。例如,在第一场地中具有的LF显示系统(例如,LF显示系统500A)从记录在不同场地(或一些其它空间)中的LF生成系统(例如,LF生成系统554)接收编码数据。解码系统访问描述场地的信息。解码系统使用所访问的场地配置对编码数据进行解码,使得解码数据可由安装在场地中的LF处理引擎530处理。尽管记录在不同的位置,但LF处理引擎530仍为场地生成并且呈现内容。

网络系统556是被配置成管理LF表演网络550中的系统之间的全息内容传输的任何系统。例如,网络系统556可从LF显示系统500A接收对全息内容的请求,并且促进全息内容从LF生成系统554传输到LF显示系统500A。网络系统556还可存储用于传输到和/或由LF表演网络550中的其它LF显示系统500存储的全息内容、观看者简档、全息内容等。网络系统556还可包含可创建如先前所描述的全息内容的LF处理引擎530。

网络系统556可包含数字权限管理(DRM)模块以管理全息内容的数字权限。例如,LF生成系统554可将全息内容传输到网络系统556,并且DRM模块可使用数字加密格式对全息内容进行加密。在其它实例中,LF生成系统554将所记录光场数据编码为可由DRM模块管理的全息内容格式。网络系统556可将数字加密的密钥提供到LF显示系统,使得每个LF显示系统500可解密并且随后将全息内容显示给观看者。最一般地,网络系统556和/或LF生成系统554对全息内容进行编码,并且LF显示系统可对全息内容进行解码。

网络系统556可充当先前所记录和/或所创建的全息内容的存储库。每条全息内容可与交易费用相关联,所述交易费用在接收时使得网络系统556将全息内容传输到提供交易费用的LF显示系统500。例如,LF显示系统500A可经由网络552请求访问全息内容。所述请求包含全息内容的交易费用。作为响应,网络系统556将全息内容传输到LF显示系统以显示给观看者。在其它实例中,网络系统556还可充当存储在网络系统中的全息内容的订阅服务。在另一实例中,LF生成系统554实时地记录表演的光场数据并且生成表示所述表演的全息内容。LF显示系统500将对全息内容的请求传输到LF生成系统554。所述请求包含全息内容的交易费用。作为响应,LF生成系统554传输全息内容以用于在LF显示系统500上同时进行显示。网络系统556可充当交换交易费用和/或管理跨越网络552的全息内容数据流的介体。

网络552表示LF表演网络550中的系统之间的通信路径。在一个实施例中,网络是因特网,但也可以是任何网络,包含但不限于局域网(LAN)、城域网(MAN)、广域网(WAN)、移动、有线或无线网络、云端计算网络、专用网络或虚拟专用网络,和其任何组合。另外,可使用常规加密技术加密所有或一些链路,例如安全套接层(SSL)、加密的HTTP和/或虚拟专用网络(VPN)。在另一实施例中,代替或除了上文所描述的技术之外,实体可使用定制和/或专用数据通信技术。

实例场地

图6-8示出了可使用LF显示系统(例如,LF显示系统500)显示全息内容的若干实例场地。在场地中显示的表演的全息内容(“表演内容”)可以是此处所描述的任何全息内容。表演内容可以代替真实表演者的现场表演而展示。在场地内,任何数目的观看者位于任何数目的观看体内。LF显示系统被配置成在全息对象体(“表演体”)中显示表演内容,使得观看体中的观看者感知到表演内容。通常,场地中的LF显示系统包含围绕表演体的光场模块210的阵列,所述光场模块的阵列生成无缝的多边LF显示。因此,表演体可以是LF显示模块210的阵列的聚合全息对象体。

图6示出了根据一个或多个实施例的场地600的侧视图,所述场地是已经用LF显示系统增强的传统影院。在影院中,舞台602和舞台周围的壁604都排列有LF显示模块的阵列640,使得舞台上方的区域是LF显示系统的表演体610。为了清楚起见,表演体610(例如,全息对象体255)被示为有界的正方形,但所示表演体610仅是实际表演体的一部分。例如,表演体可以延伸到壁604或舞台602中。在图6中,LF显示系统是LF显示系统500的实施例。此外,阵列640中的LF显示模块是LF显示组件510的实施例。

此处,影院的房子是三层的,但可以包含任何数目的层。每层包含供观看者观看表演体610中的表演内容630的多个观看位置(例如,观看位置622A、622B)。如图所示,表演内容是真实图像632,但也可以是虚拟图像。每层中的观看位置622包含在LF显示系统的观看体(例如,620A、620B和620C)中。LF显示系统可以向每个观看体620中的观看者显示相同或不同的表演内容630。例如,如下文所描述,位于底层的观看体620A中的观看位置622A中的观看者可以看到与位于中间层的观看体620B中的观看位置622B中的观看者看到的内容不同的表演内容630。

在其它实施例中,影院可以不同的方式配置。例如,舞台可能有倾斜度,影院可能包含管弦乐队或站立的空间区域等。影院中的任何表面(例如,舞台拱门、天花板、背景、窗帘等)都可以包含在LF显示模块的阵列640中。此外,影院可以具有额外的层和观看体,并且这些层和观看体可以任何数目的配置进行布置。

作为背景实例,示出的场地600是旧金山的影院,其收费以展示著名表演者“N.J.”的现场表演内容。然而,值得注意的是,N.J.正在纽约市的一个场地进行表演。纽约市的场地包含LF生成系统554,用于经由网络(例如,网络552)将N.J.的表演作为表演内容630记录和传输到其它场地。旧金山的场地600包含LF显示系统500,所述LF显示系统被配置成在观看体620中的观看位置622处向观看者显示接收到的表演内容630。支付交易费用(例如,支付到网络系统556或LF生成系统554)以接收表演内容。在各种实例中,场地600的所有者、场地600的在场者、表演管理者或任何其它代理可支付费用。表演内容630允许旧金山的观看者感知N.J.,好像N.J.正在他们面前的表演体610中进行现场表演。这使旧金山的观看者无需前往纽约市即可观看现场表演。

在一些实施例中,场地600收取入场费以通过LF显示系统500观看N.J.的现场表演。每个观看位置622可具有不同的入场费,并且通常底部观看体620A的入场费比顶部观看体620C的入场费更贵。LF显示系统500可以基于观看体620的入场费向每个观看体620显示不同的表演内容630。例如,完全渲染N.J.在旧金山的表演可能比部分渲染N.J.的表演成本(例如,处理能力、能量等)更高。因此,LF处理引擎530可以仅将表演内容630的一部分显示到影院顶层的观看体620C,同时将所有的表演内容630播放到影院底层的观看体620A。例如,当仅显示表演内容630的一部分时,LF处理引擎530可以仅在表演体610的一部分而不是整个表演体610中显示表演内容630,LF处理引擎530可以去除表演内容630的各方面(例如,候补舞者、道具等),LF处理引擎530可以比底部观看体620A更低的分辨率为顶部观看体620C呈现表演内容630,等等。

替代地或另外地,LF处理引擎530可以基于观看体620的入场费来创建全息内容以增强表演内容630。例如,LF处理引擎530可以创建(或从网络系统556访问)广告以与表演内容630同时显示。广告可以基于由观看者概况分析系统590或跟踪系统580获得的信息。例如,LF处理引擎530可以访问包含观看者特性和对全息内容的响应的观看者简档。LF处理引擎530从与观看者的特性和响应相关联的数据存储装置522访问广告并且显示所述广告。当显示表演内容630时,场地可以从广告商收取用于显示广告的费用。在另一实例中,LF处理引擎530可以用赞助的全息内容(例如,植入式广告)而不是公开显示的广告来增强表演内容630。例如,LF处理引擎530可以用来自广告商的衣物替换N.J.在纽约市表演期间所穿的衣物。因此,在旧金山的影院中观看表演内容630的观看者会感知N.J.穿着来自广告商的衣服而不是他在纽约市穿的衣服。

图7A示出了根据一个或多个实施例的包含LF显示系统的另一场地700A的横截面,所述LF显示系统用于在观看体中的观看位置处向观看者显示表演内容。场地允许LF显示系统显示实时全息内容和/或记录的或一些其它额外的全息内容。全息内容可以包含表示音乐会、表演、节目、场景、事件等的内容。全息内容还可以包含歌手、乐队、演员、舞者、喜剧演员、表演者等。全息内容还可以包含任何背景、舞台、道具、一件衣物、戏服、乐器等的表示。此处所描述的所有场地都可以被配置成显示类似的全息内容。

此处,场地700A被设计和建造成显示表演内容730而不是增加已经存在的场地。如图所示,图7A是形状为圆柱形环的场地600的横截面,其中LF显示系统740覆盖环的内圆柱体的外表面。在图7A中,LF显示系统740是LF显示组件510的实施例。另外,LF显示系统740是LF显示系统500的实施例。

场地700A包含按层布置的多个观看位置。此处,每层位于半径大于内圆柱体半径的外圆柱体的内表面上。每层中的观看位置722在观看体(例如,720A、720B、720C、720D、720E和720F)内。此处,表演体(例如,710A、710B、710C、710D、710E和710F)位于外圆柱体的内壁与内圆柱体的外壁之间。表演体被定位成使得观看位置722中的观看者可以感知在表演体710中显示的表演内容730。同样,为了清楚起见,表演体710(例如,全息对象体255)被示为有界的正方形,但所示表演体710仅是实际表演体的一部分。例如,表演体可以延伸到场地700A的内圆柱体中。

在所示实例中,每个表演体710和观看体720的一部分在空间上重叠。虽然示出为部分重叠,但表演体和观看体可以在空间上完全重叠。如先前所描述,空间重叠是观看者可以与表演内容730交互的区域。此外,在空间重叠区域中与表演内容730交互的用户可以由感测反馈组件570监测到并且作为响应表演内容730可以改变。在某些情况下,对于区域中观看者可以与表演内容730进行交互的观看位置722,场地700可能会收取更高的入场费。

与被增强以具有LF显示模块的阵列的场地相比,被设计用于使用LF显示模块阵列显示表演内容的场地具有多个优势。例如,场地700A的不同观看体中的观看者观看不同的表演体(或表演体的不同子部分),而场地600的观看体620中的观看者观看相同的表演体。因此,场地700中的LF显示系统可以为每个观看体720生成更好的观看体验。例如,可以向场地700的观看体720A中的观看者提供与观看体720C中的观看者相同的表演内容730的视图。然而,在场地600中,观看体620C中的观看者比在观看体620A中的观看者更远地且往其下方观看表演内容730。以这种方式,场地700A中的每个观看者都可以拥有全场最好的座位。

此外,考虑LF显示参数,对于管理表演内容的渲染而言,显示到图7中的观看体710的表演内容730比显示到图6中的观看体620的表演内容630更容易。一些LF显示参数可以包含例如分辨率、视场、投影距离和观看子体。为了说明,例如图7的场地中的观看体720可被设计成使得其形状大致相等,并且与表演体710大致类似地间隔开。因此,由于每个观看体720相同,因此表演内容730到每个观看体720的渲染会减少。然而,在图6的场地中,每个观看体620是不同的并且需要为每个观看体620独立渲染表演内容630。

场地可以采用其它形状,使得光场显示模块阵列可以向观看体720内的观看位置中的观看者显示表演体中的表演内容。一些具有不同形状的实例场地可能包含圆顶、遮阳篷、隧道、球形影院等。

例如,图7B示出了根据一个或多个实施例的包含LF显示系统的另一场地700B的横截面,所述LF显示系统用于在观看体中的观看位置处向观看者显示表演内容。场地700B被设计和建造成显示表演内容730而不是增加已经存在的场地。如图所示,图7B是场地700B的横截面。在图7B中,LF显示系统740是LF显示组件510的实施例。另外,LF显示系统740是LF显示系统500的实施例。

在所示实例中,场地700B类似于呈圆形的影院,其中观看位置722环绕舞台。舞台702的地板覆盖有LF显示模块的阵列740,使得舞台上方的区域形成表演体(例如,表演体710G)。LF显示器710在表演体710G中呈现表演内容,使得场地700B中的观看者可以感知表演内容。在场地700B中,观看位置722以倾斜度定位,使得每个观看位置的视线允许从观看体(例如,观看体720G)无阻碍地观看表演内容730。此处,场地包含一个观看体720G,使得向所有观看者呈现相同的表演。在其它配置中,可能存在多于一个的观看体。

更一般地,LF显示系统可以具有基本上水平或近似水平的显示表面。在若干实例中,LF显示系统可以包含如下显示表面:(i)场地地板的至少一些部分,(ii)场地中舞台(例如,舞台702)的至少一些部分,和/或(iii)场地中升高的观看平台的至少一些部分。其它类型的水平表面也是可能的。对于这些配置,观看者可以相对于显示表面升高并且向下看以观看从显示表面投影的全息表演内容,并且观看者可以部分或完全围绕显示表面。光场显示表面还有许多其它配置,包含竖直安装的显示表面,其观看位置大致布置在LF显示表面的前面并且在本公开的其它地方进行了描述(图4C中所示的450A,图4D中所示的450B,以及图4E中所示的450C),以及弯曲的LF显示表面。

为了清楚起见,表演体710G被示为有界的正方形,但表演体710G可能仅是实际表演体710G的一部分。例如,表演体710G可以进一步朝向场地700B的顶部延伸。此外,表演体710G和观看体720G的一部分在空间上重叠。虽然示出为部分重叠,但表演体和观看体可以在空间上完全重叠。如先前所描述,空间重叠是观看者可以与表演内容730交互的区域。

场地也可以是一个小得多的位置。例如,图8示出了根据一个或多个实施例的在观看者的客厅802中也充当家庭影院的场地800。此处,家庭影院包含由一面墙上的LF显示模块的阵列组成的LF显示系统810。在图8中,LF显示系统810是LF显示系统500的实施例。

LF显示系统810可以被配置成使得表演体(例如,全息对象体255)和观看体在客厅802内完全重叠。也就是说,在客厅802内的任何观看位置(例如,观看位置822),观看者可以观看表演内容830并与之交互。虽然观看位置822被示为椅子,但是观看者可以穿过客厅并观看表演内容830。也就是说,观看位置822可以是观看者在客厅802中的位置。

在一些实施例中,LF显示系统810基于观看者与表演内容830的交互来创建(或修改)表演内容830。例如,观看者可以在表演内容830中用拳头撞击表演者。在这种情况下,在表演内容830中,观看者可能会说“太棒了,N.J.”,并且移动他的手,就像要用拳头撞击表演者。跟踪系统580对观看者进行监测并标识(例如,经由机器听觉、机器视觉、神经网络等)观看者希望在表演内容830中用拳头撞击表演者。内容生成系统530(例如,使用机器学习、神经网络或其一些组合)创建表演内容,所述表演内容表示表演者基于使用所监测的观看者信息来回挥拳头。跟踪系统580监测观看者的手的定位,当观看者拳头和表演者拳头在空间上重叠时,感测反馈组件570为观看者创建在表演内容中与表演者用拳头撞击的感觉。

在一些情况下,观看者可以与网络系统556交互以获取用于其客厅802的表演内容830。继续参考图5B描述的实例,观看者可以向网络系统556发送交易费用并且LF生成系统554向场地800发送N.J.在纽约市表演的全息内容。

在场地中向观看者显示表演内容

图9是用于在LF表演网络(例如,LF表演网络550)的上下文中的场地(例如,场地600)中向观看者显示表演内容的方法900的流程图。方法900可包含额外或更少步骤,并且所述步骤可以不同次序进行。此外,可在所述方法的执行期间将各种步骤或步骤组合重复任何次数。

首先,包含LF显示系统(例如,LF显示系统500)的场地经由网络(例如,网络552)将对表演内容(例如,表演内容630)的直播流(或先前记录的)的请求传输910到网络系统(例如,网络系统556)系统。所述请求包含足以向表演内容的版权所有者支付版税的交易费用。

LF生成系统(例如,LF生成系统554)记录现场表演的LF数据并且将对应表演内容传输到网络系统。网络系统将表演内容传输到LF显示系统,使得所述表演内容可以在LF生成系统正在记录的大致同一时间进行显示。

LF显示系统经由网络从网络系统接收920全息表演内容630。

LF显示系统确定930LF显示系统和/或表演空间的配置。例如,LF显示系统可以访问配置文件,所述配置文件包含描述LF显示器的HW配置的多个参数,包含分辨率、每度投影的光线、视场、显示表面上的偏转角,或LF显示表面的维度。配置文件还可以含有关于LF显示组件的几何定向的信息,包含LF显示面板的数量、相对定向、宽度、高度和LF显示面板的布局。此外,配置文件可以含有表演场地的配置参数,包含全息对象体、观看体以及观众相对于显示面板的位置。

为了通过实例来说明,LF显示系统500确定930用于显示表演内容的观看体(例如,观看体620A、620B和620C)。例如,LF显示系统500可以访问LF显示系统中描述场地的布局、几何配置和/或硬件配置的信息。为了说明,布局可以包含场地中的观看位置(例如,观看位置622)的位置、间隔和大小。因此,LF显示系统可以确定场地第一层中的观看位置在第一观看体中,场地第二层中的观看位置在第二观看体中,并且场地第三层中的观看位置在第三观看体中。在各种其它实施例中,LF显示系统可确定在场地内的任何位置处的观看体的任何数目和配置。

LF显示系统基于表演场地内的LF显示系统的硬件配置以及表演场地的特定布局和配置生成940用于在LF显示系统上呈现的全息内容(和其它感测内容)。确定用于显示的呈现内容可包含针对场地或观看体适当地渲染呈现内容。例如,LF显示系统可:(i)用广告增加用于显示到第三层中的观看体的表演内容,并且从表演内容去除现场表演的各方面,(ii)减小用于显示到场地第二层中的观看体的表演内容的保真度,并且(iii)完全渲染用于显示到场地第三层中的观看体的表演内容。

LF显示系统在场地中的表演体中呈现950表演内容,使得在每个观看体中的观看位置处的观看者感知到适当的表演内容。也就是说,顶部观看体的观看者感知带有广告的表演内容,中间观看体的观看者以较低分辨率感知表演内容,而底部观看体的观看者感知完全渲染的表演内容。

LF显示系统可在观看体中的观看者观看表演内容时在任何时间确定关于观看者的信息。例如,跟踪系统可监测观看体中的观看者的面部响应,并且观看者概况分析系统可访问关于观看体中的观看者的特性的信息。

LF显示系统可以基于所确定的信息来创建(或修改)用于同时显示的表演内容。例如,LF处理引擎基于所确定的关于观看者的信息创建灯光秀以供LF显示系统同时显示。

额外的配置信息

对本公开的实施例的前述描述出于说明的目的而呈现;这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解,根据以上公开,许多修改和变化是可能的。

此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为通过计算机程序或等效电路、微代码等来实施。此外,在不失一般性的情况下,将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。

可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中,用计算机程序产品来实施软件模块,所述计算机程序产品包括含有计算机程序代码的计算机可读介质,所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。

本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的,和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中,所述介质可以耦合到计算机系统总线。此外,在说明书中提及的任何计算系统可以包含单个处理器,或可以是采用多处理器设计以得到增加的计算能力的架构。

本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包括产生于计算过程的信息,其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。

最后,说明书中使用的语言主要是出于可读性和指导目的而选择的,并且可能未选择其来描绘或限制本发明的主题。因此,意图是本公开的范围不受此具体实施方式的限制,而是受基于其所附的申请的任何权利要求的限制。因此,实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。

65页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:具有梯度密封界面的过滤元件

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!