阅读说明：本技术 一种用于多屏幕的空间全息互动操控的方法及系统 (spatial holographic interactive control method and system for multiple screens ) 是由 林跃晋 于 2019-08-09 设计创作，主要内容包括：本发明实施例公开了一种用于多屏幕的空间全息互动操控的方法及系统,涉及数字可视化多媒体应用领域,能够将L型空间折幕和幻影成像装置结合使用。本发明包括：上位机加载视频数据,并将所述视频数据向空间折幕模块和幻影成像模块传输；所述空间折幕模块根据所述视频数据,在第一显示屏显示第一区域的图像,在第二显示屏显示第二区域的图像；所述幻影成像模块根据所述视频数据,在第三显示屏显示第三区域的图像,并将所述第三区域的图像投射在成像幕上；所述上位机接收体感控制器发送的体感控制信号；查询所述体感控制信号对应的视频数据,并向所述空间折幕模块和所述幻影成像模块传输。本发明适用于裸眼3D播放。(The embodiment of the invention discloses a method and a system for spatial holographic interactive control of multiple screens, relates to the field of digital visual multimedia application, and can combine an L-shaped spatial folding screen with a phantom imaging device for use. The invention comprises the following steps: the upper computer loads video data and transmits the video data to the space curtain folding module and the phantom imaging module; the space curtain folding module displays an image of a first area on a first display screen and displays an image of a second area on a second display screen according to the video data; the phantom imaging module displays an image of a third area on a third display screen according to the video data and projects the image of the third area on an imaging screen; the upper computer receives the somatosensory control signal sent by the somatosensory controller; and inquiring video data corresponding to the somatosensory control signal, and transmitting the video data to the space curtain folding module and the phantom imaging module. The method is suitable for naked eye 3D playing.)

一种用于多屏幕的空间全息互动操控的方法及系统

技术领域

本发明涉及数字可视化多媒体应用领域，尤其涉及一种用于多屏幕的空间全息互动操控的方法及系统。

背景技术

随着5G的快速普及，数据带宽将不再成为制约虚拟现实技术发展的瓶颈。目前在用户侧实现互动，主要通过VR(Virtual Reality，虚拟现实技术)、AR(Augmented Reality，增强现实)和裸眼3D技术。其中，VR技术发展的较为成熟，并形成了不少技术储备，但用户使用时需要通过穿戴式的VR设备实现浸入式全息虚拟互动，存在舒适性的问题，多人使用同一设备也存在一定程度的卫生问题。

AR技术在实现上较为方便，目前很多智能手机已经能够运营一些AR应用，但是由于用户的视界被限定在手机屏幕中，始终存在用户浸入场景的程度不足的问题，因此目前仅应用在少数几个业务场景中。

裸眼3D技术能够同时解决上述VR技术和AR技术的缺陷，但是也是技术完成度最低的方案，目前市场上已有的裸眼3D透视技术包括L型空间折幕，CAVE空间折幕，以及幻影成像等，互动领域主要是依靠红外感应，Kinect，Psmove、Wii等体感设备进行任务动作识别，达到与视频互动的效果，形式比较单一。

目前在裸眼3D的空间影院体系中，还无法有效的实现空间互动体验，主要原因是投放设备多数都涉及到融合程序以及特殊的播放软件，而目前互动由于感应空间的限制，多数也是以平面式的方式展现，二者无法形成很好融合。

发明内容

本发明的实施例提供一种用于多屏幕的空间全息互动操控的方法及系统，能够将L型空间折幕和幻影成像装置结合使用。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，提供一种用于多屏幕的空间全息互动操控的系统，包括：上位机、幻影成像模块、空间折幕模块和体感控制器；

所述幻影成像模块、所述空间折幕模块和所述体感控制器，分别通过各自的通信接口连接所述上位机；

所述空间折幕模块由第一显示屏和第二显示屏组成，所述第一显示屏和所述第二显示屏相互垂直安装，并形成L型空间折幕；

所述幻影成像模块由第三显示屏和成像幕组成，所述第三显示屏与所述空间折幕模块的其中一块显示屏相互垂直，并与另一块显示屏相互平行，所述第三显示屏安装在所述成像幕的投影面上。

具体的，所述第一显示屏为正面屏幕，安装在视界的正面；

所述第二显示屏为地面屏幕，安装在相对于视界方向的地面上；

所述成像幕倾斜安装在视界的正面，与所述第一显示屏形成预设角度，其中，所述成像幕、所述第一显示屏和所述第二显示屏所围成的截面为直角三角形。

所述第三显示屏安装在所述成像幕在竖直方向的投影面上。

所述体感控制器中用于采集人体动作的传感器朝向视界的正面。

另一方面，提供一种用于多屏幕的空间全息互动操控的方法，包括：

上位机加载视频数据，并将所述视频数据向空间折幕模块和幻影成像模块传输；

所述空间折幕模块根据所述视频数据，在第一显示屏显示第一区域的图像，在第二显示屏显示第二区域的图像；

所述幻影成像模块根据所述视频数据，在第三显示屏显示第三区域的图像，并将所述第三区域的图像投射在成像幕上；

所述上位机接收体感控制器发送的体感控制信号；

查询所述体感控制信号对应的视频数据，并向所述空间折幕模块和所述幻影成像模块传输。

还提供一种视频数据的制作和处理方法，包括：

获取背景视频图像，并将背景图像分割为正面区域和地面区域；

获取交互视频图像，并将所述背景图像的正面区域、所述背景图像的地面区域和所述交互视频图像合并至同一个视频数据中；

其中，将所述正面区域的图像作为所述第一区域的图像，将所述地面区域的图像作为所述第二区域的图像，将交互视频图像作为所述第三区域的图像，并且所述第一区域的图像、所述第二区域的图像和所述第三区域的图像使用相同的时间轴。

本实施例中的方案，将L型空间折幕和幻影成像装置合二为一，利用LeapMotion空间雷达感应装置实现触控效果，实现了多屏联动播放和空间协同展示。通过将平面触控体验与裸眼3D空间展示系统有效结合，提供了一种新颖的空间展示手法。提高了观赏性以及空间互动性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的系统架构示意图；

图2为本发明实施例提供的设计外观示意图；

图3、图4为本发明实施例提供的具体实例的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例提供一种用于多屏幕的空间全息互动操控的系统，如图1所示，包括：上位机、幻影成像模块、空间折幕模块和体感控制器。

所述幻影成像模块、所述空间折幕模块和所述体感控制器，分别通过各自的通信接口连接所述上位机。

如图2所示的，所述空间折幕模块由第一显示屏和第二显示屏组成。所述第一显示屏和所述第二显示屏相互垂直安装，并形成L型空间折幕。

所述幻影成像模块由第三显示屏和成像幕组成，所述第三显示屏与所述空间折幕模块的其中一块显示屏相互垂直，并与另一块显示屏相互平行，所述第三显示屏安装在所述成像幕的投影面上。

幻影成像模块可以采用目前的虚拟成像技术，即基于“实景造型”和“幻影”的光学成像结合，将所拍摄的影像(人、物)投射到布景箱中的主体模型景观中，演示故事的发展过程。绘声绘色，虚幻莫测，非常直观，给人留下较深的印象。由立体模型场景、造型灯光系统、光学成像系统(应用幻影成像膜作为成像介质)、影视播放系统、计算机多媒体系统、音响系统及控制系统组成，可以实现大的场景、复杂的生产流水线、大型产品等的逼真展示。幻影成像系统的主体模型场景，为光学成像创造环境空间。造型灯光系统根据场景造型的要求和剧情的需要，在可编程控制器的控制下，光学成像系统与影视播放系统完成活动三维立体视频在场景造型上的再现。

其中，成像幕可以采用反射全息膜，利用物理反射，折射形成空间全息效果。

其中，如图3所示的，所述第一显示屏、所述第二显示屏和所述第三显示屏形成U型。所述第一显示屏为正面屏幕，安装在视界的正面。所述第二显示屏为地面屏幕，安装在相对于视界方向的地面上。具体的，第一显示屏、第二显示屏和第三显示屏可以采用LED(Light Emitting Diode,发光二极管)屏幕或者OLED((Organic Light-Emitting Diode,有机发光二极管))屏幕，从观众的视角看，即设置了一块天花板屏幕，一个正面屏幕和一块地面屏幕。正面屏幕与地面屏幕无缝衔接，形成L型空间折幕。

所述成像幕倾斜安装在视界的正面，与所述第一显示屏形成预设角度，其中，所述成像幕、所述第一显示屏和所述第二显示屏所围成的截面为直角三角形。所述第三显示屏安装在所述成像幕在竖直方向的投影面上。

如图4所示的，所述体感控制器中用于采集人体动作的传感器朝向视界的正面。体感控制器具体可以采用Leap Motion空间触控造型装置。

上位机可以理解为计算机或者智能手机等具备视频处理、解码功能的智能终端。

本实施例中的方案，将L型空间折幕和幻影成像装置合二为一，利用LeapMotion空间雷达感应装置实现触控效果，实现了多屏联动播放和空间协同展示。通过将平面触控体验与裸眼3D空间展示系统有效结合，提供了一种新颖的空间展示手法。提高了观赏性以及空间互动性。

本发明实施例还提供一种用于多屏幕的空间全息互动操控的方法，包括：

S101，上位机加载视频数据，并将所述视频数据向空间折幕模块和幻影成像模块传输。

S102，所述空间折幕模块根据所述视频数据，在第一显示屏显示第一区域的图像，在第二显示屏显示第二区域的图像。

S103，所述幻影成像模块根据所述视频数据，在第三显示屏显示第三区域的图像，并将所述第三区域的图像投射在成像幕上。

S104，所述上位机接收体感控制器发送的体感控制信号。

S105，查询所述体感控制信号对应的视频数据，并向所述空间折幕模块和所述幻影成像模块传输。

具体的，还包括一种视频数据的制作处理方法：

获取背景视频图像，并将背景图像分割为正面区域和地面区域。

获取交互视频图像，并将所述背景图像的正面区域、所述背景图像的地面区域和所述交互视频图像合并至同一个视频数据中。

其中，将所述正面区域的图像作为所述第一区域的图像，将所述地面区域的图像作为所述第二区域的图像，将交互视频图像作为所述第三区域的图像，并且所述第一区域的图像、所述第二区域的图像和所述第三区域的图像使用相同的时间轴。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。