具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，本发明实施例提供的一种用于剧本杀环境的沉浸式投影方法的流程示意图。在该实施例中，用于剧本杀环境的沉浸式投影方法的流程示意图包括七个步骤，每个步骤的具体内容如下所示。

步骤S1：投影模块将结构光图像信息投影至真实环境中。在该实施例中，结构光图像存储在处理模块中，由处理模块完成针对结构图案参数的配置和控制投影模块投射结构光图案；结构光图像由处理模块通过图像接口传输至所述投影模块的。

步骤S2：图像采集模块采集经过步骤S1投射有结构光图像信息的真实环境图像，并将所述图像传输至处理模块。图像采集模块包括图像传感器，由处理器模块完成图像传感器的配置和控制图像采集的时机。在本实施例中，图像传感器具体可以为摄像机、或者其他可以获取RGB图像信息的任意设备。根据投影模块和图像采集模块，通过采集图像的数据，经过处理模块自动计算投影模块和图像采集设备的相对位置关系，用于最终投射画面和真实场景的虚实匹配。

步骤S3：处理模块获取若干幅投射有结构光图像信息的真实环境图像，采用三维重建算法重建出三维模型信息，并将所述三维模型信息传输至渲染模块。

步骤S4：人物动作感知模块实时采集人物的三维点云数据和图像数据，并将所述三维点云数据和图像数据传输至处理模块。在本实施例中，人物动作感知模块用于采集人物的点云和RGB图像设备。具体地，人物动作感知模块可以是3D相机，雷达或者TOF设备中的任意一种。

在该实施例中，S4步骤与S1至S3步骤并无逻辑上的关联，此处不限定步骤执行的先后顺序，可以同步执行，也可以不分顺序地先后执行。

步骤S5：处理模块基于所述三维点云数据和图像数据，判断所述人物的动作类型或/和所述人物的位置信息，并将所述人物的动作类型或/和所述人物的位置信息转换成纹理数据，将所述纹理数据传输至渲染模块。

在本实施例中，处理模块包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行任一项用于剧本杀环境的沉浸式投影方法。

步骤S6：渲染模块根据所述三维模型信息和所述纹理数据，采用UV贴图方式，将所述纹理数据投射至所述三维模型上；再通过渲染模块中的虚拟相机渲染出最终图像，将所述最终图像传输至投影模块。其中，渲染模块包含一个运行于处理模块上的渲染引擎。

为了防止步骤S7中出现投影模块的投影画面和真实场景的三维物体的面不匹配的情况，优选地，在该步骤中，处理模块采用标定校准方式计算出所述的投影参数，并将所述投影参数传输至投影模块。

步骤S7：投影模块采用投影方式将所述最终图像投影至真实环境中。优选地，投影模块结合所述投影参数采用投影方式将所述最终图像投影至真实环境中。

本发明实施例提供的用于剧本杀环境的沉浸式投影方法通过投影模块投射结构光图像到真实场景、图像采集模块采集投射有结构光图像的真实场景并传输至处理模块、处理模块通过图像重建真实场景的三维模型并传输给渲染模块、渲染模块将需要展现的纹理数据通过uv贴图的方式映射到三维模型上，渲染结果通过图形显卡的方式传输给投影模块，投影模块将结果投射到真实的场景中。进一步地，人物动作感知模块同时采集人物的点云数据和深度图数据，传输给处理模块，处理模块判断识别人物的动作类型，根据动作类型的不同切换不同的纹理映射到三维模型，并最终展示到真实场景中。

如图2所示，本发明实施例提供的一种用于剧本杀环境的沉浸式投影系统的模块示意图。

在该实施例中，用于剧本杀环境的沉浸式投影系统100包括：用于将结构光图像信息投影至真实环境中的投影模块10；与投影模块10连接且用于采集投影模块10的输出图像、并将所述图像传输至处理模块30的图像采集模块20；与处理模块30连接的人物动作感知模块40，人物动作感知模块40用于实时采集人物的三维点云数据和图像数据并将所述三维点云数据和图像数据传输至处理模块30；处理模块30用于根据图像采集模块20所获得的图像构建三维模型信息，用于基于三维点云数据和图像数据、判断所述人物的动作类型或/和所述人物的位置信息，并将所述人物的动作类型或/和所述人物的位置信息转换成渲染模块50可用的纹理数据；与处理模块30连接的渲染模块50，渲染模块50用于根据处理模块30输出的三维模型信息和所述纹理数据，采用UV贴图方式，将所述纹理数据投射至所述三维模型上；再通过渲染模块中的虚拟相机渲染出最终图像；渲染模块50与投影模块10连接，投影模块10采用投影方式将所述最终图像投影至真实环境中。

在该实施例中，图像采集模块20与处理模块30通过通讯接口连接，人物动作感知模块40与处理模块30通过通讯接口连接，处理模块30与渲染模块50通过内存交互连接，渲染模块50与投影模块10通过图像接口连接。

在该实施例中，人物动作感知模块40为三维相机、雷达或TOF设备任意一种。人物动作感知模块40感知人物的位置信息，根据位置的不同，控制不同的纹理映射到三维模型，并最终展示到真实场景中。

在该实施例中，投影模块10包括多台摄影设备，所述多台摄影设备分别布置于真实环境中的中间位置和东、南、西、北的四个方位。所述多台摄影设备至少包括5台摄影设备。优选地，投影模块10包括位于真实环境中的顶部的投影支架组件，所述多台摄影设备设置于所述投影支架组件上。

本发明实施例提供的用于剧本杀环境的沉浸式投影方法及系统可以完成针对真实场景的三维投影、营造出炫丽的仿真场景，同时人物可以和场景互动，实现沉浸式的剧本杀体验；并且相比现有技术真实搭建场景，有效地降低成本。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。