阅读说明：本技术 一种实时动态4D mapping投影融合系统 (Real-time dynamic 4D mapping projection fusion system ) 是由 曾子光 吴云武 慈正宇 曾晓翔 王冬雷 于 2020-04-30 设计创作，主要内容包括：本发明具体是一种实时动态4D mapping投影融合系统；其特征是：投影机组由多台投影机组成,用于显示融合服务器渲染的内容；服务器采用搭载独立显卡windows系统的pc主机,用于播放影片和运行互动程序,将渲染的图像传输到投影机组,控制同步播放和屏幕抓取；调试主机通过局域网或者外网连接到融合服务器,用于调整各投影机所显示的内容；机械控制装置接收投影视频画面播放发送的串口信息,对视频画面特定区域的投影载体翻转移动变化。本系统用投影融合及机械控制技术,将投影虚拟画面映射到投影载体上。配合音乐与声音特效,对投影载体配合动画视觉节奏效果移动、翻转变化,产生强烈的沉浸式4D mapping视觉冲击力。(The invention particularly relates to a real-time dynamic 4D mapping projection fusion system; the method is characterized in that: the projector unit consists of a plurality of projectors and is used for displaying the content rendered by the fusion server; the server adopts a pc host carrying an independent display card windows system and is used for playing a film and running an interactive program, transmitting a rendered image to the projector set and controlling synchronous playing and screen capture; the debugging host is connected to the fusion server through a local area network or an external network and is used for adjusting the content displayed by each projector; the mechanical control device receives serial port information sent by the playing of the projection video picture and changes the turning movement of the projection carrier in the specific area of the video picture. The system uses projection fusion and mechanical control technology to map the projection virtual picture onto a projection carrier. The special effects of music and sound are matched, the moving and turning changes of the projection carrier are matched with the animation visual rhythm effect, and strong immersive 4D mapping visual impact force is generated.)

一种实时动态4D mapping投影融合系统

技术领域

本发明涉及大型展览设备领域，具体是一种实时动态4D mapping投影融合系统。

背景技术

当前，用于展览会上大屏幕的融合系统存在一些明显缺陷：

(1)由于投影机的投影画面偏差与物理模型位置错位，很难完美契合在一起，需要设计师反复修改投影画面内容。

(2)常规投影只能支持2D、3Dmaping投影效果；

(3)cpu计算支持分辨率有限,难以保证超大分辨率立体呈现效果。

发明内容

本发明的目的在于克服上述缺陷，提出一种采用投影融合以及机械控制技术，将一组投影机投射出的画面进行图形处理，将投影虚拟画面完美映射到投影载体上。

为了达到上述目的，本发明是这样实现的：

一种实时动态4D mapping投影融合系统，包括投影机组、服务器、调试主机和机械控制装置，所述投影机组由多台投影机组成，用于显示融合服务器渲染的内容，影片，和互动程序；所述服务器采用搭载独立显卡windows系统的pc主机，用于播放影片和运行互动程序，将渲染的图像传输到投影机组，控制同步播放和屏幕抓取；调试主机通过局域网或者外网连接到融合服务器，用于调整各投影机所显示的内容；包括几何矫正，颜色融合的工作；所述机械控制装置接收投影视频画面播放发送的串口信息，对视频画面特定区域的投影载体翻转移动变化。

所述实时动态4D mapping投影融合系统，投影融合系统的投影方法包括：

步骤1、采用线性和曲面两种变形算法，逐点、行、列、四角进行校正；

步骤1.1、将图像四个角进行仿射变化，将投影画面梯形矫正成方正矩形，步骤1.2、通过对图像控制点进行细分M*N控制点,每个网格又是通过X*Y 三角形组成，通过移动控制点同步计算出附近的顶点插值计算出顶点坐标映射到纹理坐标，需要自由曲面变化则通过三次样条插值算法获得；

步骤2、投影机亮度融合：将不同亮度、不同色彩的投影机校正至一个水平，每台投影机可以自定义设立融合带的宽度和数量，采用shader计算的亮度曲线保证融合带的干净消隐；

步骤3、时间线点阵编辑；通过时间线编辑文字图片影片由网络或者串口通信方式，实时显示在机械点阵装上。

步骤4、通过逐像素处理算法将时间线编辑的文字，图片，视频在预设的时间点对点地显示在点阵显示模块上，还可以编辑单个点的颜色；可在时间线模块添加通信点，在指定时间向设置好的通信端口发送设置好的信息，控制视频播放画面对应区域位置的投影载体机械移动翻转。

本投影融合系统具有以下优点：

1：集成投影融合、虚拟现实、实时渲染、硬件智能控制于本系统，带给直观实时简易的操作界面；

2：多投影机画面拼接融合采用GPU硬件加速计算，保证多投影机高分辨率的立体画面呈现效果；

3：支持图像几何校正，可以实时动态调节投影曲面，保证完美契合在物理模型上

4 内置时间线点阵编辑功能，可以实时编辑设置控制影片每个画面对应区域坐标信息，通过网络通信协议控制对应的区域投影载体模型移动翻转；

5 对投影载体模型机械化翻转移动控制，在3D maping上添加时间维度，投影载体投影载体配合动画视觉节奏效果移动、翻转变化,产生强烈的沉浸式4D mapping。

附图说明

图1为本投影融合系统的硬件布局示意图。

具体实施方式

以下通过具体实施例进一步说明本发明。

如图1所示，一种实时动态4D mapping投影融合系统，包括投影机组、服务器、调试主机和机械控制装置，所述投影机组由多台投影机组成，用于显示融合服务器渲染的内容，影片，和互动程序；所述服务器采用搭载独立显卡windows系统的pc主机，用于播放影片和运行互动程序，将渲染的图像传输到投影机组，控制同步播放和屏幕抓取；调试主机通过局域网或者外网连接到融合服务器，用于调整各投影机所显示的内容；包括几何矫正，颜色融合的工作；所述机械控制装置接收投影视频画面播放发送的串口信息，对视频画面特定区域的投影载体翻转移动变化。

所述实时动态4D mapping投影融合系统，投影融合系统的投影方法包括：

步骤1、采用线性和曲面两种变形算法，逐点、行、列、四角进行校正；

步骤1.1、将图像四个角进行仿射变化，将投影画面梯形矫正成方正矩形，步骤1.2、通过对图像控制点进行细分M*N控制点,每个网格又是通过X*Y 三角形组成，通过移动控制点同步计算出附近的顶点插值计算出顶点坐标映射到纹理坐标，需要自由曲面变化则通过三次样条插值算法获得；

步骤2、投影机亮度融合：将不同亮度、不同色彩的投影机校正至一个水平，每台投影机可以自定义设立融合带的宽度和数量，采用shader计算的亮度曲线保证融合带的干净消隐；

步骤3、时间线点阵编辑；通过时间线编辑文字图片影片由网络或者串口通信方式，实时显示在机械点阵装上。

步骤4、通过逐像素处理算法将时间线编辑的文字，图片，视频在预设的时间点对点地显示在点阵显示模块上，还可以编辑单个点的颜色；可在时间线模块添加通信点，在指定时间向设置好的通信端口发送设置好的信息，控制视频播放画面对应区域位置的投影载体机械移动翻转。

本投影融合系统具有以下优点：

1：集成投影融合、虚拟现实、实时渲染、硬件智能控制于本系统，带给直观实时简易的操作界面；

2：多投影机画面拼接融合采用GPU硬件加速计算，保证多投影机高分辨率的立体画面呈现效果；

3：支持图像几何校正，可以实时动态调节投影曲面，保证完美契合在物理模型上

4 内置时间线点阵编辑功能，可以实时编辑设置控制影片每个画面对应区域坐标信息，通过网络通信协议控制对应的区域投影载体模型移动翻转；

5 对投影载体模型机械化翻转移动控制，在3D maping上添加时间维度，投影载体投影载体配合动画视觉节奏效果移动、翻转变化,产生强烈的沉浸式4D mapping。