阅读说明：本技术 演播室中模拟摄像机运动跟踪的视频处理方法及装置 (Video processing method and device for simulating motion tracking of camera in studio ) 是由 林献民 盛劲 黄向农 于 2019-08-19 设计创作，主要内容包括：本发明公开了一种演播室中模拟摄像机运动跟踪的视频处理方法及装置,涉及视频信号处理技术领域。其方法技术要点包括获取拍摄的实拍高分辨率视频画面,获取平摇、俯仰和镜头变焦的运动参数；在实拍高分辨率视频画面上依据平摇、俯仰和镜头变焦的运动参数,产生模拟摄像机运动的动态视频结果画面；在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数,产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数,产生模拟摄像机运动的增强现实物件结果画面；将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面,本发明具有实现成本低且实现方式简易的优点。(The invention discloses a video processing method and a video processing device for simulating motion tracking of a camera in a studio, and relates to the technical field of video signal processing. The method is characterized by comprising the steps of obtaining a shot high-resolution video picture, and obtaining motion parameters of panning, tilting and lens zooming; generating a dynamic video result picture simulating the motion of the camera on the real-shot high-resolution video picture according to the motion parameters of pan, tilt and lens zooming; generating a virtual scene result picture simulating the motion of the camera on the virtual scene model according to the motion parameters of panning, tilting and lens zooming; or generating an augmented reality object result picture simulating the motion of the camera on the augmented object model according to the motion parameters of pan, tilt and lens zooming; and synthesizing the dynamic video result picture and the virtual scene result picture or the augmented reality object result picture in a key mixer and outputting a final synthesized result picture.)

演播室中模拟摄像机运动跟踪的视频处理方法及装置

技术领域

本发明涉及视频信号处理技术领域，更具体地说，它涉及一种演播室中模拟摄像机运动跟踪的视频处理方法及装置。

背景技术

虚拟演播室中要用到色键抠像技术，通过将前景（通常是主持人）置于特定颜色的背景板前，再将拍摄到画面中特定颜色的背景部分抠掉，用渲染的虚拟背景替换特定颜色的背景来构成输出的合成画面。增强现实演播室利用键混技术将增强的物件叠加到被拍摄画面中。这都要求在虚拟演播室与增强现实演播室的实际应用中，当摄像机作平摇、俯仰和镜头变焦运动时，必须使渲染的虚拟背景或增强物件与拍摄画面保持绝对同步，这样最终的合成输出画面才是完美的，否则将会出现输出画面中实拍部分与渲染部分运动或缩放不一致的“穿帮”现象，可以说：保持实拍部分与渲染部分运动或缩放的同步一致是虚拟演播室与增强现实演播室的基本要求。目前的虚拟演播室与增强现实演播室为实现这一要求的处理方法有两种:

方法一在虚拟特定背景色板上绘制有特征识别图案, 当摄像机运动时，对摄像机拍摄到的特征识别图案进行识别计算,通过识别计算得出摄像机的平摇、俯仰和变焦运动状态数据，根据运动状态数据对渲染的虚拟背景或增强物件进行相应的计算，从而实现虚拟背景或增强物件与拍摄画面的同步一致。

方法二在摄像机云台上加装机械传感器，获取云台水平、俯仰移动和镜头缩放等传感数据，渲染机实时获得传感数据，根据传感数据获得摄像机位的水平俯仰运动角度变化和镜头缩放变化，从而对实时渲染虚拟背景或增强物件进行相应运算实现与摄像机运动拍摄画面的同步。

方法一的缺陷在于需要特定背景色板并绘制有特定识别特征的图案，场地的准备过程比较复杂，同时对摄像机对图像的识别精确度要求很高，当摄像机拍摄画面模糊会导致跟踪的精度变差，还有就是此方法只能用于特定背景色板的虚拟演播室，在实景拍摄的增强现实演播室里无法使用。方法二的缺陷在于摄像机水平俯仰缩放各个运动部位都必须加装相应的传感器，造价不菲，精度受限于机械加工及传感器的精度，跟踪误差难控制，拍摄画面难以与渲染场景及增强物件完全一致，而且必须有专人操作摄像机的运动。

发明内容

针对现有的技术问题，本发明的第一目的在于提供一种演播室中模拟摄像机运动跟踪的视频处理方法，其具有实现成本低且实现方式简易的优点。

为实现上述目的，本发明提供了如下技术方案：一种演播室中模拟摄像机运动跟踪的视频处理方法，包括：

获取拍摄的实拍视频画面，获取平摇、俯仰和镜头变焦的运动参数；

在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；

在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；

将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面。

通过采用上述技术方案，使得在虚拟演播室和增强现实演播室系统使用时，摄像机的平摇、俯仰、镜头参数与三维虚拟场景或增强现实物件的运动参数来源一致，彻底杜绝实拍画面与三维虚拟场景或增强现实物件不同步的“穿帮”现象。不需要为摄像机安装跟踪传感器，不需要在特定颜色背景板中绘制特征图案，不需要专人进行摄像机运动操控，仅需要使用高分辨率摄像机进行拍摄，其他所有的运动跟踪效果全依靠本方法解决，实现成本低且实现方式简易。

本发明进一步设置为：动态视频结果画面和虚拟场景结果画面在键混器中合成的方法包括：

键混器获取动态视频画面Y1的Alpha键；键混器基于公式Y= Y2 * (1-α) + Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；

动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；

虚拟场景结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和虚拟场景模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。

本发明进一步设置为：动态视频结果画面和增强现实物件结果画面在键混器中合成的方法包括：

键混器获得增强现实物件结果画面Y2的Alpha键，键混器基于公式Y3= Y2 * (1-α) +Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；Y2为增强现实物件结果画面；

动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；

增强现实物件结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和增强物件模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。

本发明进一步设置为：所述动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面分别基于计算实拍视频画面、虚拟场景模型和增强物件模型的顶点坐标获得。

本发明进一步设置为：所述计算动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面的顶点坐标公式为：V_clip=M_projection· (R_θ·R_φ)^-1·V_world；

V_world为实拍视频画面、虚拟场景模型或增强物件模型顶点在世界坐标系的矢量坐标，R_φ为模拟摄像机平摇旋转矩阵，R_θ为模拟摄像机俯仰旋转矩阵，M_projection为摄像机透视投影矩阵；

上述X为顶点在世界坐标系的X轴的数值；Y为顶点在世界坐标系的Y轴的数值；Z为顶点在世界坐标系的Z轴的数值；φ同参数P为模拟摄像机平摇旋转角度值；θ同参数T为模拟摄像机俯仰旋转角度值；中aspect为画面宽高比常数；f为远剪裁平面到摄像机距离常数；n为近剪裁平面到摄像机距离常数；zoom同参数Z为模拟摄像机变焦系数。

本发明进一步设置为：获取实拍视频画面在世界坐标轴中顶点坐标方法：

在世界坐标系的原点处设置摄像机；

在Z轴距原点的单位距离处，以Z轴为中心在XY平面上***实拍视频画面；

获得实拍视频画面的Y轴张角作为视场角，并基于视场角获得视频画面的四个顶点坐标。

本发明进一步设置为：拍摄视频画面的现场角基于变焦系数Z增大或缩小。

本发明进一步设置为：高分辨率的视频画面的像素为3840x2160或以上。

本发明的第二目的在于提供一种虚拟演播室及增强现实演播室模拟摄像机运动跟踪的系统，其具有实现成本低且实现方式简易的优点。

为实现上述目的，本发明提供了如下技术方案：一种虚拟演播室及增强现实演播室模拟摄像机运动跟踪的装置，所述装置包括处理器和存储器；

所述存储器用于存储支持所述装置执行第一目的所述的方法的程序，以及

存储用于实现第一目的所述的方法所涉及的数据；

所述处理器被配置为用于执行所述存储器中存储的程序。

与现有技术相比，本发明的有益效果是：

1.只需一台高分辨率摄像机，无需增加额外跟踪设备；

2.通过调整平摇、俯仰及变焦参数，模拟摄像机运动动态过程，无需专人操控摄像机；

3.处理后的实拍画面与渲染画面像素级精准贴合，从而达到完美的虚拟演播室及增强现实演播室的摄像机运动跟踪效果。

附图说明

图1为实施例一的流程示意图；

图2为实施例一的步骤1中高分辨率的视频画面获取示意图；

图3为实施例一的步骤2中指定分辨率的动态视频结果画面获取示意图；

图4为实施例一中步骤2中视频画面***世界坐标系的示意图；

图5为实施例一中步骤3中渲染场景结果画面产生的示意图；

图6为实施例一中步骤4中键混合的示意图；

图7为实施例二的流程示意图；

图8为实施例二的步骤1中高分辨率的视频画面获取示意图；

图9为实施例二的步骤2中指定分辨率的动态视频结果画面获取示意图；

图10为实施例二中步骤3中渲染场景结果画面产生的示意图；

图11为实施例二中步骤4中键混合的示意图；

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

目前电视台的电视画面输出最大分辨率为FHD的1920x1080像素，而目前的超高清摄像机能够拍摄UHD的3840x2160像素视频画面；因此现有的超高清摄像机拍摄UHD的3840x2160像素视频画面，在作为电视画面输出时，最多可以放大四倍后输出也不失真。因此在摄像机拍摄视频画面的清晰度高于电视台播放的清晰度的情况下。将FHD摄像机拍摄的视频信号作为全景。程序根据预设的或操作者实时输入的平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）参数通过实时运算，模拟超高清摄像机运动的动态视频输出。保证原视频中截取的画幅不小于指定分辨率，生成模拟摄像机运动的动态视频清晰度不会损失。

实施例一，一种虚拟演播室模拟摄像机运动跟踪的方法，如图1所示，包括：

步骤1：获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；

如图2所示，虚拟演播室内布置超高清摄像机，拍摄3840x2160像素的实拍视频画面。摄像机实拍的超高清视频信号输入系统内的视频处理模块。值得一提的是，本发明拍摄的画幅不局限于3840x2160像素，也可应用于更高或更低像素的情况。

平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）的运动参数获取方式可以为程序预设或操作者实时输入。

步骤2：在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；

具体的，如图3所示，动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；其函数为Y1 =f（X1，P1，T1，Z1）；其中Y1为动态视频结果画面，X1为实拍视频画面，P1为平摇角度值，T1为俯仰角度值，Z1为变焦系数；而动态视频结果画面Y1的顶点坐标基于计算实拍视频画面X1顶点的世界坐标后获得。

具体的，如图4所示，在世界坐标系的原点处设置摄像机作为观察点位置；获取实拍视频画面在世界坐标轴中顶点坐标方法，在Z轴距原点的一个单位距离处，以Z轴为中心在XY平面上***视频画面；通过摄像机标定获得拍摄视频画面的Y轴的张角作为视场角（FOV），并基于视场角（FOV）获得视频画面的矩形四个顶点坐标。可以得到实拍视频画面矩形在世界坐标系中的四个顶点矢量坐标V_world为：

其中half_W=aspect·tan

；half_H=tan

。aspect为画面宽高比常数。

将实拍视频画面矩形在世界坐标系中的四个顶点矢量坐标V0、V1、V2、V3带入到计算公式：

V_clip=M_projection· (R_θ·R_φ)^-1·V_world；

V_world为模型顶点在世界坐标系的矢量坐标，R_φ为模拟摄像机平摇旋转矩阵，R_θ为模拟摄像机俯仰旋转矩阵，M_projection为摄像机透视投影矩阵；V_clip为运动后模型顶点在世界坐标系的矢量坐标。

X为顶点矢量坐标在世界坐标系的X轴的数值；Y为顶点矢量坐标在世界坐标系的Y轴的数值；Z为顶点矢量坐标在世界坐标系的Z轴的数值；φ同参数P为模拟摄像机平摇旋转角度值；θ同参数T为模拟摄像机俯仰旋转角度值；中aspect为画面宽高比常数；f为远剪裁平面到摄像机距离常数；n为近剪裁平面到摄像机距离常数；zoom同参数Z为模拟摄像机变焦系数。

其中通过矩阵R_φ计算，能够获得实拍视频画面矩形在世界坐标系平摇旋转后的矢量坐标V_world；通过矩阵 R_θ计算，能够获得实拍视频画面矩形在世界坐标系俯仰旋转后的矢量坐标V_world；通过矩阵M_projection计算，能够基于变焦系数Z增大或缩小摄像机的现场角（FOV）来缩放实拍视频画面矩形的大小，再将摄像机的现场角透视投影到在Z轴距原点的一个单位距离处XY平面上的矢量坐标V_world，即运动后模型顶点在世界坐标系的矢量坐标V_clip。

最后基于四个实拍视频画面顶点运动后模型顶点在世界坐标系的矢量坐标V_clip。产生指定分辨率1920x1080像素的动态视频结果画面。

步骤3，在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；

具体的，如图5所示，虚拟场景结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和虚拟场景模型X2相关的函数。函数具体为Y2 =f(X2,P2,T2,Z2)；其中Y2为虚拟场景结果画面，X2为被渲染的三维场景模型，P2为平摇角度值，T2为俯仰角度值，Z2为变焦系数。

而虚拟场景结果画面Y2基于计算虚拟场景模型X2顶点世界坐标后获得。而三维场景模型的顶点坐标可以直接从对应的三维场景数据库中获取V_local。V_local称为模型顶点在本地坐标系的矢量坐标。

而将三维场景模型放入到世界坐标系后，通过公式：

V_world=M_model·V_local；

M_model为三维场景模型在世界坐标系中的矩阵，根据三维场景模型放入世界坐标系的位置而改变。V_world为三维场景模型顶点在世界坐标系的矢量坐标。M_model矩阵包含平移矩阵、缩放矩阵和XYZ三轴的旋转矩阵，由用户在三维软件中设置调节。

将三维场景模型顶点在世界坐标系的矢量坐标带入公式：

V_clip=M_projection· (R_θ·R_φ)^-1·V_world；

上述相同的R_φ为模拟摄像机平摇旋转矩阵，R_θ为模拟摄像机俯仰旋转矩阵，M_projection为摄像机透视投影矩阵；V_clip为运动后模型顶点在世界坐标系的矢量坐标。其中R_φ、R_θ、M_projection和步骤二R_φ、R_θ、M_projection内为同一矩阵。且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。从而杜绝动态视频结果画面与虚拟场景结果画面不同步的“穿帮”现象。

最后基于三维场景模型运动后的顶点在世界坐标系的矢量坐标V_clip产生虚拟场景结果画面。

步骤4，将动态视频结果画面和虚拟场景结果画面在键混器中合成并输出最终合成结果画面。

如图6所示，键混器获得Y1的Alpha键，最终合成结果画面Y3= Y2 * (1-α) + Y1 *α；其中Y3为最终合成结果画面，α为Alpha键，Y1为指定分辨率动态视频画面，Y2为虚拟场景结果画面。

值得一提的，上述步骤2和步骤3也可以不考虑执行的先后顺序，在系统内同时运行。

实施例二，一种增强现实演播室模拟摄像机运动跟踪的方法，如图7所示，包括：

步骤1，获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；

如图8所示，演播室内布置超高清摄像机，拍摄3840x2160像素画面。摄像机实拍的超高清视频信号输入处理系统。值得一提的是，本发明拍摄的画幅不局限于3840x2160像素。

平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）的运动参数获取方式可以为程序预设或操作者实时输入。

步骤2，依据平摇、俯仰和镜头变焦的运动参数，模拟摄像机运动产生指定分辨率的动态视频结果画面；

如图9所示，动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；其函数为Y1 =f（X1，P1，T1，Z1）；其中Y1为动态视频结果画面，X1为实拍视频画面，P1为平摇角度值，T1为俯仰角度值，Z1为变焦系数；而动态视频结果画面Y1的顶点坐标基于计算实拍视频画面X1顶点的世界坐标后获得。

具体的，与实施例一中的步骤2相同故不再赘述。

步骤3，在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；

如图10所示，增强现实物件结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和增强物件模型X2相关的函数；具体的函数为Y2 =f(X2,P2,T2,Z2)；其中Y2为增强现实物件结果画面，X2为增强物件模型，P2为平摇角度值，T2为俯仰角度值，Z2为变焦系数；

而增强现实物件结果画面Y2基于计算增强物件模型X2的顶点世界坐标后获得。而增强物件模型的顶点坐标可以直接从对应的三维场景数据库中获取V_local。V_local称为模型顶点在本地坐标系的矢量坐标。

而将增强物件模型放入到世界坐标系后，通过公式：

V_world=M_model·V_local；

M_model为增强物件模型在世界坐标系中的矩阵，根据增强物件模型放入世界坐标系的位置而改变。V_world为增强物件模型顶点在世界坐标系的矢量坐标。M_model矩阵包含平移矩阵、缩放矩阵和XYZ三轴的旋转矩阵，由用户在三维软件中设置调节。

将增强物件模型顶点在世界坐标系的矢量坐标带入公式：

V_clip=M_projection· (R_θ·R_φ)^-1·V_world；

上述相同的R_φ为模拟摄像机平摇旋转矩阵，R_θ为模拟摄像机俯仰旋转矩阵，M_projection为摄像机透视投影矩阵；V_clip为运动后模型顶点在世界坐标系的矢量坐标。其中R_φ、R_θ、M_projection和步骤二R_φ、R_θ、M_projection内为同一矩阵，且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。从而杜绝动态视频结果画面与虚拟场景结果画面不同步的“穿帮”现象。

最后基于增强物件模型运动后的顶点在世界坐标系的矢量坐标V_clip产生渲染场景结果画面。

步骤4，将动态视频结果画面和增强现实物件结果画面在键混器中合成并输出最终合成结果画面。

如图11所示，键混器获得Y2的Alpha键，最终合成结果画面Y3= Y1* (1-α) + Y2 *α；其中Y3为最终合成结果画面，α为Alpha键，Y1为指定分辨率动态视频画面，Y2为增强物件模型。

值得一提的，上述步骤2和步骤3也可以不考虑执行的先后顺序，在系统内同时运行。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读移动式存储设备中。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。