阅读说明：本技术 一种计算机视频合成的方法 (Method for synthesizing computer video ) 是由 杨超辉 于 2020-04-22 设计创作，主要内容包括：本发明公开了一种计算机视频合成的方法,包括接收用户的视频合成请求,其特征在于,所述视频合成请求中包括视频素材、音频素材和根据所述视频合成请求确定的素材需求,再根据确定结果,生成用于视频合成的时域分布信息,将各个媒体素材通过智能组合软件进行合成,合成后,对合成后的视频进行降噪,降噪包括以下步骤：步骤(1)提取输入视频连续三帧图像：前一帧、当前帧和后一帧。本发明实施例在对视频、图片和音频进行合成的过程中,能够同时添加相应的特效,缩短了视频合成所需的时间,提高了用户体验,既能较好的去除噪声分量,减少块效应,又能保留高频部分的细节,提高主观视觉感受。(The invention discloses a method for synthesizing computer video, which comprises the steps of receiving a video synthesizing request of a user, and is characterized in that the video synthesizing request comprises video materials, audio materials and material requirements determined according to the video synthesizing request, generating time domain distribution information for video synthesis according to a determination result, synthesizing each media material through intelligent combination software, and after synthesis, reducing noise of the synthesized video, wherein the noise reduction comprises the following steps: extracting three continuous frame images of an input video: a previous frame, a current frame, and a next frame. According to the embodiment of the invention, in the process of synthesizing the video, the picture and the audio, the corresponding special effects can be added simultaneously, the time required by video synthesis is shortened, the user experience is improved, the noise component can be better removed, the block effect is reduced, the details of a high-frequency part can be reserved, and the subjective visual experience is improved.)

一种计算机视频合成的方法

技术领域

本发明涉及视频合成的方法领域，尤其涉及一种计算机视频合成的方法。

背景技术

在这个信息时代，人们经常利用手机、平板电脑等移动终端来拍摄视频、图片或者录制音频，来记录工作和生活的点点滴滴。人们还可以在计算机中安装具有媒体素材编辑功能的软件，将拍摄的视频、图片以及录制的音频合成为有声的动态视频，还可以对合成的视频添加各种各样的特效。

然而，现有技术中的媒体素材编辑软件，在对视频、图片以及音频进行合成以及添加特效时，需要分别进行，即先对视频、图片和音频进行合成，然后再对合成后的视频添加相应的特效，或者先分别对视频、图片和音频添加各自对应的特效，再对添加特效的后的视频、图片和音频进行合成，编辑过程比较繁琐，需要耗费较长的时间，用户体验较差。

而且由于摄像设备的内部结构与外部环境等因素，在获取、存储和传输视频的过程中，都会不可避免的引入噪声，噪声不仅会严重影响视频图像的主观质量，而且会带来额外的高频分量，浪费更多的比特来保留这些无用信息。此外，噪声的存在还会影响到图像增强、目标识别等。因此降噪是视频图像处理系统中最为关键和共同的处理之一。典型的转换域降噪算法如傅里叶变换滤波和小波变换滤波等，通过对信号变换后系数的分析和筛选，去除掉噪声，保留有用信号，在保留图像边缘和细节上有较好效果，但是在选择小波基上比较困难，应用受到一定限制。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种计算机视频合成的方法。

为了实现上述目的，本发明采用了如下技术方案：

一种计算机视频合成的方法，包括接收用户的视频合成请求，所述视频合成请求中包括视频素材、音频素材和根据所述视频合成请求确定的素材需求，再根据确定结果，生成用于视频合成的时域分布信息，将各个媒体素材通过智能组合软件进行合成，合成后，对合成后的视频进行降噪，降噪包括以下步骤：

步骤(1)提取输入视频连续三帧图像：前一帧、当前帧和后一帧；

步骤(2)对当前帧图像进行简单边缘检测，然后分块噪声方差估计，并根据噪声方差设定运动检测的阈值T；

步骤(3)分别对前一帧图像和当前帧图像、后一帧图像和当前帧图像降采样后进行运动估计，以最小SAD准则，得到前向匹配块和后向匹配块；

步骤(4)根据前向匹配块与后向匹配块对采样前的块进行运动检测，若匹配块与当前块的MAD值小于阈值T，则对刚体运动区域进行时域滤波；若匹配块与当前块的MAD值大于阈值T，则认为该块是非刚体运动，然后根据边缘检测结果进行自适应空域滤波；

步骤(5)对步骤(4)中滤波的结果加权平均，同时输出作为下次滤波的前一帧，参与到递归滤波中。

优选的，所述素材需求中包括根据所述视频合成请求，确定视频合成所需的媒体素材、各媒体素材在期望合成结果中所对应的展现时段、各媒体素材所对应的渲染特效、以及各渲染特效所对应的渲染时段。

优选的，所述时域分布信息中记录有：各媒体素材在期望合成结果中的时域分布情况、以及与各媒体素材对应的渲染特效在期望合成结果中的时域分布情况。

优选的，所述步骤(2)中，先利用Sobel算子进行边缘检测并记录下边缘点的坐标值，然后将图像分成16*16像素互不重叠的子块，如果子块Bmn中含有连续N个边缘点，则排除Bmn对剩下的子块进行噪声估计，噪声估计方法采用基于块内邻域相关度的方法计算，计算方法如下：分别计算块内每一个像素点与其所有相邻像素点差的绝对值的平均值，然后求得所有平均值的和得到ψ，ψ即为块内邻域相关度，从所有块中选出最小ψ的块，该块均值和方差即可作为噪声的均值和方差，阈值T即为该块方差。

优选的，所述步骤(3)中，所述SAD准则的计算方式为其中(m,n) 表示像素在图像中的坐标位置，k表示图像在视频中的帧数，(i,j) 为像素(m,n,k)与(m+i，n+j，k-1)间的位移矢量，f(m,n,k)与 f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i，n+j，k-1)的灰度值，若某个位移矢量(i0,j0)处，SAD(i0,j0)值达到最小，则该矢量即为所求的最佳块匹配运动矢量。

优选的，所述步骤(4)中，所述MAD值的计算方式如下：其中(m,n) 表示像素在图像中的坐标位置，k表示图像在视频中的帧数，(i,j) 为像素(m,n,k)与(m+i，n+j，k-1)间的位移矢量，f(m,n,k)与 f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i，n+j，k-1)的灰度值。

优选的，所述步骤(4)中，所述时域滤波的计算方式如下：POUT1 ＝w*p(t-1)+(1-w)*p(t)；POUT2＝w*p(t)+(1-w)*p(t+1)，式中p(t-1) 和p(t+1)分别表示前一帧和后一帧上采样恢复后的结果，p(t)表示当前帧上采样恢复后的结果，POUT1表示前一帧和当前帧时域加权滤波的结果，POUT2表示后一帧与当前帧时域加权滤波的结果，w为权系数。

优选的，所述在步骤(4)中，自适应空域滤波的计算方式如下： W(i,j)＝wd(i,j)wr(i,j)，其中wd(i,j)为空间邻近度因子，wr(i,j) 为亮度邻近度因子。

优选的，所述wd(i,j)的计算方式为所述wr(i,j)的计算方式为其中σd和σr分别表示像素之间的距离差和亮度差，其中σd为自适应滤波系数，它的值为噪声估计方差δ的两倍。

优选的，所述在步骤(5)中，加权平均的计算方式为P0＝ (POUT1||POUT3)*0.6+(POUT2||POUT4)*0.4，其中POUT1和POUT3分别表示当前帧与前一帧时域滤波和空域滤波的结果，POUT2和POUT4 分别表示当前帧与后一帧时域滤波和空域滤波的结果，||表示或，0.6和0.4为加权系数，P0表示最终输出结果。

本发明的有益效果为：

1，本发明与现有技术相比，本发明实施例在对视频、图片和音频进行合成的过程中，能够同时添加相应的特效，缩短了视频合成所需的时间，提高了用户体验。

2，本发明在噪声较小时能很好的估计噪声强度，较为准确的设定滤波系数，同时采用了改进后的双边滤波，比经典滤波器具有更强的滤波能力。本发明的算法较为准确地估计噪声，能够更好的区分刚体运动块和非刚体运动块，不会带来运动拖影，PSNR值比参考算法平均提高了0.64dB，本发明首先进行边缘检测并估计出噪声强度，然后通过降采样和运动估计等技术得到像素点的运动信息和局部结构，根据这些信息自适应选择不同的滤波策略。本发明既能较好的去除噪声分量，减少块效应，又能保留高频部分的细节，提高主观视觉感受。

附图说明

图1为本发明的提出的一种计算机视频合成的方法的流程图。

图2为本发明的提出的一种计算机视频合成的方法的素材需求的示意图。

图3为本发明的提出的一种计算机视频合成的方法的降噪部分的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-3，一种计算机视频合成的方法，包括接收用户的视频合成请求，所述视频合成请求中包括视频素材、音频素材和根据所述视频合成请求确定的素材需求，再根据确定结果，生成用于视频合成的时域分布信息，将各个媒体素材通过智能组合软件进行合成，合成后，对合成后的视频进行降噪，降噪包括以下步骤：

步骤(1)提取输入视频连续三帧图像：前一帧、当前帧和后一帧；

步骤(2)对当前帧图像进行简单边缘检测，然后分块噪声方差估计，并根据噪声方差设定运动检测的阈值T；

步骤(3)分别对前一帧图像和当前帧图像、后一帧图像和当前帧图像降采样后进行运动估计，以最小SAD准则，得到前向匹配块和后向匹配块；

步骤(4)根据前向匹配块与后向匹配块对采样前的块进行运动检测，若匹配块与当前块的MAD值小于阈值T，则对刚体运动区域进行时域滤波；若匹配块与当前块的MAD值大于阈值T，则认为该块是非刚体运动，然后根据边缘检测结果进行自适应空域滤波；

步骤(5)对步骤(4)中滤波的结果加权平均，同时输出作为下次滤波的前一帧，参与到递归滤波中；

素材需求中包括根据所述视频合成请求，确定视频合成所需的媒体素材、各媒体素材在期望合成结果中所对应的展现时段、各媒体素材所对应的渲染特效、以及各渲染特效所对应的渲染时段，时域分布信息中记录有：各媒体素材在期望合成结果中的时域分布情况、以及与各媒体素材对应的渲染特效在期望合成结果中的时域分布情况，步骤(2)中，先利用Sobel算子进行边缘检测并记录下边缘点的坐标值，然后将图像分成16*16像素互不重叠的子块，如果子块Bmn中含有连续N个边缘点，则排除Bmn对剩下的子块进行噪声估计，噪声估计方法采用基于块内邻域相关度的方法计算，计算方法如下：分别计算块内每一个像素点与其所有相邻像素点差的绝对值的平均值，然后求得所有平均值的和得到ψ，ψ即为块内邻域相关度，从所有块中选出最小ψ的块，该块均值和方差即可作为噪声的均值和方差，阈值T即为该块方差，步骤(3)中，所述SAD准则的计算方式为其中(m,n)表示像素在图像中的坐标位置，k表示图像在视频中的帧数，(i,j)为像素 (m,n,k)与(m+i，n+j，k-1)间的位移矢量，f(m,n,k)与f(m+i,n+j,k-1) 分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i，n+j，k-1)的灰度值，若某个位移矢量(i0,j0)处，SAD(i0,j0)值达到最小，则该矢量即为所求的最佳块匹配运动矢量，步骤(4)中，所述MAD值的计算方式如下：其中(m,n)表示像素在图像中的坐标位置，k表示图像在视频中的帧数，(i,j)为像素(m,n,k)与(m+i，n+j，k-1)间的位移矢量，f(m,n,k)与f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i，n+j，k-1)的灰度值，步骤(4)中，所述时域滤波的计算方式如下：POUT1＝w*p(t-1)+(1-w)*p(t)；POUT2＝w*p(t)+(1-w)*p(t+1)，式中p(t-1)和p(t+1)分别表示前一帧和后一帧上采样恢复后的结果，p(t)表示当前帧上采样恢复后的结果，POUT1 表示前一帧和当前帧时域加权滤波的结果，POUT2表示后一帧与当前帧时域加权滤波的结果，w为权系数，在步骤(4)中，自适应空域滤波的计算方式如下：W(i,j)＝wd(i,j)wr(i,j)，其中wd(i,j)为空间邻近度因子，wr(i,j)为亮度邻近度因子，wd(i,j)的计算方式为所述 wr(i,j)的计算方式为其中σd和σr分别表示像素之间的距离差和亮度差，其中σd为自适应滤波系数，它的值为噪声估计方差δ的两倍，在步骤(5)中，加权平均的计算方式为P0＝ (POUT1||POUT3)*0.6+(POUT2||POUT4)*0.4，其中POUT1和POUT3分别表示当前帧与前一帧时域滤波和空域滤波的结果，POUT2和POUT4 分别表示当前帧与后一帧时域滤波和空域滤波的结果，||表示或，0.6 和0.4为加权系数，P0表示最终输出结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。