阅读说明：本技术 面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法 (Robustness zero-watermark method for two-dimensional video frame and depth map right protection in three-dimensional video ) 是由 刘熙尧 张雅云 楼杰挺 孙玉莹 王磊 廖胜辉 赵荣昌 邹北骥 于 2019-12-11 设计创作，主要内容包括：本发明公开了一种基于DIBR的三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法,在该方法中,首先从二维视频帧和深度图的TIRI中提取特征,生成主共享。然后,生成表示版权信息与主共享关系的从共享,并存储起来进行版权识别。此外,本方案是第一次根据版权保护需求的不同对二维视频帧和深度图像分开提取特征,也是第一次对二维视频帧和深度图各自使用两种求特征的方法进行特征融合,这两种方法的融合保证了同时对几何攻击、信号攻击以及DIBR攻击的鲁棒性。该零水印方案不会引起合成三维视频的失真,显示出对各类视频攻击足够的鲁棒性,并且能够对三维视频的二维视频帧和深度图像同时并且独立地进行版权保护。(The invention discloses a DIBR-based robust zero watermarking method for protecting the copyright of a two-dimensional video frame and a depth map in a three-dimensional video. Then, a slave share indicating the relationship of copyright information and the master share is generated and stored for copyright identification. In addition, the method separately extracts the characteristics of the two-dimensional video frame and the depth image according to different copyright protection requirements for the first time, and also performs characteristic fusion on the two-dimensional video frame and the depth image by using two characteristic solving methods respectively for the first time, and the fusion of the two methods ensures the robustness of geometric attack, signal attack and DIBR attack at the same time. The zero-watermark scheme does not cause distortion of a synthesized three-dimensional video, shows sufficient robustness to various video attacks, and can simultaneously and independently perform copyright protection on two-dimensional video frames and depth images of the three-dimensional video.)

面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水 印方法

技术领域

本发明涉及数字水印技术领域，具体是一种面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法。

背景技术

随着互联网技术的发展、新媒体技术的革新，数字媒体技术取得了突破性的进展，改变了传统媒体在信息传播过程中占主导地位的格局，数字媒体愈加丰富的同时，关于它们的一系列问题也随之出现。其中，如何有效的保护数字媒体的版权、阻止数字媒体被非法复制或使用已经成为一个重要的方面。数字版权保护(Digital Right Management，DRM)是目前对网络中传播的数字媒体进行版权保护的主要手段，数字水印作为DRM的重要技术也越来越受到重视。水印与各种数字媒体应用场景的版权保护，如影音照片、医疗图像、3D图像、3D视频等方面结合的也愈加紧密。

随着三维视频的日益普及，其侵犯版权的风险也越来越大。因此，3D视频的版权保护已经成为一个至关重要的问题，参见文献M.Asikuzzaman,M.R.Pickering,An overviewof digital video watermarking,IEEE T.Circ.Syst.Vid.28(2018)2131-2153。3D视频可以以两种主要格式存储。其中一种称为并排格式，包含左右视图，由两个相同的摄像机在不同的位置和角度同时拍摄同一个场景。另一种格式使用基于深度图像的渲染(DIBR，Depth-image-based-Rendering)技术。基于DIBR的格式包含若干个二维视频帧及其深度图，并使用DIBR技术对这些帧进行扭曲得到相应的三维视频。与并排格式相比，基于dibr格式的存储和传输带宽成本更低，因为深度图只包含灰度像素和平滑区域，这些区域能够有效压缩，参见文献S.C.Pei,Y.Y.Wang,A new 3D unseen visible watermarking and itsapplications to multimedia,In:Proc.IEEE Int.Conf.Consumer Electronics(GCCE),Japan,2014,pp.140-143。此外，生产者可以利用DIBR技术将现有的2D视频转换为3D视频。这些优点就是许多3D视频以基于DIBR的格式存储和传输的原因。因此，基于DIBR的三维视频是我们研究的重点。

与传统的二维视频保护相比，DIBR三维视频的保护更加复杂。三维视频的深度图的原始二维视频帧可以转换为三维合成帧。因此，水印应该能从任何一个原始的二维帧，合成帧或深度图得到。但由于DIBR后合成的帧相对于原始二维帧发生了像素水平移动，这意味着三维视频的保护方案应该是DIBR不变的。此外，对于那些用现有的二维视频合成的三维视频，二维视频帧和深度图的生产者可能会不一样，在这种情况下，2D视频帧和深度图的版权应进行独立保护。

水印是针对数字版权管理(DRM)的问题的普遍解决方案，但现有的基于DIBR三维视频水印方案，可主要分为二维视频帧水印，深度图像水印和零水印方案,这些方案都有改进的空间。1)基于二维视频帧的水印方案仅在二维视频帧中嵌入水印，会对视频内容造成不可逆转的失真。此外，他们忽略了二维视频帧和深度图的生产者可能不同，无法独立保护深度图的版权的情况。2)基于深度图的水印方案仅将水印嵌入深度图中，对严重信号攻击和几何攻击的鲁棒性不足。此外，它们不能独立保护二维视频帧的版权。3)对于零水印方案，生成从共享，表示视频特征与水印之间的映射关系，不需要直接嵌入水印所以不会对三维视频造成失真。但其通常难以同时具有对几何攻击、信号攻击以及DIBR的鲁棒性。

发明内容

考虑到现有的针对DIBR(Depth-image-based-Rendering)三维视频零水印方案不能很好的同时且独立的对深度图以及二维视频帧进行版权保护，且不能同时满足对视频的信号攻击以及几何攻击和DIBR同时具有鲁棒性的问题，本文第一次提出了一种面向三维视频中二维视频帧和深度图分开进行版权保护的鲁棒性零水印方案。首先从二维视频帧和深度图的TIRI(Temporally informative representative images，时间信息代表性图像)中提取特征，生成主共享。然后生成表示版权信息与主共享关系的从共享，并存储起来进行版权识别。此外，本方案是第一次根据版权保护需求的不同，对二维视频帧和深度图像采取不同的保护方案，也是第一次分别对二维视频帧和深度图像用两种不同提取特征方法进行特征融合，这同时保证了对几何攻击、信号攻击以及DIBR攻击的鲁棒性，且不会引起合成三维视频的失真，并且能够对三维视频的二维视频帧和深度图像同时并且独立地进行版权保护。

为达到上述技术目的，本发明提供了如下技术方案：

一种面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法，包括水印共享阶段和水印恢复阶段；

水印共享阶段包括如下步骤：

A10、从二维视频帧序列和深度图序列中分别采样N帧视频帧，其中N的值为预先设定的；

A20、预处理视频帧，将采样得到的视频帧的尺寸大小设置为固定值，对调整后的二维视频帧进行高斯低通滤波；

A30、分别计算预处理后的二维视频帧和深度图视频帧的TIRI；

A40、分别生成二维视频帧和深度图视频帧的特征向量；

A50、将生成的每个特征向量重新排列成二维矩阵，生成主共享，对主共享和包含版权信息的二进制水印按位进行异或运算，生成从共享；

A60、将生成的从共享存储在认证数据库中；

其中，步骤A30中分别计算预处理后的二维视频帧和深度图视频帧的TIRI，分别生成二维视频帧和深度图视频帧的特征向量包括如下步骤：

计算二维视频帧的TIRI1，并用TIRI_2d1表示，基于二维视频帧的TIRI采用双树小波-四元数结合的方法生成特征向量F_2d1；

计算二维视频帧的TIRI2，并用TIRI_2d2表示，基于二维视频帧的TIRI2用求归一化的基于TIRI的偏差的方法生成特征向量二F_2d2；

计算深度图视频帧的TIRI1，并用TIRI_depth1表示，基于深度图视频帧的TIRI1采用二维DCT变换并取低频系数的方法生成特征向量一F_depth1；

计算深度图视频帧的TIRI2，并用TIRI_depth2表示，基于深度图视频帧的TIRI2用求归一化的基于TIRI的偏差的方法生成特征向量二F_depth2；

水印恢复阶段包括二维视频水印恢复和/或深度视频水印恢复，具体包括如下步骤：

B10、对分享在网络上的可疑的二维视频帧和/或深度图按步骤A10-A20进行采样和预处理；

B20、对预处理后的可疑的二维视频帧和/或深度图分别进行特征提取，各自生成两个特征向量，并生成相应的主共享；

B30、将生成的主共享分别与认证数据库中存储的相应从共享按位进行异或运算，各自得到两个恢复的水印；

B40、将通过可疑二维视频帧得到的两个恢复的水印和/或通过可疑深度图得到的两个恢复的水印分别与对应的原始水印进行比较来计算误码率，将可疑二维视频帧和/或深度图各自对应的两个误码率用取最小值的方法特征融合得到各自的最终误码率，以识别所查询的二维视频帧和/或深度图的真实性和版权；

其中，对预处理后的可疑的二维视频帧和/或深度图分别进行特征提取，各自生成两个特征向量具体包括：

对于可疑的二维视频帧，将预处理后的二维视频帧按照步骤A30-A40生成特征向量F_2d1’和F_2d2’。

对于可疑的深度图，将预处理后的深度图按照步骤A30-A40生成特征向量F_depth1’和F_depth2’。

在该方法中，首先从二维视频帧和深度图的时间信息代表性图像(TIRI)中提取特征，生成主共享。然后，生成表示版权信息与主共享关系的从共享，并存储起来进行版权识别。此外，本方案是第一次根据版权保护需求的不同对二维视频帧和深度图像分开提取特征，也是第一次对二维视频帧和深度图各自使用两种求特征的方法进行特征融合，这两种方法的融合保证了同时对几何攻击、信号攻击以及DIBR攻击的鲁棒性。该零水印方案不会引起合成三维视频的失真，显示出对各类视频攻击足够的鲁棒性，并且能够对三维视频的二维视频帧和深度图像同时并且独立地进行版权保护。在进行DIB三维视频的版权认证时，我们是第一次运用了一种灵活的认证机制来充分满足DRM(数字版权管理)的需求，一方面，当二维视频的版权信息与深度视频的版权信息不同时，我们对二维视频和深度视频分开来进行各自的版权识别过程，另一方面，当二维视频的版权信息与深度视频的版权信息相同时，我们仅使用二维视频来进行版权识别，并把其版权识别结果来作为三维视频的最终版权识别结果，这是因为二维视频包含着更多纹理信息，可区分性更好，且我们的针对二维视频帧的特行融合方案中，二维视频已经对各类攻击比如DIBR、平移、旋转、附加噪声、滤波等足够鲁棒。

进一步地，所述基于二维视频帧的TIRI1采用双树小波-四元数结合的方法生成特征向量F_2d具体包括如下步骤：

A411、对每个TIRI_2d1，将其分成大小为m×m的不重叠的预处理子块B_s，其中s是各个子块对应的序号；

A412、对子块B_s的R、G、B三个分量分别做3级双树小波变换，并选择第3级双树小波变换域的系数以增强抵抗低通滤波、噪声以及JPEG压缩的鲁棒性，将变换得到的六个子域H_3,dr(dr＝1,2,…,6)分成三组子域对，分别是(H_3,1,H_3,6)，(H_3,2,H_3,5)和(H_3,3,H_3,4)，它们各自包含更多的水平、对角和垂直边缘，因为垂直边缘在DIBR过程中更加容易被扭曲，故选择(H_3,1,H_3,6)和(H_3,2,H_3,5)两组子域，按照公式(3)中的方法连接H_3,1，H_3,6，H_3,2和H_3,5子域对并计算幅值，得到

A413、子块B_s的双树小波变换幅值矩阵的四元数表示，四元数q是一个超复数，包含标量部分s(q)＝a和矢量部分v(q)，表示为如下：

q＝s(q)+v(q)＝a+bi+cj+dk

其中，a，b，c，d是实数，i，j，k是虚数，当四元数的矢量部分等于零的时候称该四元数为纯四元数，四元数的计算满足如下规则：

i²＝j²＝k²＝ijk＝-1

ij＝-ji＝k,ki＝-ik＝j,jk＝-kj＝i

一个子块B_s的双树小波变换幅值矩阵可以由一组纯四元数组成：

A414、计算的幅度值并记为

根据原H_3,1，H_3,6，H_3,2和H_3,5子域对应位置将

按照如下方式划分成4个子阵

每次对4个子阵的一行各自进行DCT变换，并各自提取DC系数，再将得到的4个DC系数组成一个一维向量再次进行DCT变换并取其DC系数；子块B_s最后将得到5个DC系数，连接所有子块B_s的5个DC系数得到一个一维向量H_s；

A415、特征值计算，首先按如下公式用中值二值化的方法得到TIRI_2d1的特征值；

其中L代表一维向量H_s的长度，最终的二进制特征向量F_2d1由所有TIRI_2d1的特征值连接所得，即F_2d1＝(Ft₍₁₎,Ft₍₂₎…Ft_(s)…)。

上述针对二维视频帧的特征提取方法，选择了第3级双树小波变换域的中低频系数增强了抵抗低通滤波、噪声以及JPEG压缩的鲁棒性；又因为仅选择了包含较多水平边缘的(H_3,1,H_3,6)和(H_3,2,H_3,5)两组子域，减小了对二维视频帧进行DIBR操作时对竖直边缘的影响，提高了抵抗DIBR攻击的鲁棒性。

所述基于深度图视频帧的TIRI_2d2用求归一化的基于TIRI的偏差的方法生成特征向量二F_2d2，具体包括如下步骤：

A421、通过计算F_norm2d中的像素与其在TIRI_2d2中的8个空间邻域像素之间的最大绝对差值，按如下公式生成基于TIRI的偏差D_2d(i,j,k)，

D_2d(i,j,k)＝max(|TIRI_2d2(i±1,j±1)-F_norm2d(i,j,k)|)

其中，2≤i≤H-1,2≤j≤W-1且1≤k≤L；

A422、将基于TIRI的偏差归一化，记为下式中的N_2d(i,j,k)；

N_2d(i,j,k)＝arctan(D_2d(i,j,k)/TIRI_2d2(i,j))

A423、将基于TIRI的归一化偏差划分为中心圆和X-1个同心圆，中心圆的半径和同心圆的宽度设为r，

对于第k帧中的每个像素(i,j,k)，首先按如下公式计算其到该帧中心点(i_o,j_o,k)的距离Dist(i,j,k)，

然后根据Dist(i,j,k)计算像素(x,y,k)的划分n，n的计算方式如下，

当视频旋转或翻转时，以这种方式划分的像素仍然属于其原始关联的圆形或环形分区。因此，保证了特征对旋转和翻转攻击的鲁棒性。此外，由于以下两个原因，我们的研究中没有使用最大环以外的区域。一方面，视频帧的主要视觉通常集中在其中心区域，在一般情况下，像素的重要性随着其到帧中心距离的减小而增加。因此，丢弃最大环外区域生成的特征不会丢失太多重要的视觉信息。另一方面，由于这些区域是最常见的logo***和边缘裁剪攻击的位置，可以通过丢弃最大环外的区域来增强对这些攻击的特征鲁棒性。

A424、将TIRI中的像素值作为归一化的基于TIRI的偏差的权重，根据

计算每个分区中归一化的基于TIRI的偏差的质心，然后根据f＝[v(1,1)…v(n,1)…v(1,K)…v(N,K)]生成二维视频帧的中间特征，表示为f_2d，其中，K是由归一化的基于TIRI的偏差组成的帧的数量；

A425、通过如下方式按照平均值和标准偏差归一化中间特征，以生成特征fn，

将fn按照如下公式根据它们的中值t进行二值化，得到最终特征F_2d2：

进一步地，所述基于深度图视频帧的TIRI1采用二维DCT变换并取低频系数的方法生成特征向量一F_depth1具体包括如下步骤：

A431、对每一帧TIRI_depth1进行二维离散余弦变换得到DCT_depth；

A432、按照如下方式选择DCT_depth的低频系数Coeff_depth：

Coeff_depth(i-1,j-1)＝DCT_depth(i,j)

其中，2≤i≤9，2≤j≤9，DCT_depth的DC系数被排除是为了提高特征值的可区分性；

A433、根据中值对Coeff_depth进行二值化来确保二进制特征的最大可区分性，生成f1：

f1(i,j)＝1,当Coeff_depth(i,j)＞t；

f1(i,j)＝0,当Coeff_depth(i,j)≤t；

其中，1≤i≤8，1≤j≤8，t是Coeff_depth的中值；连接所有TIRI_depth1的f1，得到最终提取的特征向量F_depth1。

上述针对深度图的特征提取方法提取了DCT变换域中的低频系数，这个操作增强了抵抗附加噪声攻击和低通滤波攻击的鲁棒性，且去掉了DC值增强了特征的可区分性。

进一步地，所述基于深度图视频帧的TIRI_depth2按照步骤A421-A425中求归一化的基于TIRI的偏差的方法生成深度图视频帧的特征向量二F_depth2。

进一步地，步骤A30中计算二维视频帧的TIRI1和TIRI2及计算深度图视频帧的TIRI1和TIRI2均根据如下公式计算：

W_k＝a^k

在计算二维视频帧的TIRI时，F_k表示第k帧二维视频帧，W_k表示第k帧二维视频帧的权值，L表示二维视频帧序列降采样的采样帧数，i表示二维视频帧的TIRI的序号，0≤a≤1；在计算深度图视频帧的TIRI1时，F_k表示第k帧深度图，W_k表示第k帧深度图的权值，L表示深度图序列降采样的采样帧数，i表示深度图的TIRI的序号，0≤a≤1。当a接近0时，生成的TIRI将包含更多的空间信息和更少的时间信息，从而产生更具辨别力的表示图像。反之，当a接近1时，生成的TIRI将是包含平均时间信息的模糊图像，从而产生更鲁棒的表示图像。

进一步地，所述误码率BER计算方法如下所示，

其中W'(i，j)和W(i，j)分别表示恢复水印和原始水印的像素，⊕表示异或运算，m_w×m_w是水印的大小。

有益效果

本实施案例为了对二维视频帧和深度图同时且独立进行保护，对二维视频帧和深度图采用不同的提取特征的方法：针对二维视频帧，采用基于双树小波-四元数结合的方法，取双树小波中低频变换域中包含更少垂直边缘的水平和对角子域来使提取的特征向量一F_2d1抵抗信号攻击和DIBR攻击，用求归一化的基于TIRI的偏差的方法得到特征向量二F_2d2以抵抗旋转和剪切等几何攻击。并进一步生成二维视频帧的从共享O_2d1和O_2d2并将它们存储在从共享数据库中。二维视频帧水印恢复阶段，求出查询二维视频帧的主共享M_2d1’和M_2d2’，并分别于存储的从共享O_2d1和O_2d2进行异或操作得到恢复的水印W_2d1’和W_2d2’，将这两个水印图像与原始水印图像进行比较，最后根据最小值融合的方法确定最后版权识别结果，这个决策融合方法确保了二维视频帧对信号攻击和几何攻击以及DIBR攻击同时具有鲁棒性。对于深度图，对其进行二维DCT变换并取低频系数的方法生成特征向量一F_depth1以抵抗信号攻击，用求归一化的基于TIRI的偏差的方法得到特征向量二F_depth2以抵抗旋转和剪切等几何攻击。并进一步生成深度图的从共享O_depth1和O_depth2。深度图水印恢复阶段，求出查询三维视频的深度图的主共享M_depth1’和M_depth2’，并分别于存储的从共享O_depth1和O_depth2进行异或操作得到恢复的水印W_depth1’和W_depth2’，将这两个水印图像与原始水印图像进行比较求得BER，最后根据最小值融合的方法确定最后版权识别结果，这个决策融合方法确保了深度图对信号攻击和几何攻击同时具有鲁棒性。

附图说明

图1是本发明实施例中零水印方法的总流程图；

图2是本发明实施例中二维视频帧特征提取的两种方法的流程图；

图3是本发明实施例中深度图的两种特征向量的提取方法的流程图；

图4是本发明实施例中原始的二维视频帧、深度图和二值化水印图像；

图5是本发明实施例中版权识别流程图；

图6是本发明实施例中从可疑二维视频中恢复的二值化水印图像。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1至图6所示，本发明提供了一种面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法，包括水印共享阶段和水印恢复阶段；

水印共享阶段包括二维视频帧部分和深度图部分；

二维视频帧部分包括如下步骤：

A10：从二维视频帧序列中采样到N帧二维视频帧，以保证所有输入图像的特征向量长度相等，本实施例中的N值为100，采样时采用等间隔采样。

A20：预处理二维视频帧。将二维视频帧的尺寸大小设为P×P像素，这个操作增强了抵抗缩放攻击的鲁棒性；将调整后的二维视频帧通过高斯低通滤波进行平滑处理，以增强视频帧抵抗噪声攻击的鲁棒性；将处理后的二维视频帧记作F_norm2d，本实施例中的P值为320。A10和A20对应于图2(a)中的预处理二维视频帧的过程。

A31：根据公式(1)和(2)求F_norm2d的TIRI(temporally informativerepresentative images，时序信息代表性图像)，并用TIRI_2d表示。

W_k＝a^k (2)

其中，F_k表示第k帧二维视频帧，W_k表示第k帧二维视频帧的权值，L表示二维视频帧序列降采样的采样帧数，0≤a≤1。在本实施例中，L的值为20，即生成了100/20＝5帧TIRI_2d，并将a设为1。A31对应于图2(a)中的均值化的过程。

步骤A41：基于二维视频帧的TIRI采用双树小波-四元数结合的方法生成特征向量F_2d1；

如图2中(a)所示，步骤A41具体包括如下步骤：

步骤A411：对每个TIRI_2d1，将其分成大小为m×m的不重叠的预处理子块B_s，其中s是各个子块对应的序号。经过测试，本实施例中设m的值为40。

步骤A412：对子块B_s的R、G、B三个分量分别做3级双树小波变换，并选择第3级双树小波变换域的系数以增强抵抗低通滤波、噪声以及JPEG压缩的鲁棒性。将变换得到的六个子域H_3,dr(dr＝1,2,…,6)分成三组子域对，分别是(H_3,1,H_3,6)，(H_3,2,H_3,5)和(H_3,3,H_3,4)，它们各自包含更多的水平、对角和垂直边缘。在本实施例中，我们仅使用(H_3,1,H_3,6)和(H_3,2,H_3,5)两组子域，因为垂直边缘在DIBR过程中更加容易被扭曲。按照公式(3)中的方法连接H_3,1，H_3,6，H_3,2和H_3,5子域对并计算幅值，得到

步骤A413：彩色图像的双树小波变换幅值矩阵的四元数表示。四元数q是一个超复数，包含标量部分s(q)＝a和矢量部分v(q)，表示为如下：

q＝s(q)+v(q)＝a+bi+cj+dk

其中，a，b，c，d是实数，i，j，k是虚数，当四元数的矢量部分等于零的时候称该四元数为纯四元数，四元数的计算满足如下规则：

i²＝j²＝k²＝ijk＝-1

ij＝-ji＝k,ki＝-ik＝j,jk＝-kj＝i

为了用四元数表示，一个彩色图像的双树小波变换幅值矩阵可以由一组纯四元数组成：

步骤A414：计算

的幅度值并记为

根据原H_3,1，H_3,6，H_3,2和H_3,5子域对应位置将按照如下方式划分成4个子阵

在本实施例中，

个子阵的大小为25×25。每次对4个子阵的一行各自进行DCT变换，并各自提取更具鲁棒性的DC系数，再将得到的4个DC系数组成一个一维向量再次进行DCT变换并取其DC系数。子块B_s最后将得到5个DC系数，连接所有子块B_s的5个DC系数得到长度为(320/40)×(320/40)×5＝320的一维向量，记作H_s。

步骤A415：特征值计算，首先按下述公式计算TIRI_2d1的特征值，

其中L代表一维向量H_j的长度，最终的二进制特征向量F_2d1由所有TIRI_2d1的特征值连接所得，即F_2d1＝(Ft₍₁₎,Ft₍₂₎…Ft_(s)…)。在本实施例中，L为320，特征向量F_2d1的维度为320×5＝1600比特。

上述针对二维视频帧的特征提取方法，选择了第3级双树小波变换域的中低频系数增强了抵抗低通滤波、噪声以及JPEG压缩的鲁棒性；又因为仅选择了包含较多水平边缘的(H_3,1,H_3,6)和(H_3,2,H_3,5)两组子域，减小了对二维视频帧进行DIBR操作时对竖直边缘的影响，提高了抵抗DIBR攻击的鲁棒性。

步骤A32：根据公式(1)和(2)求F_norm2d的TIRI2，并用TIRI_2d2表示，其中，F_k表示第k帧二维视频帧，W_k表示第k帧二维视频帧的权值，L表示二维视频帧序列降采样的采样帧数，i表示深度图的TIRI的序号，0≤a≤1。在本实施例中，按照间隔采样的方式每间隔5帧取一帧，即L的值为100/5＝20。并按步骤A31同理将a设为1。B32对应于图2(b)中的均值化过程。

步骤A42：用求归一化的基于TIRI的偏差的方法生成TIRI_2d2的特征向量二F_2d2。

如图2中(b)所示，步骤A42具体包括如下步骤：

步骤A421：通过计算预处理帧F_norm2d中的像素与其在TIRIs中的8个空间邻域像素之间的最大绝对差值，按如下公式(13)生成基于TIRI的偏差D_2d(i,j,k)；

D_2d(i,j,k)＝max(|TIRI_2d2(i±1,j±1)-F_norm2d(i,j,k)|) (13)

其中，2≤i≤319,2≤j≤319且1≤k≤100。

步骤A422：将基于TIRI的偏差归一化，记为(14)中的N_2d(i,j,k)；

N_2d(i,j,k)＝arctan(D_2d(i,j,k)/TIRI_2d2(i,j)) (14)

步骤A423：将基于TIRI的归一化偏差划分为中心圆和X-1同心圆，中心圆的半径和同心圆的宽度设为r；

对于第k帧中的每个像素(i,j,k)，首先计算其到该帧中心点(i_o,j_o,k)的距离Dist(i,j,k)，如式(15)所示。

然后根据Dist(i,j,k)计算像素(x,y,k)的划分n，如(16)所示。

在本实施例中，由归一化的基于TIRI的偏差组成的帧的大小是320×320，X＝16，r＝10。

步骤A424：将TIRI中的像素值作为归一化的基于TIRI的偏差的权重。使用(17)计算每个分区中归一化的基于TIRI的偏差的质心，如(18)所示以生成二维视频帧的中间特征，表示为f_2d。

f＝[v(1,1)...v(n,1)...v(1,K)...v(N,K)] (18)

其中，K是由归一化的基于TIRI的偏差组成的帧的数量。在本实施例中，K等于100，f_2d的维度K*X等于1600比特。

步骤A425：如(19)所示，通过平均值和标准偏差归一化中间特征，以生成特征fn。

按如下公式(20)将fn按照它们的中值二值化，得到最终特征F_2d2。

步骤A50：生成主共享和从共享，将向量F_2d1和F_2d2重新排列成40×40的二维矩阵，即生成主共享M_2d1和M_2d2，对M_2d1和M_2d2分别与包含版权信息的尺寸为40×40的二进制水印W_2d按位进行异或运算，生成从共享O_2d1和O_2d2。

步骤A60：将从共享O_2d1和O_2d2存储在认证数据库中，以用来版权认证。

深度图部分：

步骤A10：从深度图序列中采样到固定值N帧深度图，本实施例中N值为100，采样时采用等间隔采样。

步骤A20：预处理深度图，并将深度图的尺寸大小设为固定值P×P像素，将处理后的视频帧记作F_normdepth，本实施例中的P值为320。A10和A20对应于图3(a)及(b)中的预处理过程。

步骤A33：根据公式(1)和(2)求F_normdepth的TIRI1，并用TIRI_depth1表示，其中，F_k表示第k帧深度图，W_k表示第k帧深度图的权值，L表示深度图序列降采样的采样帧数，i表示深度图的TIRI的序号，0≤a≤1。在本实施例中，设L的值为4，即生成了100/4＝25帧TIRI_depth1。并按步骤A31同理将a设为1。A33对应于图3(a)中的均值化过程。

步骤A43：基于深度图的TIRI1进行二维DCT变换并取低频系数的方法生成TIRI_depth1的特征向量一F_depth1。

如图3中(a)所示，步骤A43具体包括如下步骤：

步骤A431：对每一帧TIRI_depth1进行二维离散余弦变换(2D-DCT)得到DCT_depth。

步骤A432：按照如下方式选择DCTdepth的低频系数Coeff_depth：

Coeff_depth(i-1,j-1)＝DCT_depth(i,j) (10)

其中，2≤i≤9，2≤j≤9。

步骤A433：根据中值对Coeff_depth进行二值化来确保二进制特征的最大可区分性，生成f1：

其中，1≤i≤8，1≤j≤8，t是Coeff_depth的中值。连接25个TIRI_depth1的f1，得到最终提取的特征向量F_depth1。在本实施例中，特征向量的维度是25×64＝1600比特。

上述针对深度图的特征提取方法提取了DCT变换域中的低频系数，这个操作增强了抵抗附加噪声攻击和低通滤波攻击的鲁棒性，且去掉了DC值增强了特征的可区分性。

步骤A34：根据公式(1)和(2)求F_normdepth的TIRI2，并用TIRI_depth2表示，其中，F_k表示第k帧深度图，W_k表示第k帧深度图的权值，L表示深度图序列降采样的采样帧数，i表示深度图的TIRI的序号，0≤a≤1。在本实施例中按照间隔采样的方式每间隔5帧取一帧，即L的值为100/5＝20。并按步骤A31同理将a设为1。A34对应于图3(b)中的均值化过程。

步骤A44：用求归一化的基于TIRI的偏差的方法生成TIRI_depth2的特征向量二F_depth2。构造F_normdepth的TIRI2对应于图3(b)中的均值化过程。

如图3中(b)所示，步骤A44具体步骤和A421-A425中一样。

步骤A50：生成主共享和从共享，将向量F_depth1和F_depth2重新排列成40×40的二维矩阵，即生成主共享M_depth1和M_depth2，对M_depth1和M_depth2分别与包含版权信息的尺寸为40×40的二进制水印W_depth按位进行异或运算，生成从共享O_depth1和O_depth2。

步骤A60：将从共享O_depth1和O_depth2存储在认证数据库中，以用来版权认证。

图4中，(a)为原始的二维视频帧，(b)为深度图，(c)为二值化水印图像。

水印恢复阶段包括二维视频部分和/或深度视频部分；

如图5中(a)所示，二维视频部分包括如下步骤：

步骤B11：根据步骤A10-A50中针对二维视频帧的部分，对分享在网络上的可疑的二维视频帧进行处理，生成基于二维视频帧的TIRI的二进制特征向量F_2d1’和F_2d2’，然后生成相应的主共享M_2d1’和M_2d2’。

步骤B21：将可疑深度图的主共享M_2d1’和M_2d2’分别与认证数据库中的从共享O_2d1和O_2d2按位进行异或(XOR)操作分别得到恢复的水印W_2d1’和W_2d2’。

步骤B31：通过按公式(23)将恢复的水印W_2d1’和W_2d2’与原始水印W_2d进行比较来计算误码率BER，得到BER_2d1和BER_2d2以识别所查询的二维视频帧的真实性和版权。

其中W'(i，j)和W(i，j)分别表示恢复水印和原始水印的像素，⊕表示异或(XOR)运算，m_w×m_w是水印的大小。

对BER_2d1和BER_2d2用公式(24)中取最小值的方法特征融合得到最终的BER_2d。

BER_2d＝min(BER_{2d_r},BER_{2d_nr}) (24)

经过对200个三维视频的实验测试，我们取0.243作为BER_2d的判别阈值，当BER_2d的值小于0.243我们认为所查询的图像是非法拷贝或篡改的图像。当BER_2d的值大于或等于0.243我们认为所查询的图像不是非法拷贝或篡改的图像。本实施例的查询的二维视频帧是对原始图像加了附加噪声攻击的图像，其还原的水印如图6(a)所示，其BER_2d实验结果为0.057，版权鉴别结果判定查询的二维视频帧是非法拷贝或篡改的图像。

如图5中(b)所示，深度视频部分包括如下步骤：

步骤B12：根据步骤A10-A50中针对深度图的部分，对分享在网络上的可疑的深度图进行处理，生成基于深度图的TIRI的二进制特征向量F_depth1’和F_depth2’，然后生成相应的主共享M_depth1’和M_depth2’。

步骤B22：将可疑深度图的主共享M_depth1’和M_depth2’分别与认证数据库中的从共享O_depth1和O_depth2按位进行异或(XOR)操作分别得到恢复的水印W_depth1’和W_depth2’。

步骤B32：通过公式(23)将恢复的水印W_depth1’和W_depth2’与原始水印W_depth进行比较来计算误码率BER，得到BER_depth1和BER_depth2以识别所查询的二维视频帧的真实性和版权。

对BER_depth1和BER_depth2用(24)所示取最小值的特征方法特征融合得到最终的BER_depth。

经过对200个三维视频的实验测试，我们取0.19作为BER_depth的判别阈值，当BER_depth的值小于0.19我们认为所查询的图像是非法拷贝或篡改的图像。当BER_depth的值大于或等于0.19我们认为所查询的图像不是非法拷贝或篡改的图像。本实施例的查询的深度图是对原始深度图加了附加噪声攻击的图像，其还原的水印如图6(b)所示，其BER_depth实验结果为0.038，版权鉴别结果判定查询的深度图是非法拷贝或篡改的图像。

在进行DIBR三维视频的版权认证时，我们是第一次运用了一种灵活的认证机制来充分满足DRM(数字版权管理)的需求。一方面，当二维视频的版权信息与深度视频的版权信息不同时，我们对二维视频和深度视频分开来进行各自的版权识别过程。另一方面，当二维视频的版权信息与深度视频的版权信息相同时，我们仅使用二维视频来进行版权识别，并把其版权识别结果来作为三维视频的最终版权识别结果，这是因为二维视频包含着更多纹理信息，可区分性更好，且我们的针对二维视频帧的融合方案中，二维视频帧已经对各类攻击比如DIBR、平移、旋转、附加噪声、滤波等足够鲁棒。

本实施案例为了对二维视频帧和深度图同时且独立进行保护，对二维视频帧和深度图采用不同的提取特征的方法：针对二维视频帧，采用基于双树小波-四元数结合的方法，取双树小波中低频变换域中包含更少垂直边缘的水平和对角子域来使提取的特征向量一F_2d1抵抗信号攻击和DIBR攻击，用求归一化的基于TIRI的偏差的方法得到特征向量二F_2d2以抵抗旋转和剪切等几何攻击。并进一步生成二维视频帧的从共享O_2d1和O_2d2并将它们存储在从共享数据库中。二维视频帧水印恢复阶段，求出查询二维视频帧的主共享M_2d1’和M_2d2’，并分别于存储的从共享O_2d1和O_2d2进行异或操作得到恢复的水印W_2d1’和W_2d2’，将这两个水印图像与原始水印图像进行比较，最后根据最小值融合的方法确定最后版权识别结果，这个决策融合方法确保了二维视频帧对信号攻击和几何攻击以及DIBR攻击同时具有鲁棒性。对于深度图，对其进行二维DCT变换并取低频系数的方法生成特征向量一F_depth1以抵抗信号攻击，用求归一化的基于TIRI的偏差的方法得到特征向量二F_depth2以抵抗旋转和剪切等几何攻击。并进一步生成深度图的从共享O_depth1和O_depth2。深度图水印恢复阶段，求出查询三维视频的深度图的主共享M_depth1’和M_depth2’，并分别于存储的从共享O_depth1和O_depth2进行异或操作得到恢复的水印W_depth1’和W_depth2’，将这两个水印图像与原始水印图像进行比较求得BER，最后根据最小值融合的方法确定最后版权识别结果，这个决策融合方法确保了深度图对信号攻击和几何攻击同时具有鲁棒性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。