快速视频水印嵌入和提取方法、系统、设备、介质、终端
阅读说明：本技术 快速视频水印嵌入和提取方法、系统、设备、介质、终端 (Method, system, equipment, medium and terminal for embedding and extracting fast video watermark ) 是由 安玲玲 于兆兴 王政辉 杨哲荣 裴庆祺 于 2021-06-30 设计创作，主要内容包括：本发明属于信息安全技术领域,公开了一种快速视频水印嵌入和提取方法、系统、设备、介质、终端,所述快速视频水印嵌入和提取方法包括视频水印的嵌入和提取两部分流程；所述视频水印的嵌入方法包括：对待嵌入水印的视频筛选关键帧；水印二值化；在帧内进行水印嵌入,对每个待嵌入关键帧；将嵌入水印后关键帧对原视频帧进行替换,整合帧为含水印视频；所述视频水印的提取方法包括：对待提取水印的视频筛选关键帧；对每个待提取初始关键帧尝试进行水印提取；判断待判断提取水印序列是否为不合法序列；对待投票列表中序列进行二次投票以提高提取准确率,得到最终提取水印序列。本发明能快速稳定的进行水印操作,为版权保护和侵权溯源提供可靠依据,便于实际应用。(The invention belongs to the technical field of information security, and discloses a method, a system, equipment, a medium and a terminal for embedding and extracting a fast video watermark, wherein the method for embedding and extracting the fast video watermark comprises two processes of embedding and extracting the video watermark; the video watermark embedding method comprises the following steps: screening key frames of a video to be embedded with a watermark; carrying out watermark binarization; watermark embedding is carried out in the frame, and each key frame to be embedded is subjected to watermark embedding; replacing the original video frame with the key frame embedded with the watermark, and integrating the frame into a video containing the watermark; the video watermark extraction method comprises the following steps: screening key frames of a video with a watermark to be extracted; attempting watermark extraction on each initial key frame to be extracted; judging whether the extracted watermark sequence to be judged is an illegal sequence; and (4) performing secondary voting on the sequences in the to-be-voted list to improve the extraction accuracy rate, so as to obtain the final extracted watermark sequence. The invention can rapidly and stably carry out watermark operation, provides reliable basis for copyright protection and infringement tracing and is convenient for practical application.)
技术领域
本发明属于信息安全技术领域，尤其涉及一种快速视频水印嵌入和提取方法、系统、设备、介质、终端。
背景技术
近年来，随着互联网技术及应用的不断发展，与传统的实体资产一样，如图片、视频、音频等数字资产也进入了人们日常生活的各个领域，这些数据可以被下载且容易被修改和非法挪用，并可以轻易在互联网上进行重新分发或商业化销售。随着人们越来越多的持有数字资产，如何对数字资产持有者的知识产权进行有效的保护成为了一个困扰社会的重要难题，而不法分子对数字资产进行篡改并盗用的行为虽然侵犯数字资产持有者的切身利益却常常难以被发觉和存证。
针对上述问题，数字水印技术作为一个有效的解决方案在版权保护领域取得了良好的应用。数字水印指的是指将特定信息通过水印算法嵌入到图像及音视频等数字信息载体中，在不影响原有数字信息载体使用的情况下留存能够证明其所有者的重要信息，并能通过特定的提取方法在需要的情况下进行检测和分析。一种成熟且安全的数字水印技术通常包括两部分：一个嵌入程序和一个通过使用嵌入和提取密钥来执行的提取程序。嵌入过程包括在待嵌入的数字信息载体中插入一个持有资产所有者版权信息的数字签名水印。因此，通过给定的密钥，提取程序只允许数字内容的所有者或授权接收者从含水印载体中检索出嵌入的水印。
随着图片水印技术的不断发展，视频水印技术作为数字水印技术的重要分支也越来越多的为人所研究。与图片水印所不同，视频水印需要达成一些特定的时间维度需求，包括鲁棒性不仅应该处理常见的图像处理攻击如噪声添加和JPEG压缩，且应能够抵抗视频处理攻击如MPEG压缩和帧同步攻击；由于视频序列中物体的运动，因此应考虑时间维度以避免帧之间的失真；水印方案的复杂性应该很低，因为在视频目标中要处理的帧数量较多，会消耗大量时间。
在实际应用中，数字视频基本上被认为是图像的集合，许多方案通过将水印嵌入视频序列的所有帧中来把图片水印方案扩展到视频领域。图片水印扩展得到的传统视频水印方案通常存在一定问题，如需将所水印嵌入到视频序列中的所有帧中，不仅算法时间复杂度较高对视频的视觉效果影响较大，难以保持良好的不可见性。由于人眼对物体快速运动画面的质量较不敏感，已有方案选择在运动能量较大的帧范围内进行水印添加已达到良好的不可见性但水印添加帧数依旧过大，难以在实际工程中应用。
针对上述问题，迫切需要一种能够在实际工程中应用的空间复杂度及不可见性较为稳定且可较快进行水印添加的水印方案。
通过上述分析，现有技术存在的问题及缺陷为：现有视频水印算法运算复杂度高，时间效率低下，对视频的视觉效果影响较大，难以保持良好的不可见性，且水印添加帧数过大，在实际工程中难以应用。
在当前国内外对视频水印算法的研究中中水印效率一直是一大难点，绝大多数算法研究以极高的算法复杂度来达成较高的鲁棒性及不可见性，而忽略了时间效率，难以在其中取得平衡，算法在作用于大分辨率视频时时间消耗会急剧攀升，甚至可能会消耗数小时的时间。因此研究一种具备良好鲁棒性及不可见性并能够对高清视频快速进行水印添加和提取的算法具备一定的现实意义。
发明内容
针对现有技术存在的问题，本发明提供了一种快速视频水印嵌入和提取方法、系统、设备、介质、终端，尤其涉及一种基于三帧差增量筛选的快速视频水印嵌入和提取方法、系统、设备、介质、终端，旨在解决当前视频水印算法时间效率低，在工程中实用性差的问题。
本发明是这样实现的，一种快速视频水印嵌入和提取方法，所述快速视频水印嵌入和提取方法包括：
在水印的嵌入过程中，通过三帧差法对分帧后的目标视频计算帧间变化差值的极大值点并在该点处提取待选关键帧；以i2为增量对待选关键帧进行筛选，选出关键帧后分别进行颜色空间转换、亮度计算一维MR-SVD、低频分量分块、分块SVD、QIM嵌入二值化水印、帧内重复多次嵌入水印序列、ISVD重构分块、IMRSVD重构关键帧，最后将关键帧插入视频帧中合帧为含水印视频；
在水印的提取过程中，通过三帧差法对分帧后的目标视频计算帧间变化差值的极大值点并在该点处提取待选关键帧；以i2为增量筛选初始关键帧，选出关键帧后分别进行颜色空间转换、亮度计算一维MR-SVD、低频分量分块、分块SVD、QIM提取水印、帧内提取出的水印序列进行投票，未提取出水印的初始关键帧以1为增量在当前初始关键帧到下一初始关键帧之间进行尝试提取，并对所有提取出的关键帧水印进行整合投票得到提出的水印序列。
进一步，所述快速视频水印嵌入和提取方法，包括视频水印的嵌入和提取两部分流程。
其中，所述视频水印的嵌入方法，包括：
(I)对待嵌入水印的视频筛选关键帧；
(II)水印二值化；
(III)在帧内进行水印嵌入，对每个待嵌入关键帧；
(IV)将嵌入水印后关键帧对原视频帧进行替换，整合帧为含水印视频。
其中，所述视频水印的提取方法，包括：
(1)对待提取水印的视频筛选关键帧；
(2)对每个待提取初始关键帧尝试进行水印提取；
(3)若待判断提取水印序列为不合法序列则以1为增量在当前初始关键帧到下一初始关键帧之间尝试进行(2)提取操作直到找到合法水印序列为止，将合法水印序列存入待投票列表中；
(4)对待投票列表中序列进行二次投票以提高提取准确率，得到最终提取水印序列。
进一步，步骤(I)中，所述对待嵌入水印的视频筛选关键帧，包括：
i)计算三帧之间差值Dn(x，y)，公式如下：
Dn(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|；
ii)取差值Dn(x，y)极大值点处视频帧作为待选关键帧；
iii)以i2(i∈N+)为增量对待选关键帧进行筛选，选出最终待嵌入关键帧。
进一步，步骤(II)中，所述水印二值化，包括：
对待嵌入十进制数字组成的水印序列进行二值化，以四位二进制数字表示一位十进制数字，对于字符用同样方式进行水印处理。
进一步，步骤(III)中，所述在帧内进行水印嵌入，对每个待嵌入关键帧，包括：
i)关键帧进行颜色空间转换，由RGB颜色空间转换到YUV颜色空间；
ii)对转换颜色空间后的亮度Y进行一维MR-SVD以降低运算量；
iii)对矩阵进行SVD分解得到矩阵U、S和W-1；
iv)获得低频分量LA，公式如下：
v)将低频分量LA分为16×16子块；
vi)对每个子块L进行SVD分为U、S和W-1三个矩阵，SVD公式如下：
其中，U和W是正交矩阵分别表示图像的水平和垂直细节，而S对角线上的值为矩阵L的奇异值；
vii)由于奇异值中包含大量的能量，且加入水印等扰动不会显著改变奇异值，则通过QIM方法将水印嵌入奇异值当中，在每个子块的奇异值第一位依次嵌入二值水印的一位，公式如下：
其中，S(x，y)(1，1)为奇异值的第一位，WI(y)为待嵌入的水印值，通过调节量化步长M调节水印嵌入的效果，当M较小时水印算法的不可感知性较好但鲁棒性较差；
viii)对待嵌入水印序列进行多次重复嵌入直到嵌入完所有子块；
ix)通过ISVD使用U、S*、W-1对子块进行重构；
x)通过IMR-SVD重构关键帧。
进一步，步骤ii)中，所述对转换颜色空间后的亮度Y进行一维MR-SVD以降低运算量，包括：
①重排列
将Y矩阵按如下形式重排列为的矩阵Y′：
其中，为重排列后矩阵的列数；
②中心化
对矩阵Y′每行进行中心化得到矩阵公式如下：
其中，为矩阵Y′第i行所有元素的均值。
进一步，步骤(1)中，所述对待提取水印的视频筛选关键帧，包括：
1)计算三帧之间差值Dn(x，y)，公式如下：
Dn(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|；
2)取差值Dn(x，y)极大值点处视频帧作为待选关键帧；
3)以i2(i∈N+)为增量对待选关键帧进行筛选，选出最终待提取初始关键帧。
进一步，步骤(2)中，所述对每个待提取初始关键帧尝试进行水印提取，包括：
1)关键帧进行颜色空间转换，由RGB颜色空间转换到YUV颜色空间；
2)对转换颜色空间后的亮度Y进行一维MR-SVD以降低运算量；
3)对矩阵进行SVD分解得到矩阵U、S和W-1；
4)获得低频分量LA，公式如下：
5)将低频分量LA分为16×16子块；
6)对每个子块L进行SVD分为U、S和W-1三个矩阵，SVD公式如下：
其中，U和W是正交矩阵分别表示图像的水平和垂直细节，而S对角线上的值为矩阵L的奇异值；
7)通过QIM方法提取水印值，公式如下：
8)对帧内提取出的水印序列按位进行帧内投票得出待判断提取水印序列。
进一步，步骤2)中，所述对转换颜色空间后的亮度Y进行一维MR-SVD以降低运算量，包括：
①重排列
将Y矩阵按如下形式重排列为的矩阵Y′：
其中，为重排列后矩阵的列数；
②中心化
对矩阵Y′每行进行中心化得到矩阵公式如下：
其中，为矩阵Y′第i行所有元素的均值。
本发明的另一目的在于提供一种应用所述快速视频水印嵌入和提取方法的快速视频水印嵌入和提取系统。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的快速视频水印嵌入和提取方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的快速视频水印嵌入和提取方法。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的快速视频水印嵌入和提取方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的快速视频水印嵌入和提取方法，该方法主要用于在视频中嵌入和提取水印，能快速稳定的进行水印操作，可用于视频的版权保护及侵权溯源等场景，为版权保护和侵权溯源提供可靠依据。
本发明解决了现有视频水印算法运算复杂度高，实际工程中难以应用的问题。本发明利用三帧差增量筛选对视频帧进行筛选，将视频水印整体的时间复杂度稳定在一个易于接受的水平，便于实际应用。
分析实验结果可知，MMMV方法在封面视频分辨率较大时运行时间会极度增加至难以接受，而工程中却常需要对高清视频进行水印操作，本发明的基于三帧差法的视频水印嵌入和提取算法在应用于高清视频时的运行时间要远低于对比方法，能够满足实际工程中对效率的高要求，具有很高的实用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的快速视频水印嵌入和提取方法流程图。
图2是本发明实施例提供的快速视频水印嵌入方法流程图。
图3是本发明实施例提供的快速视频水印嵌入方法原理图。
图4是本发明实施例提供的快速视频水印提取方法流程图。
图5是本发明实施例提供的快速视频水印提取方法原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种快速视频水印嵌入和提取方法、系统、设备、介质、终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的快速视频水印嵌入和提取方法包括以下步骤：
S101，对目标视频通过计算三帧差法在极大值点处获取待选关键帧；
S102，待选关键帧以i2为增量进行筛选；
S103，将关键帧的颜色空间由RGB转换到YUV；
S104，对水印进行二值化，以四个二进制数字保存一位十进制水印位；
S105，对图片帧的亮度Y进行一维MR-SVD，将低频分量分为16×16子块；
S106，对每个子块进行SVD运算分为三矩阵；
S107，分解后的每个子块通过QIM嵌入水印；
S108，多次重复嵌入提高鲁棒性；
S109，ISVD重构分块；
S110，IMRSVD重构帧；
S111，每个筛选出的帧重复进行；
S112，合帧为视频；
S113，重复S101-S106，并通过QIM进行水印提取；
S114，对提取水印进行投票得到提取结果。
本发明实施例提供的快速视频水印嵌入和提取方法，包括视频水印的嵌入和提取两部分流程。
如图2所示，本发明实施例提供的视频水印的嵌入方法，包括：
S201，对待嵌入水印的视频筛选关键帧；
S202，水印二值化；
S203，在帧内进行水印嵌入，对每个待嵌入关键帧；
S204，将嵌入水印后关键帧对原视频帧进行替换，整合帧为含水印视频。
如图4所示，本发明实施例提供的视频水印的提取方法，包括：
S301，对待提取水印的视频筛选关键帧；
S302，对每个待提取初始关键帧尝试进行水印提取；
S303，若待判断提取水印序列为不合法序列则以1为增量在当前初始关键帧到下一初始关键帧之间尝试进行S302提取操作直到找到合法水印序列为止，将合法水印序列存入待投票列表中；
S304，对待投票列表中序列进行二次投票以提高提取准确率，得到最终提取水印序列。
下面结合具体实施例对本发明的技术方案作进一步描述。
本发明实施例提供的快速视频水印嵌入和提取方法的具体实现思路是，在水印的嵌入过程中，首先通过三帧差法对分帧后的目标视频计算帧间变化差值的极大值点并在该点处提取待选关键帧，之后以i2为增量对待选关键帧进行筛选，选出关键帧后分别进行颜色空间转换、亮度计算一维MR-SVD、低频分量分块、分块SVD、QIM嵌入二值化水印、帧内重复多次嵌入水印序列、ISVD重构分块、IMRSVD重构关键帧，最后将关键帧插入视频帧中合帧为含水印视频；在水印的提取过程中，首先通过三帧差法对分帧后的目标视频计算帧间变化差值的极大值点并在该点处提取待选关键帧，之后以i2为增量筛选初始关键帧，选出关键帧后分别进行颜色空间转换、亮度计算一维MR-SVD、低频分量分块、分块SVD、QIM提取水印、帧内提取出的水印序列进行投票，未提取出水印的初始关键帧以1为增量在当前初始关键帧到下一初始关键帧之间进行尝试提取，并对所有提取出的关键帧水印进行整合投票得到提出的水印序列。
本发明包括视频水印的嵌入和提取两部分流程：
如图3所示，本发明所述视频水印的嵌入流程的具体步骤为：
(1)对待嵌入水印的视频筛选关键帧：
1)计算三帧之间差值Dn(x，y)，公式如下：
Dn(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|
2)取差值Dn(x，y)极大值点处视频帧作为待选关键帧。
3)以i2(i∈N+)为增量对待选关键帧进行筛选，选出最终待嵌入关键帧。
(2)水印二值化：
对待嵌入十进制数字组成的水印序列二值化便于后续嵌入，以四位二进制数字表示一位十进制数字，对于字符可用同样方式进行水印处理。
(3)在帧内进行水印嵌入，对每个待嵌入关键帧：
1)关键帧进行颜色空间转换，由RGB颜色空间转换到YUV颜色空间
2)对转换颜色空间后的亮度Y按文献“R.Kakarala and P.O.Ogunbona，Signalanalysis using a multiresolution form of the singular valuedecomposition.IEEE Transactions on Image Processing，2001，vol.10，no.5，pp.723-735.”进行一维MR-SVD以降低运算量，具体步骤如下：
1.重排列
将Y矩阵按如下形式重排列为的矩阵Y′，其中为重排列后矩阵的列数。
2.中心化
对矩阵Y′每行进行中心化得到矩阵公式如下：
其由为矩阵Y′第i行所有元素的均值。
3)对矩阵进行SVD分解得到矩阵U、S和W-1。
4)获得低频分量LA，公式如下：
5)将低频分量LA分为16×16子块。
6)对每个子块L进行SVD分为U、S和W-1三个矩阵，SVD公式如下：
其中U和W是正交矩阵分别表示图像的水平和垂直细节，而S对角线上的值为矩阵L的奇异值。
7)由于奇异值中包含大量的能量，且加入水印等扰动不会显著改变奇异值，则可通过文献“B.Chen and G.W.Wornell，Quantization index modulation：a class ofprovably good methods for digital watermarking and information embedding，IEEETransactions on Information Theory，2001，vol.47，no.4，pp.1423-1443.”所提的QIM方法将水印嵌入奇异值当中，在每个子块的奇异值第一位依次嵌入二值水印的一位，具体公式如下：
其中S(x，y)(1，1)为奇异值的第一位，WI(y)为待嵌入的水印值，通过调节量化步长M可以调节水印嵌入的效果，当M较小时水印算法的不可感知性较好但鲁棒性较差。
8)对待嵌入水印序列进行多次重复嵌入直到嵌入完所有子块。
9)通过ISVD使用U、S*、W-1对子块进行重构。
10)通过IMR-SVD重构关键帧。
(4)将嵌入水印后关键帧对原视频帧进行替换，整合帧为含水印视频。
如图5所示，本发明所述视频水印的提取流程的具体步骤为：
(1)对待提取水印的视频筛选关键帧：
1)计算三帧之间差值Dn(x，y)，公式如下：
Dn(x，y)＝|fn+1(x，y)-fn(x，y)|∩|fn(x，y)-fn-1(x，y)|
2)取差值Dn(x，y)极大值点处视频帧作为待选关键帧。
3)以i2(i∈N+)为增量对待选关键帧进行筛选，选出最终待提取初始关键帧。
(2)对每个待提取初始关键帧尝试进行水印提取：
1)关键帧进行颜色空间转换，由RGB颜色空间转换到YUV颜色空间。
2)对转换颜色空间后的亮度Y进行一维MR-SVD以降低运算量，具体步骤如下：
1.重排列
将Y矩阵按如下形式重排列为的矩阵Y′，其中为重排列后矩阵的列数。
2.中心化
对矩阵Y′每行进行中心化得到矩阵公式如下：
其中为矩阵Y′第i行所有元素的均值。
3)对矩阵进行SVD分解得到矩阵U、S和W-1
4)获得低频分量LA，公式如下：
5)将低频分量LA分为16×16子块。
6)对每个子块L进行SVD分为U、S和W-1三个矩阵，SVD公式如下：
其中U和W是正交矩阵分别表示图像的水平和垂直细节，而S对角线上的值为矩阵L的奇异值。
7)通过QIM方法提取水印值，具体公式如下：
8)对帧内提取出的水印序列按位进行帧内投票得出待判断提取水印序列。
(3)若待判断提取水印序列为不合法序列则以1为增量在当前初始关键帧到下一初始关键帧之间尝试进行(2)提取操作直到找到合法水印序列为止，将合法水印序列存入待投票列表中。
(4)对待投票列表中序列进行二次投票以提高提取准确率，得到最终提取水印序列。
下面结合仿真实验对本发明的技术效果作详细的描述。
下面设计一组实验，对比本发明的基于三帧差法的视频水印嵌入和提取算法和文献“Nouioua I,Amardjia N,Belilita S.A Novel Blind and Robust VideoWatermarking Technique in Fast Motion Frames Based on SVD and MR-SVD[J].Security and CommunicationNetworks,2018,2018(10):1-17.”中所述的MMMV方法对相同测试视频在同运行环境下的时间效率。其中所选用的测试视频为实际工程中常见的彩色视频，分辨率为1920x1080，帧数为394帧。
表1本方法与MMMV方法运行时间对比
分析实验结果可知，MMMV方法在封面视频分辨率较大时运行时间会极度增加至难以接受，而工程中却常需要对高清视频进行水印操作，本发明的基于三帧差法的视频水印嵌入和提取算法在应用于高清视频时的运行时间要远低于对比方法，能够满足实际工程中对效率的高要求，具有很高的实用价值。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：显著性图和变换系数块的编码