一种视频抖动消除方法、消除装置、终端设备及存储介质
阅读说明：本技术 一种视频抖动消除方法、消除装置、终端设备及存储介质 (Video jitter elimination method and device, terminal equipment and storage medium ) 是由 杨建旭 杨可军 王皓 李程启 郑文杰 张骥 丁兆硕 于 2019-07-23 设计创作，主要内容包括：本发明公开了一种视频抖动消除方法,包括以下步骤：将视频帧划分为若干子区域块,并对子区域块进行筛选得到筛选视频帧；对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧。本发明还公开了一种视频抖动消除装置、视频抖动消除设备和一种计算机可读存储介质。本发明根据灰度梯度识别视频抖动,算法简单；通过运动估计进行运动补偿,保证了最终获得的视频帧的品质。(the invention discloses a video jitter elimination method, which comprises the following steps: dividing the video frame into a plurality of sub-region blocks, and screening the sub-region blocks to obtain a screened video frame; and performing motion compensation on the screened video frame by adopting motion estimation to obtain a compensated video frame. The invention also discloses a video jitter elimination device, a video jitter elimination device and a computer readable storage medium. The method identifies the video jitter according to the gray gradient, and has simple algorithm; and the quality of the finally obtained video frame is ensured by performing motion compensation through motion estimation.)
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频抖动消除方法、消除装置、终端设备及存储介质。
背景技术
视频抖动指视频帧之间发生整体的位移，从而影响视频观感及压缩编码等一系列后续操作。
检测视频抖动的技术目前大致有：光流法，块匹配法，特征点匹配法及灰度投影法。光流法实际操作中采用了Fast角点检测和LK稀疏光流。块匹配是图像去噪，运动估计中常用的一种方法。通过将查询块与相邻的图像块进行匹配，从这些相邻块中找出距离查询块距离最近的 K 个块。特征点匹配法同光流法，比较依赖于特征点的寻找。灰度投影法是使用比较多，计算量也相对较小，实际效果也较好的方法。
光流法依赖于特征点的检测，鲁棒性较差；块匹配法对于图像稳定性要求较高；特征点匹配法也依赖于特征点的寻找，计算量巨大；灰度投影法利用图像总体灰度分布规律的变化确定帧间的移动，但存在着前景运动影响全局运动计算，并且对于旋转运动效果不佳。
发明内容
针对上述现有技术存在不足，本发明提供一种视频抖动消除方法、消除装置、终端设备及存储介质。
本发明采用的技术方案为：
第一方面，本发明提供了一种视频抖动消除方法，包括：
将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；
对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧。
在第一方面的第一种可能实施方式中，所述将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；具体包括：
采用灰度梯度对子区域块进行筛选，将有抖动的子区域块进行删除得到空白子区域块，无抖动的子区域块保留，空白子区域块和无抖动子区域块构成筛选视频帧。
在第一方面的第二种可能实施方式中，所述采用灰度梯度对子区域块进行筛选，具体包括：
计算各子区域块的灰度梯度，将各个子区域块的灰度梯度与梯度阈值进行比较，灰度梯度小于灰度阈值的子区域块为有抖动的子区域块，大于等于灰度阈值的子区域块为无抖动的子区域块。
进一步的，所述灰度阈值为各个子区域块的灰度梯度的均值。
在第一方面的第三种可能实施方式中，所述采用灰度梯度对子区域块进行筛选，具体包括：
计算各子区域块的灰度梯度，并将各灰度梯度根据数值大小进行排序；
根据排序顺序计算每相邻两个灰度梯度之间的差值；
计算所有差值的平均值，删除大于平均值的差值对应的子区域模块；
其中，差值对应的子区域模块为用于求差的两个灰度梯度中的较大值对应的子区域模块。
在第一方面的第四种可能实施方式中，所述对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧；具体包括：采用运动估计获取视频帧的运动信息，对筛选视频帧进行运动补偿。
第二方面，本发明实施例提供了一种视频抖动消除装置，包括：
筛选模块，用于将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；
补偿模块，用于对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧。
第三方面，本发明实施例提供了一种视频抖动消除设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如所述一种视频抖动消除方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如所述一种视频抖动消除方法。
本发明的有益效果为：
本发明通过计算各子区域块的灰度梯度，并删除灰度梯度小于梯度阈值的子区域块。根据灰度梯度识别视频抖动，算法简单；通过运动估计进行运动补偿，保证了最终获得的视频帧的品质；梯度阈值为变值，实现了根据每一帧视频实现梯度阈值的更新，从而有利于保证各视频帧中子区域块的筛选根据视频帧的特征进行，保证了该视频抖动消除方法根据视频帧进行适应的特点，有利于进一步提高视频抖动消除效果，保证了视频的完整性，并保证了每一帧视频的品质。
附图说明
图1为本发明提出的一种视频抖动消除方法流程图；
图2为本发明提出的一种视频抖动消除装置结构图。
具体实施方式
本发明提供一种视频抖动消除方法，根据灰度梯度筛选子区域模块，实现了视频帧中抖动模糊的识别和消除；删除抖动模糊后，根据运动估计对空白区域进行补偿，保证了视频帧的完整，并消除了视频抖动。
以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
如图1所示，为本发明提出的一种视频抖动消除方法流程图。
参照图1，一种视频抖动消除方法，包括以下步骤：
步骤101，将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；
步骤102，对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧。
如此，本发明中，根据灰度梯度识别视频抖动，算法简单；通过运动估计进行运动补偿，保证了最终获得的视频帧的品质。且本发明中，以视频帧进行抖动消除对象，保证了视频的完整性，并保证了每一帧视频的品质。
在步骤101中，将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；具体包括：
采用灰度梯度对子区域块进行筛选，将有抖动的子区域块进行删除得到空白子区域块，无抖动的子区域块保留，空白子区域块和无抖动子区域块构成筛选视频帧。
上述采用灰度梯度对子区域块进行筛选，具体包括：
计算各子区域块的灰度梯度，将各个子区域块的灰度梯度与梯度阈值进行比较，灰度梯度小于灰度阈值的子区域块为有抖动的子区域块，大于等于灰度阈值的子区域块为无抖动的子区域块。
其中，灰度阈值为各个子区域块的灰度梯度的均值。
本实施方式中，根据灰度梯度筛选子区域块的具体方法为：计算各子区域块的灰度梯度，并删除灰度梯度小于梯度阈值的子区域块。具体的，本实施中，梯度阈值为各子区域块灰度梯度的均值。本实施方式中梯度阈值为变值，如此，实现了根据每一帧视频实现梯度阈值的更新，从而有利于保证各视频帧中子区域块的筛选根据视频帧的特征进行，保证了该视频抖动消除方法根据视频帧进行适应的特点，有利于进一步提高视频抖动消除效果。
实施例二
本实施例在实施例一的基础上对子区域块筛选采用另一种实施方式，具体为：采用灰度梯度对子区域块进行筛选，具体包括：
计算各子区域块的灰度梯度，并将各灰度梯度根据数值大小进行排序；
根据排序顺序计算每相邻两个灰度梯度之间的差值；
计算所有差值的平均值，删除大于平均值的差值对应的子区域模块；
其中，差值对应的子区域模块为用于求差的两个灰度梯度中的较大值对应的子区域模块。
本实施方式中，假设将视频帧分割为N个子区域模块，各子区域模块对应的灰度梯度分别为：a1、a2、a3……、an；a1、a2、a3……、an根据数值大小顺序排列，且a2-a1=c1，a3-a2=c2……，an-a(n-1)=c(n-1)；则c1对应的子区域块为灰度梯度为a2的子区域块，c2对应的子区域块为灰度梯度为a3的子区域块，c(n-1)对应的子区域块为灰度梯度为an的子区域块。
假设，c1、c2……、c(n-1)的均值为c0，其中c2大于c0，则在视频帧中消除灰度梯度为a3的子区域块，并通过运动估计对消除子区域块后的视频帧进行运动补偿。
本实施方式中，根据灰度梯度差值进行子区域块的筛选，进一步提高了视频抖动的筛选精度。
在步骤102中，所述对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧；具体包括：采用运动估计获取视频帧的运动信息，对筛选视频帧进行运动补偿。
本发明中的视频抖动消除方法，根据灰度梯度筛选子区域模块，实现了视频帧中抖动模糊的识别和消除；删除抖动模糊后，根据运动估计对空白区域进行补偿，保证了视频帧的完整，并消除了视频抖动。
实施例三
基于与前述实施例中一种视频抖动消除方法同样的发明构思，本发明还提供一种视频抖动消除装置。
参见图2，为本发明提出的一种视频抖动消除装置结构图。
如图2所示，一种视频抖动消除装置，包括：
筛选模块201，用于将视频帧划分为若干子区域块，并对子区域块进行筛选得到筛选视频帧；
补偿模块202，用于对筛选视频帧采用运动估计进行运动补偿得到补偿视频帧。
实施例一中的一种视频抖动消除方法的各种变化方式和具体实例同样适用于本实施例的一种视频抖动消除方法，通过前述对一种视频抖动消除方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种视频抖动消除方法，所以为了说明书的简洁，在此不再详述。
实施例四
一种视频抖动消除设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如所述一种视频抖动消除方法。
其中处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Dig ita l Sig na l Processor，DSP) 、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种视频抖动消除方法的控制中心，利用各种接口和线路连接整个所述一种视频抖动消除方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于边缘计算的视频结构化存储装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例五
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如所述一种视频抖动消除方法。
其中，所述一种视频抖动消除方法集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。