一种视频优化处理系统、处理方法、终端设备及存储介质
阅读说明：本技术 一种视频优化处理系统、处理方法、终端设备及存储介质 (video optimization processing system, processing method, terminal device and storage medium ) 是由 李程启 季坤 甄超 李坚林 操松元 赵常威 张骥 于 2019-07-23 设计创作，主要内容包括：本发明公开了一种视频优化处理系统,包括：初始图像库,用于存储原始图像；视频抖动检测模块,用于对原始图像进行检测,判断原始图像是否为抖动图像；视频抖动修正模块,对抖动图像进行修正得到修正图像；图像播放库,用于存储无抖动图像和修正后的修正图像；所述视频抖动检测模块与初始图像库、图像播放库和视频抖动修正模块连接,所述视频抖动修正模块与初始图像库和图像播放库连接。本发明还提供一种视频优化处理系统、处理终端设备及存储介质。本发明通过子区域块的划分,针对每一帧图像,以子区域块为单位进行抖动消除和运动补偿,保证了存在抖动模糊的图像的修复效率和品质,保证视频播放速率。(The invention discloses a video optimization processing system, which comprises: the initial image library is used for storing original images; the video jitter detection module is used for detecting the original image and judging whether the original image is a jittered image; the video jitter correction module is used for correcting the jittered image to obtain a corrected image; the image playing library is used for storing the shake-free image and the corrected image; the video jitter detection module is connected with the initial image library, the image playing library and the video jitter correction module, and the video jitter correction module is connected with the initial image library and the image playing library. The invention also provides a video optimization processing system, processing terminal equipment and a storage medium. The invention carries out the jitter elimination and the motion compensation by taking the sub-area block as a unit aiming at each frame image through the division of the sub-area block, thereby ensuring the repair efficiency and quality of the image with jitter blurring and ensuring the video playing speed.)
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频优化处理系统、处理方法、终端设备及存储介质。
背景技术
视频抖动指视频帧之间发生整体的位移，从而影响视频观感及压缩编码等一系列后续操作。
现有的视频抖动检测方法很多，例如申请号201410318324.X的一种视频抖动自动检测方法、申请号为201310747263.4的一种视频抖动检测方法和装置用于判断是否对该视频进行防抖处理；申请号为201610873192.6的基于图像灰度分布特征的视频抖动检测方法等，均描述了视频抖动检测方法。
上述现有技术中，虽然有提到视频抖动修正方法，但是大多数都是在检测到视频抖动后，直接将存在抖动的图像进行删除，使得修正后的视频缺失图像，影响视频播放的连续性和画面感。
发明内容
针对上述现有技术存在不足，本发明提供一种视频优化处理系统、处理系统、终端设备及存储介质。
本发明采用的技术方案为：
第一方面，本发明提供了一种视频优化处理系统，包括：
初始图像库，用于存储原始图像；
视频抖动检测模块，用于对原始图像进行检测，判断原始图像是否为抖动图像；
视频抖动修正模块，对抖动图像进行修正得到修正图像；
图像播放库，用于存储无抖动图像和修正后的修正图像；
所述视频抖动检测模块与初始图像库、图像播放库和视频抖动修正模块连接，所述视频抖动修正模块与初始图像库和图像播放库连接。
在第一方面的第一种可能实施方式中，所述视频抖动修正模块包括：
缓存数据库，所述缓存数据库用于存储视频抖动检测模块复制到视频抖动修正模块中的抖动图像；
图像划分单元，用于从缓存数据库中调用图像并将图像划分为多个子区域块；
抖动消除单元，用于计算各子区域块的灰度梯度，根据灰度梯度消除存在抖动模糊的子区域块；
运动补偿单元，用于通过运动估计对消除的子区域块进行运动补偿，并将补偿后的图像移动到图像播放库。
在第一方面的第二种可能实施方式中，所述抖动消除单元包括：
灰度梯度计算模块，用于计算各子区域块的灰度梯度；
灰度阈值计算模块，根据各子区域块的灰度梯度计算梯度阈值；并消除灰度梯度小于梯度阈值的子区域模块。
在第一方面的第三种可能实施方式中，所述抖动消除单元包括：
灰度梯度计算模块，用于计算各子区域块的灰度梯度；
差值计算模块，用于根据差值计算模型计算各子区域块对应的差值，并消除大于差值阈值的差值对应的子区域块。
第二方面，本发明提出一种视频优化处理系统，其特征在于，包括以下步骤：
将原始图像存储于初始图像库；
对初始图像库中的原始图像进行检测，判断原始图像是否为抖动图像；
对抖动图像进行修正得到修正图像；
将无抖动图像和修正后的修正图像存储于图像播放库。
第三方面，本发明提出一种视频优化处理终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如所述一种视频优化处理系统。
第四方面，本发明提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如所述一种视频优化处理系统。
本发明的有益效果为：
本发明通过视频抖动检测模块对初始图像库中的图像进行筛选，以便视频抖动修正模块针对存在抖动模糊的图像进行修正，有利于提高图像修正的效率。通过子区域块的划分，针对每一帧图像，以子区域块为单位进行抖动消除和运动补偿，算法简单，效率高，保证了存在抖动模糊的图像的修复效率和品质。同时将抖动检测和抖动修正分离并同步进行，有利于进一步提高图像播放库中图像转移效率，从而保证视频播放速率。
附图说明
图1为本发明提出的一种视频优化处理系统结构图；
图2为本发明提出的一种视频优化处理系统结构图；
图3为本发明提出的一种视频优化处理系统流程图。
具体实施方式
本发明提供一种视频优化处理系统，通过对每一帧存在抖动的图像进行修复，保证了视频播放库中存储图像的连续性，并保证了每一帧图像的品质，从而保证了视频播放的品质，避免了视频画面跳跃和模糊的问题。
以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
如图1所示，为本发明提出的一种视频优化处理系统流程图。
参照图1，一种视频优化处理系统，包括：
初始图像库101，用于存储原始图像；
视频抖动检测模块102，用于对原始图像进行检测，判断原始图像是否为抖动图像；
视频抖动修正模块103，对抖动图像进行修正得到修正图像；
图像播放库104，用于存储无抖动图像和修正后的修正图像；
所述视频抖动检测模块与初始图像库、图像播放库和视频抖动修正模块连接，所述视频抖动修正模块与初始图像库和图像播放库连接。
本发明实施例中，视频抖动检测模块分别连接图像播放库、初始图像库和视频抖动修正模块，用于逐一检测初始图像库中的图像，并用于将没有抖动的图像复制到图像播放库中，将存在抖动的图像复制到视频抖动修正模块中；视频抖动修正模块还连接图像播放库，用于将消除抖动后的图像移动到图像播放库中。
本实施方式中，通过视频抖动检测模块对初始图像库中的图像进行筛选，以便视频抖动修正模块针对存在抖动模糊的图像进行修正，有利于提高图像修正的效率。本实施方式中，视频抖动检测模块采用现有的视频抖动检测方法对视频影像进行检测。并且，本实施方式中，将抖动检测和抖动修正分离并同步进行，有利于进一步提高图像播放库中图像转移效率，从而保证视频播放速率。
本发明中，通过子区域块的划分，针对每一帧图像，以子区域块为单位进行抖动消除和运动补偿，算法简单，效率高，保证了存在抖动模糊的图像的修复效率和品质。
参见图2，为本发明提出的一种视频优化处理系统结构图；
如图2所示，视频抖动修正模块103包括：
缓存数据库131，用于存储视频抖动检测模块复制到视频抖动修正模块中的抖动图像；
图像划分单元132，用于从缓存数据库中调用图像并将图像划分为多个子区域块；
抖动消除单元133，用于计算各子区域块的灰度梯度，根据灰度梯度消除存在抖动模糊的子区域块；
运动补偿单元134，用于通过运动估计对消除的子区域块进行运动补偿，并将补偿后的图像移动到图像播放库。
本实施方式中，视频抖动修正模块中设有缓存数据库，缓存数据库用于存储视频抖动检测模块复制到视频抖动修正模块中的图像。缓存数据库的设置，有利于避免视频抖动修正模块的抖动修正效率干扰视频抖动检测模块的图像筛选效率，从而保证对初始数据库中的图像筛选与针对单幅图像的抖动消除同时进行，互不干扰，以进一步提高图像播放库中图像储存效率。
视频抖动修正模块用于将获取的图像划分为多个子区域块，并计算各子区域块的灰度梯度；视频抖动修正模块用于针对每一帧图像根据灰度梯度对子区域块进行筛选，并用于结合初始图像库中的图像通过运动估计对子区域块筛选后的图像进行运动补偿。
本发明通过对每一帧存在抖动的图像进行修复，保证了视频播放库中存储图像的连续性，并保证了每一帧图像的品质，从而保证了视频播放的品质，避免了视频画面跳跃和模糊的问题。
本发明另一个实施例中，抖动消除单元403包括：
灰度梯度计算模块4031，用于计算各子区域块的灰度梯度；
灰度阈值计算模块4032，根据各子区域块的灰度梯度计算梯度阈值；并消除灰度梯度小于梯度阈值的子区域模块。
具体为：灰度梯度计算模块用于计算各子区域块的灰度梯度，并根据各子区域块的灰度梯度计算梯度阈值；灰度阈值计算模块用于消除灰度梯度小于梯度阈值的子区域模块。
抖动消除单元用于计算梯度阈值的模型为：，其中，a0 为梯度阈值，n为子区域块的数量，ai为第i个子区域块的灰度梯度，。
即本实施例中，抖动消除单元判断灰度梯度小于梯度阈值的子区域模块为存在抖动模糊的子区域块，并进行消除。
本发明另一个实施例中，抖动消除单元包括：
灰度梯度计算模块4033，用于计算各子区域块的灰度梯度；
差值计算模块4034，用于根据差值计算模型计算各子区域块对应的差值，消除大于差值阈值的差值对应的子区域块。
具体为：抖动消除单元内设有差值计算模块：
；
其中，n为子区域块的数量，为各子区域块的灰度梯度，c0为差 值阈值，ci为灰度梯度为的子区域块对应的差值；
差值计算模块用于根据差值计算模型计算各子区域块对应的差值，并用于消除大于差值阈值的差值对应的子区域块。假设本实施例中，c2和c5均大于c0，则抖动消除单元判断灰度梯度为e3和e6的子区域模块存在抖动模糊并进行消除。
本实施例中，根据灰度梯度差值进行子区域块的筛选，进一步提高了视频抖动的筛选精度。
本实施方式中，视频抖动检测模块用于顺序检测初始图像库中各图像是否存在抖动，当图像没有抖动，视频抖动检测模块用于将初始图像库中的图像复制到图像播放库中。当图像存在抖动，视频抖动检测模块用于将图像复制到视频抖动修正模块中，并在图像播放库中***一张空白图像。视频抖动修正模块用于每当一帧图像抖动消除后，用抖动消除后的图像替换图像播放库中对应的空白图像。通过空白图像的***为抖动图像在播放数据库中占位，保证了抖动修正后的图像移动到播放数据库中的存储位置，有利于保证播放数据库中图像的排列顺序与初始数据库中图像的排列顺序一致，从而保证视频播放的流畅性。同时，通过空白图像占位，也保证了抖动修正后的图像***图像播放库的简洁高效，并且避免了图像的***干扰图像播放库中的其他图像。
本实施方式中，通过子区域块的划分，针对每一帧图像，以子区域块为单位进行抖动消除和运动补偿，算法简单，效率高，保证了存在抖动模糊的图像的修复效率和品质。
基于与前述实施例中一种视频优化处理系统同样的发明构思，本发明还提供一种视频优化处理系统。参见图3，为本发明提出的一种视频优化处理系统流程图。
如图3所示，一种视频优化处理系统，其特征在于，包括以下步骤：
步骤201，将原始图像存储于初始图像库；
步骤202，对初始图像库中的原始图像进行检测，判断原始图像是否为抖动图像；
步骤203，对抖动图像进行修正得到修正图像；
步骤204，将无抖动图像和修正后的修正图像存储于图像播放库中。
实施例一中的一种视频优化处理系统的各种变化方式和具体实例同样适用于本实施例的一种视频优化处理系统，通过前述对一种视频优化处理系统的详细描述，本领域技术人员可以清楚的知道本实施例中一种视频优化处理系统，所以为了说明书的简洁，在此不再详述。
本发明的另一实施例为：
一种视频优化处理终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述一种视频优化处理系统。
其中处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Dig ita l Sig na l Processor，DSP) 、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种视频优化处理系统的控制中心，利用各种接口和线路连接整个所述一种视频优化处理系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于边缘计算的视频结构化存储装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明的另一实施例为：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述一种视频优化处理系统。
其中，所述一种视频优化处理系统集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。