阅读说明：本技术 一种基于视频数据自适应生成缩略图摘要的系统及方法 (System and method for adaptively generating thumbnail abstract based on video data ) 是由 何书强 陈尚武 于 2020-07-22 设计创作，主要内容包括：本发明涉及及图像处理领域,尤其涉及一种基于视频数据自适应生成缩略图摘要的系统及方法,包括：帧数据解码器模块,用于将视频数据解码成帧数据；帧数据选择器模块,用于按照设定周期获取帧数据；帧数据特征点提取器模块,用于从帧数据缓存池中得到相邻的两帧数据,并分别提取关键点；图像抖动的临界值计算模块,用于计算得到临界值T；邻帧特征比对器模块,用于计算向量的距离之和Distance；缩略图生成器模块,用于根据临界值T和向量的距离之和Distance判断图像是否失真,若当前图像失真,则当前帧数据不保存为视频的略缩图摘要,若当前图像不失真,则保存当前帧数据作为当前视频的缩略图摘要。本发明实现自动、自适应的快速生成清晰有效的视频缩略图。(The invention relates to the field of image processing, in particular to a system and a method for generating a thumbnail abstract in a self-adaptive manner based on video data, which comprises the following steps: a frame data decoder module for decoding the video data into frame data; the frame data selector module is used for acquiring frame data according to a set period; the frame data characteristic point extractor module is used for obtaining two adjacent frames of data from the frame data cache pool and respectively extracting key points; the image dithering critical value calculation module is used for calculating to obtain a critical value T; the adjacent frame characteristic comparator module is used for calculating the Distance sum of the vectors; and the thumbnail generator module is used for judging whether the image is distorted according to the Distance between the critical value T and the vector, if the current image is distorted, the current frame data is not stored as the thumbnail abstract of the video, and if the current image is not distorted, the current frame data is stored as the thumbnail abstract of the current video. The invention realizes automatic, self-adaptive and rapid generation of clear and effective video thumbnails.)

一种基于视频数据自适应生成缩略图摘要的系统及方法

技术领域

本发明涉及及图像处理领域，尤其涉及一种基于视频数据自适应生成缩略图摘要的系统及方法。

背景技术

执法记录仪是执法工作人员使用的记录执法过程的音视频采集专用设备，集摄像、拍照、对讲、导航等功能于一体，能够将执法过程中静态和动态的场景记录下来，动态场景即是录制视频，静态场景即是拍摄照片，目前市场上的执法记录仪，没有为执法记录仪录制的视频生成缩略图摘要的功能，尤其是没有实现实时的、自动的根据执法记录仪的录像视频画面是否抖动而生成缩略图摘要。执法记录仪没有视频缩略图摘要存在一个缺点，那就是后期分析执法录像数据需要花费很长的时间，执法记录仪没有不抖动、并且清晰的视频缩略图摘要，就不能提供高质量的执法参考数据。

发明内容

为解决上述问题，本发明提出一种基于视频数据自适应生成缩略图摘要的系统及方法。

一种基于视频数据自适应生成缩略图摘要的系统，包括：

帧数据解码器模块，用于将视频数据解码成帧数据；

帧数据选择器模块，用于按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；

帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；

图像抖动的临界值计算模块，用于根据两个关键点计算得到临界值T；

邻帧特征比对器模块，用于根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；

缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。

优选的，所述帧数据特征点提取器模块具体用于：

构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；

搜索关键点并定位关键点；

根据检测到的关键点进行方向赋值；

生成特征点的描述子；

利用特征点提取方法来实现特征点提取并得到关键点。

优选的，所述向量的距离之和Distance的计算：

其中，matches表示匹配向量。

优选的，所述缩略图生成器模块具体用于：

若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。

优选的，所述缩略图生成器模块还用于：

清除缓存的帧数据，并将未失真的图像按时间顺序保存。

一种基于视频数据自适应生成缩略图摘要的方法，包括：

将视频数据解码成帧数据；

按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；

从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；

根据两个关键点计算得到临界值T；

根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；

根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。

优选的，所述提取关键点包括：

构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；

搜索关键点并定位关键点；

根据检测到的关键点进行方向赋值；

生成特征点的描述子；

利用特征点提取方法来实现特征点提取并得到关键点。

优选的，所述向量的距离之和Distance的计算：

其中，matches表示匹配向量。

优选的，所述根据临界值T和向量的距离之和Distance判断图像是否失真包括：

若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。

优选的，还包括：

清除缓存的帧数据，并将未失真的图像按时间顺序保存。

本发明具备以下有益效果：将视频数据解码成帧数据；按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；根据两个关键点计算得到临界值T；根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要，从而实现自动、自适应的快速生成清晰有效的视频缩略图。

附图说明

下面结合附图和

具体实施方式

对本发明作进一步详细的说明。

图1是本发明一实施例一种基于视频数据自适应生成缩略图摘要的系统的结构示意图；

图2是本发明一实施例一种基于视频数据自适应生成缩略图摘要的方法的流程示意图；

图3是本发明一实施例一种基于视频数据自适应生成缩略图摘要的方法中步骤S3的流程示意图。

具体实施方式

以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

本发明的基本思想是将视频数据解码成帧数据；按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；根据两个关键点计算得到临界值T；根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要，从而实现自动、自适应的快速生成清晰有效的视频缩略图。

基于以上基本思想，本发明实施例提出一种基于视频数据自适应生成缩略图摘要的系统，如图1所示，包括帧数据解码器模块，用于将视频数据解码成帧数据；帧数据选择器模块，用于按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；图像抖动的临界值计算模块，用于根据两个关键点计算得到临界值T；邻帧特征比对器模块，用于根据两个关键点计算对应的匹配向量，并计算向量的距离之和 Distance；缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。

帧数据解码器模块，在执法记录仪的视频控件中，帧数据解码器模块将录像视频数据解码成帧数据，这些帧数据实时生成，混存在内存中。

帧数据选择器模块，帧数据选择器模块默认每隔10帧获取一帧数据，将获取的帧数据写入缓存队列中，相隔10帧之后，再提取另一帧数据，写入缓存队列中；缓存队列中的帧数据每两帧同时写入帧数据缓存池。

帧数据缓存池中的数据实时更新，缓存的帧数据作为帧数据特征点提取模块的输入。

图像中的特征点是图像中具有代表的部分，具有可重复性，也即相同的特征点，可在不同的帧图像中被找到；同时又有区别性，也即同一特征点在不同的区域有不同的表达；在同一图像中，特征点的数量远远小于图像像素，特征点仅仅与一小片图像区域有关。特征点包含了在图像中的位置、大小、方向等信息，常用的特征信息包含颜色特征、纹理特征、形状特征、空间关系等。

在本实施例中，帧数据特征点提取器模块，使用SIFT(Scale Invariant Feat ureTransform，尺度不变特征变换)特征提取算法实现关键点提取。具体包括以下步骤：

a：构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点，保证尺度不变性，其主要方法就是将图像从原始分辨率开始逐步压缩，图像在压缩过程中保持不失真，不形变。通过使用的高斯金字塔，使用的是对图像下采样的方法，所以下采样即是针对图像尺寸而言的，每次对图像进行等比例压缩，然后提取信息，称之为下采样。

b：搜索关键点并定位关键点，在a步骤计算完成之后，找到了所有特征点，但是还需要去除对比度和不稳定的边缘点，留下具有代表性的关键点，比如颜色，形状边角等，最后对这些提取的离散的点，做曲线拟合，得到精确的关键点的位置和尺度信息。

c：方向赋值，为了实现旋转不变性，需要根据检测到的特关键点的局部图像为特征点赋值，这是因为SIFT算法只考虑了尺度和旋转不变性，没有处理放射不变性；

d：生成特征点的描述子，特征点的描述子不仅包含上述检测出来特征点，还包含了特征点周围对齐有贡献的像素点，这种操作的目的是使得特征点的描述子具有鲁棒性。

e：利用SIFT算法来实现特征点提取并得到关键点，分别得到关键点A_keypoints,B_keypoints。

图像抖动的临界值计算模块，调用匹配器FLANN进行特征点匹配，具体是调用匹配器的方法matcher.match(A_keypoints,B_keypoints,matches)；最终得到匹配结果matches，matches是一个匹配向量。

首先需要提前计算出一个判断视频数据是否抖动的标准，这个标准即是匹配结果向量的距离之和Distance，那么将每一次匹配的结果向量计算出距离Distanc e，对应的每一个距离匹配一个B帧，根据B帧的是否因抖动模糊失真的程度为自变量，距离Distance为因变量，画出对应的函数关系图，取肉眼可见的图像清晰的位置处的Distance作为判断临界值T。

邻帧特征比对器模块，调用匹配器FLANN进行特征点匹配，FLANN是O penCV的一个算法库，FLANN是近似最近邻的快速库。它包含一组算法，这些算法针对大型数据集中的快速最近邻搜索和高维特征进行了优化。计算相邻两帧A和B的匹配向量，计算向量的距离之和Distance。

向量所表示的距离的之和计算方法是：

缩略图生成器模块：若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。保存当前缓存的不失真图像作为当前视频的缩略图摘要，将保存的清晰、未失真的图像，按时间顺序保存在硬盘中。

本发明实施例还提出一种基于视频数据自适应生成缩略图摘要的方法，如图 2所示，包括以下步骤：

S1：将视频数据解码成帧数据；

S2：按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；

S3：从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；

S4：根据两个关键点计算得到临界值T；

S5：根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；

S6：根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。

优选的，所述提取关键点包括以下步骤：

S31：构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；

S32：搜索关键点并定位关键点；

S33：根据检测到的关键点进行方向赋值；

S34：生成特征点的描述子；

S35：利用特征点提取方法来实现特征点提取并得到关键点。

优选的，所述向量的距离之和Distance的计算：

其中，matches表示匹配向量。

优选的，所述根据临界值T和向量的距离之和Distance判断图像是否失真包括：

若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。

优选的，还包括：清除缓存的帧数据，并将未失真的图像按时间顺序保存。

基于本实施例的原理及具体实现方法已经在系统实施例中详细说明，因此不再赘述。

本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。