具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面说明本发明实施例的一种短视频检测和多分类装置，如图1所示，所述装置包括：获取模块、视频语音分离模块、目标短视频检测和识别模块、图像文字检测和识别模块、多领域预警关键词库构建模块、预警短视频分类模块、分类结果展示模块；其中，异常短视频为带有用户定义的异常元素的短视频，其包括目标短视频和预警短视频，目标短视频为包含预定寻找目标传播内容的信息的短视频，预警短视频为包含突发的预警信息的短视频。

所述获取模块：具体用于接收用户发送的短视频获取请求，采用获取程序以消息队列请求的方式向短视频平台或者短视频网络存储数据库发送短视频获取请求，并接收获取结果；

所述视频语音分离模块：具体用于从所述短视频中分离出短视频的视频图像帧以及该短视频中的语音信息；

所述目标短视频检测和识别模块：具体用于执行目标短视频检测和识别，首先判断图像关键帧对应的人脸数量是否满足阈值条件，若是，则利用图像关键帧的多种特征信息判断该短视频是否为目标短视频；

所述图像文字检测和识别模块：具体用于对剔除了目标短视频的剩余短视频执行文字信息识别流程；

所述多领域预警关键词库构建模块：具体用于构建多领域预警关键词库，该预警关键词库是基于预先采集的多领域语料进行训练得到的，且该多领域关键词库对应多种短视频预警类别；

所述预警短视频分类模块：具体用于将未检测出文字区域的短视频剔除，对剩余的短视频进行突发预警分类识别，匹配多领域预警关键词库，利用文本关键词分词结果的哈希相似度比对结合基于机器学习的语义比对，执行预警短视频分类；

所述分类结果展示模块：具体用于对分类短视频进行展示。

综上，本发明的实施例利用多层次的分类规则能对短视频进行多类别的分类，可将短视频分类为目标视频和突发预警视频，一方面利用图像处理技术和文本处理技术能够准确提取短视频中的蕴含的有效信息，进而可以实现短视频的多类型粗分类。另一方面可实现突发预警视频的细分类，能充分融合视频中的多种文字信息，并利用两级分类规则实现突发预警视频的分类，提高了短视频的分类多样性和准确性。

本发明的实施例还提供了一种短视频检测和多分类方法，具体包括如下步骤：

步骤1：接收用户发送的短视频获取请求，采用获取程序以消息队列请求的方式向短视频平台或者短视频网络存储数据库发送短视频获取请求，并接收获取结果；

步骤2：从所述短视频中分离出短视频的视频图像帧以及该短视频中的语音信息；

优先地，在该实施例中，本领域技术人员可以采用短视频编辑软件分离待检测短视频文件中的多个图像帧信息和语音信息，例如，将待检测的短视频文件导入短视频轨(时间轴)，然后将语音数据分割出来，即将云和短视频图像帧分割开来，然后将语音保存为音频格式对应的文件即可得到语音信息，将短视频图像帧保存为图像文件，得到短视频的多帧图像；

优选地，本实施例中为了后续减少图像帧的处理工作量，可以利用图像关键帧技术减少每个短视频对应保存的视频图像帧，具体可采用如下步骤：将获取的每个短视频划分为多个片段，从每个片段中提取一个非边缘帧作为视频图像关键帧；将提取的多个视频图像关键帧构成该短视频的图像关键帧序列，并作为该短视频的图像帧对应保存到数据库，同时将对应的语音文件也对应保存到数据库，并可设置查询索引。

在该实施例中，由于图像关键帧支持对整个短视频内容的快速查询，其可以提高对异常短视频的检测效率。同时，选取的图像关键帧代表了短视频中的异常信息，能够为异常短视频的快速识别提供良好的基础。

在目标短视频中，其主要涉及的是动态的人物的表演和/或静态的人物图片的展示的目标视频，因此目标视频通常具有某种特征，例如其通常包括人脸图像，并且人脸图像的数量通常有限的。因此为了减少后续目标短视频的图像数据处理数据量，本申请优选地对短视频中的图像关键帧进行人脸检测和识别，并标记每个图像关键帧的人脸数量，在人脸数量满足一定的阈值条件（例如1到3个）时，才执行目标短视频的检测过程。其中，人脸检测和识别算法在本领域中已经较为成熟，可以采用现有技术中已有的算法。

步骤3：执行目标短视频检测和识别，首先判断图像关键帧对应的人脸数量是否满足阈值条件，若是，则利用图像关键帧的多种特征信息判断该短视频是否为目标短视频，具体包括如下步骤：

步骤3.1：人体肤色区域检测和肤色特征提取：利用人体肤色统计模型得到人体肤色区域；根据所述肤色区域，从所述肤色区域中提取多个特征值作为特征向量，其中特征值包括：肤色占整个图像的比例、肤色连通区域的个数；最大连通区域占整个图像的比例；

其中利用人体肤色统计模型得到人体肤色区域，具体包括如下执行过程：

人体肤色统计模型构建如下：将RGB颜色空间转换到HSV空间，通过计算大量样本肤色图片的H,S,V分量，统计出H,S,V各分量平均值的分布范围及关系：

h1<H<h2；s1<S<s2；v1<V<v2；其中h1,h2,s1,s2,v1,v2为各分量上的阈值；其中，h1,h2,s1,s2,v1,v2例如分别为7,20,28,256,50,256。

人体肤色区域检测：满足上述人体肤色统计模型的像素标记为1，否则为0，并获取人体肤色连通区域，其中肤色连通区域的检测手段可采用现有技术中已知的算法。

步骤3.2：人体姿态检测和特征提取：计算连续两帧图像的帧差图像，获取运动特征，并且与人体异常姿态特征库进行对比，得到最接近的人体姿态，并且将对应的直方图特征作为人体姿态特征：

其中所述人体异常姿态特征库采用如下方式构建：根据多个目标动作短视频片段样本，计算连续两帧图像相减即得帧差图像，得到运动变化的像素，统计该像素直方图特征，将所述直方图特征构建为目标短视频动作特征库。

步骤3.3：将上述提取的人体肤色区域特征和人体姿态特征进行多特征融合，并利用分类器进行识别，得到该图像关键帧是否为目标帧图像，并进行0和1的标识。

步骤3.4：对每个短视频的多个图像关键帧执行上述过程，并将识别结果与每个视频对应保存；

在该实施例中，由于该短视频中包括多个图像关键帧，因此，某张短视频图像关键帧的检测结果不能完全代表整段短视频的异常性。因此，本实施例中采用如下过程根据短视频的所有图像关键帧的识别结果来最终确定短视频的异常性。

根据短视频的时间连续性，若短视频的图像关键帧被标记为1，则将该图像关键帧及与其前后相邻的若干短视频图像关键帧表示成张量数据的形式，通过分析提取张量数据的相关性，当相关性较大时，确定待检测短视频为目标短视频，并结束对待检测短视频的检测过程；否则，提取下一个短视频图像关键帧，并重复执行上述过程，直到确定待检测短视频为目标短视频，或者，对所有短视频图像关键帧都进行了判断，并确定待检测短视频中不为目标短视频。

步骤4：对剔除了目标短视频的剩余短视频执行文字信息的识别流程；

在预警事件视频特点中，申请人研究发现，在突发预警事件中，预警事件的短视频场景中通常会有嵌有相应的文字背景，即背景文字，文字报道或者相应的短视频标题摘要等语音和文字，即附加文字。这些背景文字的目的性也呈现多样化，可以帮助人们理解图像的信息，比如地名地标、路标路牌、商店招牌等；有些文字却是故意传播的文字，比如横幅标语等。这些背景文字的隐蔽性检测识别是我们关注的重点。附加文字是使图像或短视频内容更加容易理解，或者是为相关多媒体提供补充信息内容。

而由于视频图像中文字的复杂性，其会受到拍摄设备像素、拍摄角度、拍摄光照、拍摄抖动等因素的影响，诸多因素使得图像中的文本区域定位变得非常困难。

优选地、在文本区域检测和定位方面，本申请利用文字区域纹理的方向性，采用基于 Gabor 纹理特征和深度学习神经网络的两级文本区域检测定位方式，具体包括：

步骤4.1：对短视频图像关键帧进行网格化处理，具体为使用固定尺寸的网格分割文字子图像，网格的大小取决于对特征图像的细化程度以及计算的实时性要求，采用 N×N个像素的网格对特征区域进行网格化，每个网格的中心点作为 Gabor 特征的采样点；

步骤4.2：构建Gabor滤波器组，利用不同方向和尺度下的 Gabor 特征来描述图像关键帧中文字区域的方向性纹理，实现文字区域的初步检测；

步骤4.3：将文字区域和非文字区域的 Gabor 特征输入到深度学习神经网络训练文字区域分类器，将上述训练好的分类器用于图像关键帧文本区域的检测。

在检测到文本区域后，接着就是对文字区域进行字符识别，并保存为文本信息，其中字符识别采用如下方案：

步骤4.4：构建基于CRNN结合CTC-loss的文字识别模型，并基于该模型对上述文本区域结果进行文字识别，获取有效的文字信息。其中CRNN结合CTC-loss的文字识别模型采用本领域中通用的模型算法。

步骤4.5：在得到每个视频的多个图像关键帧的文字识别结果后，将所有识别的文字结果进行去重合并后，作为每个短视频的文本信息，对应保存。

步骤5：构建多领域预警关键词库，该多领域预警关键词库是基于预先采集的多领域语料进行训练得到的，其中，训练语料通过采集多领域的历史预警信息，包括新闻短视频、新闻文本，经过自然语言处理，包括语料清洗、分词、关键词识别、机器学习，识别分类后得到的领域标准关键词库，其中多领域关键词库对应多种短视频预警类别，同时，该构建的多领域关键词库由管理员维护，并且随着需求定时或实时更新。

步骤6：将未检测出文字区域的短视频剔除，对剩余的短视频进行突发预警分类识别，利用基于两级关键词匹配识别算法，即先利用文本关键词分词结果的哈希相似度比对，再利用基于机器学习的关键词语义比对，具体包括如下步骤：

步骤6.1：获取上述保存的每个短视频的目标文本信息；

步骤6.2：获取上述目标文本信息的分词集合；

步骤6.3：计算所述分词集合中的各个分词的哈希值，根据所述分词集合中的分词的哈希值生成与所述多领域预警关键词库中的关键词的相似度；具体为：计算所述分词集合中，与预设多领域预警关键词库中关键词的哈希值匹配的分词在所述分词集合中所占的比例；根据所述比例生成所述目标文本信息与领域预警关键词的相似度；判断相似度是否大于阈值，若是，即可判定该文本信息为该领域预警关键词，并且将该短视频分类到对应的预警类别。

在该实施例中，对于计算得到哈希相似度较低的目标文本信息，由于该多领域预警关键词库实时性不足，且包括的预警关键词不完备，以及文本存在语义变种、同义词/近义词的替换等，因此可能存在虽然某个文本信息与已存的预警信息的相似度均较低，而且分词结果的差异也较大，但仍然为预警信息的可能，因此仍然存在漏识别的风险，为此，可继续进行识别，提高识别准确度。具体包括如下步骤：

步骤6.4：在所述相似度小于阈值时，进行语义识别，根据预设的机器学习概率模型提取文本特征；将所述文本特征作为输入，根据所述预设的机器学习概率模型计算所述文本信息的置信度对所述文本信息进行语义分析；

步骤6.5：根据所述置信度判定所述文本信息是否为预警信息。其中，文本信息的文本特征可包括TF-IDF特征。可预先输入预警信息的样本进行机器学习，从而服务器建立机器学习概率模型，在该机器学习概率模型训练完毕后，则可将提取的文本特征输入到该机器学习概率模型中计算置信度，当置信度大于阈值时，则表示机器识别成功，从而可判定目标文本信息为预警信息，并且将该短视频分类到对应的预警类别；否则，判定该目标文本信息为非预警信息。

步骤7：对分类短视频进行展示。

综上，本发明可以实现如下技术效果：1）、利用多层次的分类规则能对短视频进行多类别的分类，提高了短视频的分类多样性和准确度。2）、在进行目标短视频识别时，利用关键帧减少了短视频帧图像的处理数据，同时融合了多种目标特征进行目标视频识别。3）、通过图像处理技术和文本处理技术能够准确提取短视频中的蕴含的有效信息，实现了对短视频中的嵌入文字和标注文字的检测和识别。4）、在进行预警短视频分类时，为了克服信息变种的问题，引入了相似度识别结合机器语义识别的两层识别模型。

上文所描述的各种方法，在一些实施例中，可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM 和/或通信单元而被载入和/或安装到设备上。当计算机程序被加载到RAM 并由CPU 执行时，可以执行上文描述的方法中的一个或多个动作或步骤。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。

以上所述仅为本公开的实施例可选实施例，并不用于限制本公开的实施例，对于本领域的技术人员来说，本公开的实施例可以有各种更改和变化。凡在本公开的实施例的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本公开的实施例的保护范围之内。