一种视频审核方法和服务器
阅读说明：本技术 一种视频审核方法和服务器 (Video auditing method and server ) 是由 范鑫 钟湧睿 于 2020-07-09 设计创作，主要内容包括：本发明公开了一种视频审核方法,在服务器中执行,包括：将待审核的视频文件切分为多个时段的视频子文件,该多个视频子文件具有优先级顺序；从第一优先级的视频子文件中提取音频子文件,计算该音频子文件所对应的文本信息的违规概率,并采用该违规概率所对应的切帧间隔对同时段的视频子文件进行切帧,得到包括多个图片帧的图片子文件；通过计算每个图片帧的违规概率来确定图片子文件的违规概率；综合两种违规概率确定中间时段的视频子文件的违规概率；若该违规概率大于等于第一阈值,则判定视频文件违规,反之,则按照优先级顺序继续判定其他优先级的视频子文件的违规概率,以确定视频文件是否违规。本发明还公开了用于执行该方法的服务器。(The invention discloses a video auditing method, which is executed in a server and comprises the following steps: the method comprises the steps of segmenting a video file to be audited into video subfiles of a plurality of time periods, wherein the video subfiles have priority orders; extracting an audio subfile from the video subfiles with the first priority, calculating the violation probability of text information corresponding to the audio subfile, and performing frame cutting on the video subfiles in the same time period by adopting a frame cutting interval corresponding to the violation probability to obtain a picture subfile comprising a plurality of picture frames; determining violation probabilities of the picture subfiles by calculating the violation probability of each picture frame; the two violation probabilities are integrated to determine the violation probability of the video subfile in the middle period; and if the violation probability is larger than or equal to the first threshold, determining that the video file violates rules, otherwise, continuously determining the violation probability of the video subfiles with other priorities according to the priority order to determine whether the video file violates rules. The invention also discloses a server for executing the method.)
技术领域
本发明涉及视频技术领域，尤其涉及一种视频审核方法和服务器。
背景技术
视频是信息内容常用的展现形式，且在当下生活照占据越来越重要的地位。根据法律法规的相关规定，视频在传播到公众之前，需要依法进行内容审核，审核包括垃圾信息、涉政、暴力、恐怖、辱骂、色情、违禁及其他类型的不合格不合法的视频，禁止此类视频传播，避免造成不良的社会影响。
由此可见，视频审核是信息审核的不可缺少的一步。目前有完全的人工视频审核，或者通过计算机学习算法对视频内容进行辅助审核，机器学习算法先将视频逐帧地分解后再进行违规判定，然后再将违规概率高的视频交由人工进行复审。这些方式都比较费时费力、效率有限。因此需要一种更准确而且高效的视频审核方法。
发明内容
鉴于上述问题，本发明提出了一种视频审核方法和服务器，以力图解决或者至少解决上面存在的问题。
根据本发明的一个方面，提供了一种视频审核方法，适于在服务器中执行，该方法包括步骤：获取待审核的视频文件，将视频文件切分为多个时段的视频子文件，该多个视频子文件具有优先级顺序，该优先级从中间时段向两端递减；从第一优先级的视频子文件中提取音频子文件，将所述音频子文件转换为文本信息；计算文本信息的违规概率，确定该违规概率所对应的切帧间隔，并采用该切帧间隔对同时段的视频子文件进行切帧，得到包括多个图片帧的图片子文件；通过计算每个图片帧的违规概率来确定图片子文件的违规概率；综合文本信息和图片子文件的违规概率来确定第一优先级的视频子文件的违规概率；若该违规概率大于等于第一阈值，则判定视频文件违规，反之，则按照优先级顺序继续判定其他优先级的视频子文件的违规概率，以确定视频文件是否违规。
可选地，在根据本发明的视频审核方法中，将所述视频文件切分为多个时段的视频子文件的步骤包括：将视频子文件切分为三个时段的视频子文件，该三个时段的优先级顺序为：第二时段、第三时段和第二时段；或者将视频子文件切分为五个时段的视频子文件，该五个时段的优先级顺序为：第三时段、第四时段、第二时段、第五时段和第一时段。
可选地，在根据本发明的视频审核方法中，将音频子文件转换为文本信息的步骤包括：去除音频子文件中的环境音和背景音，提取人声，通过对该人声语音识别后，转换为对应的文本信息。
可选地，在根据本发明的视频审核方法中，服务器中存储有违规文本库，该违规文本库包括多条违规文本，计算文本信息的违规概率的步骤包括：将文本信息切分为多个单句，分别计算单句与多条违规文本的匹配度，并基于该单句的匹配度确定文本信息的违规概率。
可选地，在根据本发明的视频审核方法中，文本信息的违规概率与切帧间隔的关系包括以下任意一种方式：切帧间隔与文本信息的违规概率负相关；若文本信息的违规概率小于第二阈值，则采取第一切帧间隔，反之则采用第二切帧间隔；若文本信息的违规概率小于第二阈值或大于第三阈值，则采取第一切帧间隔，反之则采用第二切帧间隔；其中，第一切帧间隔大于第二切帧间隔。
可选地，在根据本发明的视频审核方法中，还包括步骤：获取匹配度高的单句在所述音频子文件中的时间段，将该时间段标记为第一关键时段，并缩小第一关键时段的图片切帧间隔。
可选地，在根据本发明的视频审核方法中，在得到包括多个图片帧的图片子文件之后，还包括步骤：计算该图片子文件中相邻两个图片帧的相似度，若该相似度大于等于第四阈值，则将其中一个图片帧从该图片子文件中剔除。
可选地，在根据本发明的视频审核方法中，服务器中存储有样本图片库，样本图片库包含多张违规的样本图片，通过计算每个图片帧的违规概率来确定图片子文件的违规概率的步骤包括：分别计算图片帧与多张样本图片的匹配度，基于该多个匹配度确定图片帧的违规概率，并综合每个图片帧的违规概率来确定图片子文件的违规概率。
可选地，在根据本发明的视频审核方法中，多张样本图片归属于多个违规类别，该方法还包括步骤：对于违规概率高的图片帧，通过统计该图片帧与同一类的多张样本图片的匹配度来确定该图片帧的违规类别。
可选地，在根据本发明的视频审核方法中，还包括步骤：获取违规概率高的图片帧在图片子文件的时间段，将该时间段标记为第二关键时段；综合第一关键时段和第二关键时段确定视频子文件的关键时段，以进行信息记录。
可选地，在根据本发明的视频审核方法中，按照优先级顺序继续判定其他优先级的视频子文件的违规概率步骤包括：若按照优先级顺序确定某一优先级的视频子文件的违规概率大于等于第一阈值，则判定视频文件违规，反之则继续下一优先级的视频子文件的违规概率判定。
根据本发明的另一方面，提供一种服务器，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，该一个或多个程序被处理器执行时实现如上所述的视频审核方法的步骤。
根据本发明的又一方面，提供一种存储一个或多个程序的可读存储介质，该一个或多个程序包括指令，所述指令当由服务器执行时实现如上所述的视频审核方法的步骤。
根据本发明的技术方案，采用自动审核的方式对视频信息进行审核，首先将一段视频文件划分为多个视频子文件，考虑到涉嫌违规的内容一般较少位于视频前段和视频后段，因此本发明优先处理处于中间时段的视频。而且，考虑到一段视频的文本识别相比于图片识别更为高效，因此本发明先对该视频中断的音频进行语音识别后转换为文字，并识别该文字的违规概率。如果文字违规概率高，则同时段的图片切帧间隔可以适当小些，反之则可以适当大些，这样有效降低图片处理量和处理效率。
进一步地，对于切帧出的图片，本发明还可以计算相邻图片的相似度，若相邻图片相似度比较高，则可以直接剔除图片，进一步降低后续的图像匹配量。而且，本发明还可以记录违规概率高的单句时段，处于该单句时段的切帧间隔可以适当缩小。同时，本发明还可以记录违规概率高的单句时段和图片帧所在时段，并重点记录这些时段的视频信息，以便后续核验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的
具体实施方式
。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的服务器100的结构框图；
图2示出了根据本发明一个实施例的视频审核方法200的流程图；
图3示出了根据本发明另一个实施例的视频审核方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明一个实施例的服务器100的框图。在基本的配置102中，服务器100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。程序数据124包括指令，在根据本发明的服务器100中，程序数据124包含用于执行视频审核方法200的指令。
服务器100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
服务器100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。服务器100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，服务器100被配置为执行视频审核方法200。
根据本发明的一个实施例，服务器100中还可以存储违规文本库和样本图片库。违规文本库包括多条违规文本，样本图片库包含多张违规的样本图片。该多条违规文本归属不同的违规类别，该多条样本图片也归属不同的违规类别。违规类别包括但不限于垃圾信息、涉政、暴力、恐怖、辱骂、色情、违禁及其他类型。
图2示出了根据本发明一个实施例的视频审核方法200的流程示意图。方法200在服务器(如服务器100)中执行。如图2所示，该方法始于步骤S210。
在步骤S210中，获取待审核的视频文件，将视频文件切分为多个时段的视频子文件，该多个视频子文件具有优先级顺序，该优先级从中间时段向两端递减。
一般地，可以根据视频文件的时长进行切分，本领域技术人员可以根据需要自行选定切分的个数，本发明对此不作限制。在一种实现方式中，可以将视频文件按时长等分为多个视频子文件；或者按时长随机切分。在另一种实现方式中，还可以提取该视频文件所对应的音频文件，并基于该音频文件中的声音间隔来确定视频子文件的切分时长。这样，一个视频子文件一般含有的是完整的语句，避免出现一段话或一句话被划分到不同的视频子文件中。
进一步地，考虑到涉嫌违规的内容一般较少位于视频前段和视频后段，因此中间时段的视频文件可以多切分出几个视频子文件，也就是降低中间时段的视频切分时长，以重点审核中间时段的视频文件。相对应地，视频前段或视频后段部分，则可以适当延长视频切分时长，以提高视频审核的整体效率。
应当理解的是，所切分出的多个视频子文件，越靠近视频中段，其优先级越高；越靠近视频两端，其优先级越低。与视频中断的时长距离相等的，则后端视频的优先级高于前端视频的优先级。进一步地，本发明可以为每个视频子文件设置对应的文件编码，按照视频前后顺序从前至后依次按序编码。那么文件编码数约接近所有文件编码的中位数，则优先级越高；而如果前端视频的编码数和后端视频的编码数与中位数距离相等，则后端的子视频文件的优先级更高。
根据一个实施例，将视频文件切分为三个时段的视频子文件，该三个时段的优先级顺序为：第二时段、第三时段和第二时段。也就是先审核中间时段的，后审核中间靠后时段的，最后审核中间靠前时段的。
根据另一个实施例，将视频文件切分为五个时段的视频子文件，该五个时段的优先级顺序为：第三时段、第四时段、第二时段、第五时段和第一时段。也就是，可将视频文件切分为奇数个视频子文件，然后最中间的视频子文件的优先级最高。
随后，在步骤S220中，从第一优先级的视频子文件中提取音频子文件，将该音频子文件转换为文本信息。
这里，若在步骤S210中未提取视频文件的完整音频文件，则在步骤S220中单独提取该第一优先级的视频子文件的音频子文件。若在步骤S220中已提取了视频文件的完整音频文件，则在步骤S220中从所提取的完整音频文件中截取该第一优先级对应时段的音频子文件。
根据本发明的一个实施例，将音频子文件转换为文本信息的步骤包括：去除音频子文件中的环境音和背景音，提取人声，通过对该人声语音识别后，转换为对应的文本信息。杂音的消除这样不仅可以减少需要处理的人声文件数据量；同时也可以提高后续自然语言处理的速度，快速的将人声音频信息转换成文本信息。
需要说明的是，环境音和背景音的消除、语音识别和文字转换都是本领域比较成熟的技术，本领域技术人员可以根据需要合理选择实现方法，本发明对此不作限制。例如，利用语音识别引擎对分离的人声数据做自然语言处理，将语音文件转换成文本信息。
随后，在步骤S230中，计算文本信息的违规概率，确定该违规概率所对应的切帧间隔，并采用该切帧间隔对同时段的视频子文件进行切帧，得到包括多个图片帧的图片子文件。
根据一个实施例，计算文本信息的违规概率的步骤包括：将文本信息切分为多个单句；对于每个单句，分别计算该单句与多条违规文本的匹配度，并基于该单句的匹配度确定文本信息的违规概率。这里，可利用文本审核引擎对转换后的文本信息进行审核，标记不合法不合规的内容，返回审核结果。
其中，单句切分可根据标点符号进行切分。单句与违规文本的匹配度可采用现有的任意语句匹配算法，如最大公共子序列算法等，本发明对此不作限制。
一个单句与一个违规文本的匹配度可作为该单句针对该违规文本的违规概率，通过综合一个单句对于多条违规文本的违规概率可得到该单句的违规概率。例如，将单句对多条违规文本的违规概率降序排序，将其中最大值作为该单句的违规概率，或者将前N位的数值的平均值作为该单句的违规概率。
已知每个单句的违规概率，则综合所有单句的违规概率可得到文本信息的违规概率。同样地，可将文本信息的多个单句的违规概率降序排序，将其中最大值作为该文本信息的违规概率，或者将前N位的数值的平均值作为该文本信息的违规概率。
在第一种实现方式中，视频子文件的切帧间隔与文本信息的违规概率负相关，也就是同时段的文本信息的违规概率越高，则对应的切帧间隔则越小。此时，切帧间隔是一个随违规概率而动态变化的数值。
在第二种实现方式中，若文本信息的违规概率小于第二阈值，则采取第一切帧间隔；反之，若文本信息的违规概率大于等于第二阈值，则采用第二切帧间隔，其中第一切帧间隔长于第二切帧间隔。此时，切帧间隔根据违规概率的大小两个区间选取两个确定间隔时间。其中，第二阈值的取值区间可为[40％，50％)，例如可以为40％或49％，当然不限于此。
在第三种实现方式中，若文本信息的违规概率小于第二阈值，或者大于第三阈值，则采取第一切帧间隔；反之，若文本信息的违规概率的区间为[第二阈值，第三阈值]，则采取第二切帧间隔。其中，第二阈值的取值区间可以为[40％，50％)，例如可以为40％或49％，当然不限于此。第三阈值的取值区间可以为[80％，95％]，例如可以为80％或95％，当然不限于此。
这里，采用更精确的分割方式，主要是考虑当文本违规概率很低(例如30％)时，图片帧的违规概率也比较低，因此可以粗切帧。而当违规概率很高(例如92％)时，则图片帧违规的概率也比较高，这样随便截取出的图片帧都有可能是违规的。而当文本违规概率不高不低，导致文本违规比较可疑时，需要重点审核图片帧的结果，来确定这段子视频是否真正违规。
根据本发明的一个实施例，还可以获取匹配度高的单句在音频子文件中的时间段，将该时间段标记为第一关键时段，并缩小第一关键时段的图片切帧间隔。若一小段文本信息的违规概率偏高，则需要重点审核该段文本信息所对应的图片帧。因此，可在原切帧间隔的基础上再适当缩小该第一关键时段的切帧间隔，以获取到该区间内的更多图片帧，提高视频审核的准确度。
根据本发明的另一个实施例，通过切帧得到图片子文件之后，还可以计算该图片子文件中相邻两个图片帧的相似度，若该相似度大于等于第四阈值，则将其中一个图片帧从该图片子文件中剔除。这样比较相似的图片帧只用判定一次即可，提高图片审核工作量和审核效率。第四阈值的取值区间可以为[80％，95％]，例如可以为80％或95％，当然不限于此。
随后，在步骤S240中，通过计算每个图片帧的违规概率来确定图片子文件的违规概率。
具体地，对于每个图片帧，可分别计算该图片帧与多张样本图片的匹配度，基于该多个匹配度确定图片帧的违规概率，并综合每个图片帧的违规概率来确定图片子文件的违规概率。
这里，可先对样本图片进行训练，训练的目标函数用
为样本图片选择尺度和纵横比，一般来说，样本图片不需要和每一帧的图片相对应，特定的特征图负责处理图像中特定尺度的物体。在每个特征图上，默认样本图片的尺度计算如下：
一个图片帧与一个样本图片的匹配度可作为该图片帧针对该样本图片的违规概率，通过综合一个图片帧对于多个样本图片的违规概率可得到该图片帧的违规概率。例如，将图片帧对多条样本图片的违规概率降序排序，将其中最大值作为该图片帧的违规概率，或者将前N位的平均值作为该图片帧的违规概率。
已知每个图片帧的违规概率，则综合所有图片帧的违规概率可得到图片子文件的违规概率。同样地，可将图片子文件的多个图片帧的违规概率降序排序，将其中最大值作为该图片子文件的违规概率，或者将前N位的平均值作为该图片子文件的违规概率。
根据本发明的一个实施例，还可以获取违规概率高的图片帧在图片子文件的时间段，将该时间段标记为第二关键时段，并综合该第一关键时段和第二关键时段确定来视频子文件的关键时段，以进行信息记录。也就是将第一关键时段和第二关键时段取并集，作为视频子文件的关键时段，记录该时段的视频信息，以便后续审核。
随后，在步骤S250中，综合文本信息和图片子文件的违规概率来确定中间时段的视频子文件的违规概率。这里可采用两者取平均或取最大值的方式来确定该视频子文件的违规概率。
随后，判定该违规概率是否大于等于第一阈值。
若是，则在步骤S260中，判定视频文件违规。
反之，则在步骤S270中，按照优先级顺序继续判定其他优先级的视频子文件的违规概率，以确定视频文件是否违规。
这里，若按照优先级顺序确定某一优先级的视频子文件的违规概率大于等于第一阈值，则判定视频文件违规，反之则继续下一优先级的视频子文件的违规概率判定。
具体而言，若判定第一优先级的视频子文件不违规，则继续判定第二优先级的视频子文件是否违规，其违规判定方法参考第一优先级的视频子文件的违规判定方法。即，从第二优先级的视频子文件中提取音频子文件，将该音频子文件转换为文本信息；计算该文本信息的违规概率，确定该违规概率所对应的切帧间隔，并采用该切帧间隔对同时段的视频子文件进行切帧，得到包括多个图片帧的图片子文件；通过计算每个图片帧的违规概率来确定图片子文件的违规概率；综合文本信息和图片子文件的违规概率来确定第二优先级的视频子文件的违规概率，并判定该违规概率是否大于等于第一阈值；若是，则判定该视频文件违规，反之，则按照优先级顺序继续判定第三优先级的视频子文件的违规概率，以确定该视频文件是否违规。
也就是，只要有某一优先级的视频子文件的违规概率达标，则确定该视频文件违规，并停止审核流程。如果所有视频子文件的违规概率均不达标，则确定该视频文件不违规。当然，为了提高审核效率，本发明可略过首尾两端的视频子文件的审核，而只审核中部时段的一个或多个视频子文件，得到审核结果。
进一步地，考虑到违规文本和样本图片都具有不同的违规类型，因此，若已判定一个视频文件违规，则可以根据违规概率最高的视频子文件来判定该视频文件的违规类型。
具体地，提取该视频子文件所对应的文本信息中违规概率高的一个或多个单句，统计每个单句与同一类的多张违规文本的匹配度来确定该单句的违规类别，进而通过统计该多个单句的违规类别，来确定该文本信息的违规类别。这里，还可以基于匹配度计算单句或文本信息属于每种违规类别的概率。
同样地，提取该视频子文件所对应的图片子文件中违规概率高的一个或多个图片帧，统计该图片帧与同一类的多张样本图片的匹配度来确定该图片帧的违规类别，进而通过统计该多个图片帧的违规类别，来确定该图片子文件的违规类别。同时，还可以基于匹配度计算图片帧或图片子文件属于每种违规类别的概率。
之后，结合同时段的文本信息的违规类别，可确定该视频子文件的违规类别。例如，可将图片子文件和文本信息的最大概率的违规类别作为视频文件的违规类别；或者对属于同一类的违规类别的两个概率值求平均后，选取平均概率值最大的违规类别作为视频文件的违规类别。
需要说明的是，方法200中对原始视频的时长并不作限制，任意视频均可采用方法200的方式进行审核。当然，作为优选地，时长适中或稍长的视频可采用方法200的方式进行审核；而当视频很短时，例如只有几秒钟，则可以不切分视频文件，直接对整个视频文件提取音频和图片帧，来进行后续审核。另外，以上内容中提出了多种阈值、时长和切帧间隔，本领域技术人员可以根据需要自行设定其取值范围或大小，本发明对此不作限制。
图3示出了根据本发明另一个实施例的视频审核方法。如图3所示，在一种实现方式中，在同步审核规则下，本发明采用方法200中的音频和图片帧审核同步进行的方法来进行视频审核，并综合两种审核结果来确定视频的审核结果。同时，本发明可以自定义抽取视频音频审核的逻辑和抽取视频图片帧的逻辑，通过更高效的查找算法查找音频转文字信息和视频图片帧组中的不合法不合规的信息，可以更快的完成审核。
而在另一种实现方式中，音频审核和图片帧审核这两个流程可任选其一进行，通过抽取视频音频进行语音识别审核，或者抽取视频图片帧进行图片识别审核，任何一个流程结束即可完成审核流程，该单一流程的审核结果即为视频的审核结果。
这里，可以预设审核规则，若审核规则为任选其一审核，则任选一个音频审核或图片帧审核进行视频审核；若审核规则为限定音频审核，则采用音频审核流程进行视频审核；若审核规则为限定图片帧审核，则采用图片帧审核流程进行视频审核；若审核规则为两者同步审核，则采用方法200完成两种审核方式后得到视频审核结果。
或者，可以根据视频时长自动选择审核方式。若视频时长过短，小于第五阈值，如15s内，则采用不切分的单一审核方式。若视频时长适中或过长，大于等于第五阈值，如2min，则采用方法200中的切分的同步审核方式、或者切分的单一审核流程。其中，第五阈值的取值，本领域技术人员可以根据需需要自行设定，本发明对此不作限制。
根据一个实施例，不切分的单一音频审核流程包括：抽取完整音频文件，消除非人声，通过人声识别后将音频转换为文字信息，以及对文字信息进行审核后得到该完整音频文件的违规概率。
根据另一个实施例，切分的单一音频审核流程包括：从视频文件中提取音频文件，将该音频文件切分为多个音频子文件，提取中间时段的音频子文件，消除该音频子文件的非人声，通过人声识别后将音频转换为文字信息，以及对文字信息进行审核后得到该音频子文件的违规概率。若该违规概率大于第一阈值，则判定整段视频违规，反之则继续计算其他时段的音频子文件的违规概率，以确定视频文件是否违规。这里，音频文件根据音频的空白音和时段来切分出多个音频子文件，且每个切分时段与视频子文件一样具有同样的优先级顺序。
根据一个实施例，不切分的单一图片帧审核流程包括：从视频文件中通过切帧提取图片文件，该图片文件包括多个图片帧，依次判定每个图片帧的违规概率，进而确定该图片文件的违规概率，作为视频文件的违规概率，以确定视频文件是否违规。
根据另一个实施例，切分的单一图片帧审核流程包括：将视频文件切分为多个视频子文件，从第一优先级(也就是中间时段)的视频子文件提取图片子文件，依次判定每个图片帧的违规概率，进而确定该图片子文件的违规概率。若该违规概率大于等于第一阈值，则判定整段视频违规，反之则继续计算其他时段的图片子文件的违规概率，以确定视频文件是否违规。
另外，当视频音频审核不通过时，返回不通过的文字信息和文字信息所处的视频时间轴，进行信息记录，以便有需要时进行二次校验。当视频图片帧审核不通过时，返回审核不通过的视频图片帧及该图片帧所处的视频时间轴，也进行信息记录，以便进行二次校验。
根据本发明的技术方案，提供了一种基于系统快速高效审核视频信息的方法，其视频音频审核及视频图片帧同步审核结合应用，快速的进行图片视频审核。本发明可以支持视频音轨审核和视频图片帧审核共同审核双重确认的审核，也可以支持单一审核不通过即完成审核的逻辑，可以根据业务需要在审核速度和审核准确性上选择合适的审核方式。多样的审核方式和多种审核逻辑，可以根据实际需求选择，能够快速、准确的进行视频文件的审核，具有较好的应用性。
本发明可对动态图片进行图片抽帧处理，将动态图处理成若干张静态图片，再对所有静态图片进行审核。同时，还设置容错处理机制，在图片视频信息审核过程中，通过多种方式来处理可能发生的错误，对出现的错误进行细化，并分类处理，以确保图片视频信息审核的准确。这样，可以避免传统图片审核方法无法快速审核动态图的问题，即使面对大量数据也能实现快速审核。
另外，本发明还可以根据时长来自动选择切分或切分、单一或同步的审核方式，提高海量数据的整体审核效率。而且，同步切分的审核过程中，可根据音频子文件的识别结果来选择图片帧的切帧间隔，文本违规概率很低或很高的图片切帧少，文本违规比较可疑的图片切帧多。同时，标记文本违规概率高和图片帧违规概率高的时段，进行信息记录，以便后续审核。
A9、如A8所述的方法，其中，所述多张样本图片归属于多个违规类别，所述方法还包括步骤：对于违规概率高的图片帧，通过统计该图片帧与同一类的多张样本图片的匹配度来确定该图片帧的违规类别。
A10、如A8所述的方法，还包括步骤：获取违规概率高的图片帧在图片子文件的时间段，将该时间段标记为第二关键时段；综合所述第一关键时段和第二关键时段确定所述视频子文件的关键时段，以进行信息记录。
A11、如A1-A10中任一项所述的方法，其中，所述按照优先级顺序继续判定其他优先级的视频子文件的违规概率步骤包括：若按照优先级顺序确定某一优先级的视频子文件的违规概率大于等于第一阈值，则判定所述视频文件违规，反之则继续下一优先级的视频子文件的违规概率判定。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的视频审核方法。
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。