视频特效的检验方法、装置、计算机设备和存储介质

文档序号:196219 发布日期:2021-11-02 浏览:17次 >En<

阅读说明:本技术 视频特效的检验方法、装置、计算机设备和存储介质 (Video special effect detection method and device, computer equipment and storage medium ) 是由 陈裕发 龙祖苑 谢宗兴 于 2021-01-25 设计创作,主要内容包括:本申请涉及一种视频特效的检验方法、装置、计算机设备和存储介质。所述方法包括:获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;所述标准视频通过对初始视频添加所述目标特效后得到;所述参考视频帧与所述标准视频中目标特效的生效范围匹配;以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频;抽取所述特效视频中与所述生效范围匹配的检验视频帧;将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果。才能本申请的方法能够提高视频特效检验的效率和准确性。(The application relates to a method and a device for testing video special effects, computer equipment and a storage medium. The method comprises the following steps: acquiring a reference video frame extracted from a standard video conforming to a corresponding effect of a target special effect; the standard video is obtained by adding the target special effect to the initial video; the reference video frame is matched with the effective range of the target special effect in the standard video; taking the corresponding effect of the target special effect as an expected effect, and carrying out special effect adding processing on the initial video to obtain a special effect video to be checked; extracting a checking video frame matched with the effective range in the special effect video; and comparing the test video frame with the reference video frame to obtain a first comparison result, and obtaining a special effect test result of the special effect video according to the first comparison result. The method can improve the efficiency and accuracy of video special effect inspection.)

视频特效的检验方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术

随着图像处理技术的发展,用户对于多媒体内容的多样性要求日渐增高,用户会在编辑图像或者视频时使用各种各样的特效,使多媒体内容更加丰富多彩,因此,特效功能是否可以在实际应用中正常实现是保障用户体验的关键因素。

在相关技术中,通常从特效功能的实现代码层面检验特效功能是否正常,但是这种方式不仅效率低,并且受到代码分析人员的技术水平的制约,检验的准确度也难以保证。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高视频特效的检验效率和准确性的视频特效的检验方法、装置、计算机设备和存储介质。

一种视频特效的检验方法,所述方法包括:

获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;

所述标准视频通过对初始视频添加所述目标特效后得到;所述参考视频帧与所述标准视频中目标特效的生效范围匹配;

以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频;

抽取所述特效视频中与所述生效范围匹配的检验视频帧;

将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果。

一种视频特效的检验装置,所述装置包括:

参考视频帧获取模块,用于获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;所述标准视频通过对初始视频添加所述目标特效后得到;所述参考视频帧与所述标准视频中目标特效的生效范围匹配;

特效添加处理模块,用于以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频;

检验视频帧抽取模块,用于抽取所述特效视频中与所述生效范围匹配的检验视频帧;

比对模块,用于将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;

所述标准视频通过对初始视频添加所述目标特效后得到;所述参考视频帧与所述标准视频中目标特效的生效范围匹配;

以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频;

抽取所述特效视频中与所述生效范围匹配的检验视频帧;

将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;

所述标准视频通过对初始视频添加所述目标特效后得到;所述参考视频帧与所述标准视频中目标特效的生效范围匹配;

以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频;

抽取所述特效视频中与所述生效范围匹配的检验视频帧;

将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果。

上述视频特效的检验方法、装置、计算机设备和存储介质,通过获取从符合目标特效对应效果的标准视频中抽取的参考视频帧,由于该标准视频通过对初始视频添加所述目标特效后得到的,且参考视频帧与所述目标特效的生效范围匹配,那么参考视频帧能够准确地呈现目标特效对应的特效效果,终端进一步以所述目标特效对应效果为期待效果,对所述初始视频进行特效添加处理,获得待检验的特效视频,抽取所述特效视频中与所述生效范围匹配的检验视频帧,在终端的特效功能正常的情况下,抽取的检验视频帧能够准确地呈现目标特效对应的特效效果,因此可以将将所述检验视频帧和所述参考视频帧进行比对得到第一比对结果,根据所述第一比对结果得到所述特效视频的特效检验结果,从而实现了对特效添加功能的自动化检验,相较于相关技术中从特效功能的实现代码层面检验特效功能是否正常,通过自动化检验的方式不仅效率更高,而且不会受到代码分析人员的技术水平的制约,准确性更高。

附图说明

图1为一个实施例中视频特效的检验方法的应用环境图;

图2为一个实施例中视频特效的检验方法的流程示意图;

图3为一个实施例中生成所述初始视频帧步骤的流程示意图;

图4为另一个实施例中视频特效的检验的流程示意图;

图5为一个实施例中检验视频帧对应的差值图的直方图;

图6A为一个实施例中基础视频帧的示意图;

图6B为一个实施例中动作视频帧的示意图;

图6C为一个实施例中目标特效对应效果的示意图;

图7A为一个实施例中在识别到人脸时的特效效果示意图;

图7B为一个实施例中在在检测到出现眨眼动作时触发的特效效果的示意图;

图7C为一个实施例中差值图的示意图;

图8A为另一实施例中动作视频帧的示意图;

图8为一个实施例中视频特效的检验装置的结构框图;

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的计算机视觉等技术,具体通过如下实施例进行说明:

本申请提供的视频特效的检验方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信,终端102包括多个,例如102a、10b。终端102可以上设置有视频客户端,服务器104为视频客户端所对应的后台服务器,存储初始视频及标准视频,其中,标准视频为符合目标特效对应效果的视频,标准视频通过对初始视频添加目标特效后得到。终端可以从服务器获取到初始视频及标准视频,从标准视频中抽取与目标特效的生效范围匹配的视频帧作为参考视频帧,以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频,并进一步从特效视频中抽取与目标特效的生效范围匹配的视频作为检验视频帧,此后终端可以将检验视频帧和参考视频帧进行比对得到第一比对结果,根据第一比对结果得到特效视频的特效检验结果。

其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中,如图2所示,提供了一种视频特效的检验方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:

步骤202,获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;标准视频通过对初始视频添加目标特效后得到;参考视频帧与标准视频中目标特效的生效范围匹配。

其中,特效指的是视频特效,视频特效为视频帧中添加的特定的图案或者动画。比如,在包含人脸的视频帧中为人脸添加眼镜;再比如,在包含人脸的视频帧中添加下雪的动画。在视频特效添加功能正常的情况下,视频特效通常由视频中的特定内容触发添加。比如,在包含人脸的视频帧中,可以由人脸触发视频特效。目标特效指的是需要检验是否能够正常添加的特效。目标特效对应效果指的是正常添加该目标特效后在图形层面的效果。可以理解,当视频特效为图案时,目标特效对应效果为该图案呈现的图像效果;当视频特效为动画时,目标特效对应效果为该动画呈现的动画效果。

标准视频为特效添加效果符合目标特效对应效果的视频。由于标准视频的特效添加效果符合目标特效对应效果,那么可以将标准视频作为参考来对终端的特效添加功能进行检验。标准视频通过对初始视频添加目标特效后得到。这里对初始视频添加目标特效可以是技术人员在初始视频中手动添加目标特效;或者由视频类应用程序在读取初始视频后,自动添加目标特效,此时,为了保证检验的准确性,可以由人工对自动添加的特效进行确认,保证标准视频的特效添加效果符合目标特效对应效果。这里的初始视频指的是未添加特效的原始视频,通常地,初始视频中包含能够触发目标特效的特定内容。

在一个实施例中,初始视频可以是从互联网上搜集的包含能够触发目标特效的特定内容的视频。例如,能够触发目标特效的特定内容为人脸,则初始视频为包含人脸的视频。

可以理解,当有多个目标特效时,可以在初始视频中添加多个特效得到标准视频;或者也可以在初始视频中分别添加每一个目标特效,得到各个目标特效的标准视频,此时的标准视频中只包含一个目标特效。

参考视频帧与标准视频中目标特效的生效范围匹配。其中,目标特效的生效范围可以是目标特效的生效时间范围或者目标特效的生效视频帧的序号范围。比如,某个目标特效的生效范围可以为3.0秒至3.2秒;再比如,某个目标特效的生效范围可以是视频中第90帧至105帧。对应地,参考视频帧与目标特效的生效范围匹配指的是参考视频帧的时间在目标特效的生效时间范围内或者参考视频帧的视频帧序号在目标特效的生效视频帧的序号范围内。比如上面的例子中,当目标特效的生效范围可以为3.0秒至3.2秒,那么参考视频帧的时间需要在3.0秒至3.2秒的时间段内;当目标特效的生效范围为第90帧至105帧时,那么参考视频帧的视频帧序号需要在第90帧至105帧之间。

具体地,终端上设置有视频客户端,该视频客户端可以为网页客户端或者APP(Application,应用)客户端。该视频客户端具有特效添加的功能。终端按照预设周期对该视频客户端添加特效的功能进行检验。在进行检验时,终端从标准视频中抽取参考视频帧作为特效检验的依据。

在一个实施例中,终端在第一次检验之前,从服务器获取初始视频及标准视频,将初始视频及标准视频保存至本地,此后的每一次检验,终端可以从本地获取初始视频及标准视频,从标准视频中抽取与目标特效的生效范围匹配的视频帧作为参考视频帧。在其他实施例中,终端还可以在第一次抽取到参考视频帧时,将参考视频帧保存至本地,这样,终端在此后的检验中,可以直接从本地获取参考视频帧,从而提高特效检验的效率。

可以理解,在其他实施例中,为了节省本地的存储空间,终端本地可以不保存初始视频及标准视频,并在每一次特效检验时,向服务器发送请求,获取初始视频及标准视频,并从标准视频中抽取与目标特效的生效范围匹配的视频帧作为参考视频帧。

步骤204,以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频。

具体地,终端对初始视频进行特效添加处理,在特效添加处理的过程中,以目标特效对应效果为期待效果,获得待检验的特效视频,此时的特效视频为特效添加处理后的视频,特效视频中是否正常添加了目标特效为未知的,需要从标准视频中抽取的参考视频为依据进行检验。

在一个实施例中,终端可以以目标特效对应效果为期待效果,对初始视频的视频内容进行检测,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频。

步骤206,抽取特效视频中与生效范围匹配的检验视频帧。

具体地,由于终端在进行特效检验时,以参考视频帧为依据,参考视频帧是从符合目标特效对应效果的标准视频中获取的,且与参考视频的生效时间匹配,那么参考视频帧能够准确地呈现目标特效对应的特效效果,而对于终端而言,在特效添加功能正常下,终端对初始视频进行特效处理得到的待检验的特效视频在目标特效的生效范围会呈现目标特效的特效效果,那么终端可以从待检验的特效视频中抽取与目标特效的生效范围匹配的视频帧,作为检验视频帧,通过判断该检验视频帧是否正常添加目标特效来判断终端的特效添加功能是否正常。

在一个实施例中,终端可首先确定目标特效的生效时间范围,从待检验的特效视频中抽取时间范围在该生效时间范围内的视频帧作为与目标特效的生效范围匹配的视频帧,得到检验视频帧。例如,假设目标特效的生效时间范围为3.0S-3.2S,则可以从待检验的特效视频中3.0S-3.2S的时间段内任取一帧作为检验视频帧。可以理解,在具体实施时,为保证后续比对的准确性,终端可以获取参考视频帧的确切时间,从待检验的特效视频获取与参考视频帧的确切时间相同的视频帧作为检验视频帧。

在另一个实施例中,终端可以首先确定目标特效的生效视频帧的序号范围,从待检验的特效视频中抽取视频帧序号范围在该序号范围的视频帧作为与目标特效的生效范围匹配的视频帧,得到检验视频帧。例如,假设目标特效的生效范围为第90帧至105帧,则可以从待检验的特效视频的第90帧至105帧中任取一帧作为检验视频帧。可以理解,在具体实施时,为保证后续比对的准确性,终端可以获取参考视频帧的确切序号,从待检验的特效视频获取与参考视频帧的确切序号相同的视频帧作为检验视频帧。

步骤208,将检验视频帧和参考视频帧进行比对得到第一比对结果,根据第一比对结果得到特效视频的特效检验结果。

具体地,由于标准视频和待检验的特效视频是对同一个初始视频添加同一个特效得到的,且标准视频的特效添加效果是符合目标特效对应效果的,那么在终端的特效功能添加正常的情况下,从待检验的特效视频中目标特效的生效时间内抽取得到的检验视频帧,与从标准视频中目标特效的生效时间内抽取得到的参考视频所呈现的特效效果是相似的,那么终端可以将检验视频帧和参考视频帧进行比对,根据得到的比对结果得到待检验的特效视频的特效检验结果,该特效检验结果包括两种:终端的特效添加不正常,或者是终端的特效添加正常。

在一个实施例中,终端在将检验视频帧和参考视频帧进行比对时,可以比对检验视频帧和参考视频帧之间相似性。在其他实施例中,终端在将检验视频帧和参考视频帧进行比对时,还可以比对检验视频帧和参考视频帧之间差异性。

在一个实施例中,终端可根据第一比对结果得到用于表征特效检验结果的结果标识。例如,用“1”标识终端的特效添加正常的特效检验结果;用“0”标识终端的特效添加不正常的特效检验结果。

在一个实施例中,当特效检验结果为特效添加不正常时,终端可以生成警报信息,将警报信息发送至服务器,服务器可通知相关技术人员对特效添加功能进行改进或者进一步人工检验。

在一个实施例中,当特效检验结果为特效添加正常时,说明待检验的特效视频也是符合目标特效对应效果的,那么终端可以保存本次检验过程中的特效视频,作为下一次检验时的标准视频。

上述视频特效的检验方法中,通过获取从符合目标特效对应效果的标准视频中抽取的参考视频帧,由于该标准视频通过对初始视频添加目标特效后得到的,且参考视频帧与目标特效的生效范围匹配,那么参考视频帧能够准确地呈现目标特效对应的特效效果,终端进一步以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频,抽取特效视频中与生效范围匹配的检验视频帧,在终端的特效功能正常的情况下,抽取的检验视频帧能够准确地呈现目标特效对应的特效效果,因此可以将将检验视频帧和参考视频帧进行比对得到第一比对结果,根据第一比对结果得到特效视频的特效检验结果,从而实现了对特效添加功能的自动化检验,相较于相关技术中从特效功能的实现代码层面检验特效功能是否正常,通过自动化检验的方式不仅效率更高,而且不会受到代码分析人员的技术水平的制约,准确性更高。

在一个实施例中,以目标特效的效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频包括:以目标特效对应效果为期待效果,对初始视频的视频内容进行检测,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频。

其中,目标特效对应的触发内容指的是用于触发添加目标特效的视频内容。目标特效对应的触发内容包括目标对象、目标对象对应的目标动作中的至少一种。目标对象具体可以是独立的生命体或者物体,比如自然人、动物、车辆、虚拟角色等,也可以是特定部位,比如面部、手部等。例如,目标特效的实现为在包含人脸的视频帧中为人脸添加眼镜,则此时人脸为目标对象。目标对象对应的目标动作指的是目标对象对应的主体运动所形成的动作。目标动作可以为独立的生命体所执行的动作,例如人体的五官动作或者肢体动作。目标动作也可以是物体的运动,例如,目标动作可以是车辆的行驶。可以理解,对于不同的目标特效,其目标对象可以相同,也可以不同。

具体地,终端以目标特效对应效果为期待效果,对初始视频的视频帧进行逐帧检测,以检测初始视频的视频内容,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频。在检测的过程中,终端可以将初始视频中的视频帧逐帧输入到与目标特效对应的触发内容对应的检测模型中,得到检测结果。这里的检测模型指的是可以对视频帧进行检测的机器学习模型。可以理解,对于不同的触发内容,检测模型是不相同的。例如,触发内容为目标对象时,检测模型可以为对象检测模型;触发内容为目标动作时,检测模型为目标动作检测模型。

在一个具体的实施例中,以目标对象为人脸为例,可以获取通用的可用于人脸识别的机器学习模型作为检测模型,对初始视频中的视频帧逐帧进行人脸识别;或者也可以获取已标注人脸区域的人脸图像作为训练样本进行有监督地机器学习训练,获得可用于人脸识别的检测模型。在训练过程中,可以使用随机梯度下降算法、Adagrad((AdaptiveGradient,自适应梯度)算法、Adadelta(AdaGrad算法的改进)、RMSprop(AdaGrad算法的改进)、Adam(Adaptive Moment Estimation,自适应矩估计)算法等来调整检测模型的网络参数。当满足训练停止条件时,训练完成,得到训练后的检测模型,其中训练停止条件可以是网络参数不再发生变化,也可以是损失到达最小值,还可以是训练次数达到最大迭代次数等等。

上述实施例中,终端以目标特效对应效果为期待效果,对初始视频的视频内容进行检测,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频,那么在终端的视频特效添加功能正常的情况下,目标特效应该由触发内容触发得到,因此可以根据触发内容的出现时间来确定标准视频中目标特效的生效范围。

在一个实施例中,目标特效对应的触发内容包括目标对象,目标特效的生效时间的确定步骤包括:获取目标对象的出现时段;将目标对象的出现时段确定为目标特效的生效范围。

具体地,当目标特效对应的触发内容包括目标对象,那么目标对象出现的时候便会触发目标特效,目标对象消失之后,目标特效也消失,因此,终端可以获取目标对象的出现时段,将目标对象的出现时段确定为目标特效的生效范围。

在一个实施例中,终端在获取到初始视频后,可对初始视频的视频内容进行检测,以确定初始视频中目标对象的出现时段,将目标对象的出现时段确定为目标特效的生效范围。例如,终端对初始视频的视频内容进行检测,确定初始视频中目标对象的出现时段是3.0秒至3.2秒,则可将3.0秒至3.2秒确定为目标特效的生效范围。

在其他实施例中,终端还可以在获取到初始视频后,可对初始视频的视频内容进行检测,以确定初始视频中出现目标对象的视频帧的视频帧序号,将出现目标对象的视频帧的视频帧序号所形成的视频帧序号范围确定为目标特效的生效范围。例如,终端对初始视频的视频内容进行检测后,确定初始视频中目标对象出现的视频帧为第90帧至120帧,则可以确定目标特效的生效范围为第90帧至120帧。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标动作;目标特效的生效范围的确定步骤包括:获取目标动作的出现时段;将目标动作的出现时段之后的一段预设时间确定为目标特效的生效范围。

具体地,当目标特效对应的触发内容包括目标对象对应的目标动作,那么目标动作完成后便会触发目标特效,目标特效会持续一段预设时长的时间,因此,终端可以获取目标动作的出现时段,在获取到目标动作的出现时段后,将目标动作的出现时段之后的一段预设时间确定为目标特效的生效范围。其中,目标动作的出现时段之后的一段预设时间的时长根据目标特效持续的预设时长进行确定。可以理解,为确保生效范围确定的准确性,生效范围的时间与目标动作的出现时段之间的时间间隔越短越好。

在一个实施例中,终端在获取到初始视频后,可对初始视频的视频内容进行检测,以确定初始视频中目标动作的出现时段,将目标动作的出现时段之后的一段预设时间确定为目标特效的生效范围。例如,终端对初始视频的视频内容进行检测,确定初始视频中目标动作的出现时段是3.0秒至3.2秒,则可将3.3秒至3.4秒确定为目标特效的生效范围。

在一个实施例中,目标动作包括目标对象的目标五官动作,获取目标动作的出现时段包括:获取目标五官动作的出现时段;将目标动作的出现时段之后的一段预设时间确定为目标特效的生效范围包括:根据目标五官动作的出现时段确定目标五官动作对应的末尾单位时刻;获取目标特效的预设时长;将以目标五官动作对应的末尾单位时刻的下一个单位时刻为起始时刻、且时长与预设时长匹配的一段预设时间确定为目标特效的生效范围。

其中,目标对象为人脸,目标对象的五官动作包括眨眼、张嘴、摇头、点头、抬头等等。目标对象的目标五官动作指的是目标对象的五官动作中能够触发目标特效的五官动作。例如,目标特效为检测到眨眼动作时出现爱心动画,则对于该目标特效,其目标五官动作为眨眼。目标特效的预设时长指的是预先设置好的目标特效的生效时长。单位时刻可以预先设置,例如可以是0.1秒。末尾单位时刻指的是目标五官动作的出现时段中的最后一个单位时刻。例如,目标五官动作的出现时段为3.0秒至3.2秒,则当单位时刻为0.1秒时,目标五官动作的末尾单位时刻为3.2秒。

具体地,终端在获取到初始视频后,可对初始视频的视频内容进行检测,以确定初始视频中目标五官动作的出现时段,将目标五官动作的出现时段中最后一个单位时刻确定为目标五官动作对应的末尾单位时刻,进一步获取目标特效的预设时长,然后将该末尾单位时刻的下一个单位时刻作为目标特效的生效范围的起始时刻,根据起始时刻与预设时长的和值确定目标特效的生效范围的末尾时刻,将生效范围的起始时刻至生效范围的末尾时刻的一段时间确定为目标特效的生效范围。

举个例子,假设目标五官动作为眨眼动作,终端在对初始视频的视频内容进行检测后,确定初始视频中眨眼动作的出现时段是3.0秒至3.2秒,也就是说在3.2秒时,目标对象完成了眨眼动作,那么3.2秒为眨眼动作的末尾时刻,假设单位时刻为0.1秒,目标特效的预设时长为0.2秒,则可以将3.3秒至3.5秒确定为目标特效的生效范围。

上述实施例中,终端通过获取目标五官动作的出现时段,根据目标五官动作的出现时段确定目标五官动作对应的末尾单位时刻,获取目标特效的预设时长,将以目标五官动作对应的末尾单位时刻的下一个单位时刻为起始时刻、且时长与预设时长匹配的一段预设时间确定为目标特效的生效范围,由于目标特效的生效范围是以目标五官动作对应的末尾单位时刻的下一个单位时刻为起始时刻,那么得到的生效范围更加准确。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标肢体动作,目标特效的生效范围的确定步骤包括:获取目标肢体动作的出现时段,并获取初始视频的视频帧率;根据目标肢体动作的出现时段及初始视频帧的视频帧率确定目标肢体动作的末尾视频帧的帧序号;根据目标肢体动作的末尾视频帧的帧序号确定下一个视频帧的帧序号,获得目标特效的起始帧序号;获取目标特效的预设时长,根据预设时长及初始视频帧的视频帧率确定目标特效的视频帧数量;根据目标特效的起始帧序号及目标特效的视频帧数量确定目标特效的视频帧序号范围,将目标特效的视频帧序号范围作为目标特效的生效范围。

其中,目标对象的肢体动作指的是人的肢体动作,例如抬手、握拳、踢腿等。目标肢体动作指的是人的肢体动作中能够触发目标特效的肢体动作,例如,某个目标特效为检测到抬手动作时出现闪烁的星星,则抬手动作为该目标特效的目标肢体动作。初始视频的视频帧率为已知的,终端可以直接获取,例如视频帧率可以为30帧/秒,根据初始视频的视频帧率,终端可以按照以下公式(1)计算初始视频中任意时刻的视频帧序号:

fi=t*f0 公式(1)

其中,fi为视频帧序号,t为初始视频中的时刻,f0为初始视频的视频帧率。

举个例子,假设视频帧率可以为30帧/秒,在初始视频中第2.2秒的视频帧序号为:2.2*30=66。

可以理解的是,参照上述公式(1),计算还可以计算初始视频中任意时间段的视频帧数量,在计算任意时间段的视频帧数量时,上述公式(1)中的t为该段时间对应的时长。举个例子,假设视频帧率可以为30帧/秒,初始视频中时长为10秒的时间段的视频帧数量为:10*30=300。

具体地,终端在获取到初始视频后,可对初始视频的视频内容进行检测,以确定初始视频中目标肢体动作的出现时段,并进一步获取初始视频的视频帧率,根据目标肢体动作的出现时段确定目标肢体动作出现的末尾时刻,末尾时刻对应的视频帧即为目标肢体动作的末尾视频帧,那么终端可以参照上述公式(1)计算末尾时刻对应的视频帧的视频帧序号,得到目标肢体动作的末尾视频帧的帧序号,将目标肢体动作的末尾视频帧的帧序号加上1得到该末尾视频帧对应的下一个视频帧的帧序号,将该帧序号作为目标特效的起始帧序号。这里的起始帧序号为目标特效对应的第一个视频帧的帧序号。

在得到目标特效的起始帧序号后,终端可获取目标特效的预设时长,并参照上述公式(1)计算该预设时长对应的视频帧数量,得到目标特效的视频帧数量。

在获得目标特效的起始帧序号及目标特效的视频帧数量,终端可以确定目标特效的末尾帧序号,根据起始帧序号和末尾帧序号确定目标特效的视频帧序号范围,将该视频帧序号范围作为目标特效的生效范围。其中,目标特效的末尾帧序号指的是目标特效对应的最后一个视频帧的帧序号。

举个例子,假设目标肢体动作的出现时段为3.0秒至3.2秒,初始视频的视频帧率为30帧每秒,根据目标肢体动作的出现时段及初始视频帧的视频帧率确定目标肢体动作的末尾视频帧的帧序号为66,根据目标肢体动作的末尾视频帧的帧序号确定下一个视频帧的帧序号,获得目标特效的起始帧序号为67,假设目标特效的预设时长为0.2秒,则预设时长及初始视频帧的视频帧率确定目标特效的视频帧数量为6帧,最后根据目标特效的起始帧序号及目标特效的视频帧数量确定目标特效的视频帧序号范围67-72。

上述实施例中,终端根据目标肢体动作的出现时段及初始视频帧的视频帧率确定目标肢体动作的末尾视频帧的帧序号,将从目标肢体动作完成后的下一个视频帧确定为目标特效的起始视频帧,得到目标特效的起始帧序号,并根据目标特效的预设时长及初始视频帧的视频帧率确定目标特效的视频帧数量,从而可以确定目标特效的视频帧序号范围,将该视频帧序号范围作为目标特效的生效范围,由于该生效范围是从目标肢体动作完成后的下一个视频帧开始的,并且由视频帧序号开确定生效范围,得到的生效范围更加准确。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标动作;初始视频的生成步骤包括:获取包含目标对象的基础视频帧;获取目标动作对应的动作视频帧;在动作视频帧中,目标对象执行目标动作;根据基础视频帧和动作视频帧,生成初始视频。

其中,基础视频帧为包含目标对象的视频帧。在动作视频帧中,目标对象执行目标动作,那么动作视频帧为内容为目标对象执行目标动作的视频帧。

本实施例中,目标特效对应的触发内容包括目标对象对应的目标动作,那么生成的初始视频的视频内容中需要包含目标动作,那么终端可以获取基础视频帧,根据该基础视频帧生成多个与该基础视频帧相同的视频帧,获取目标动作对应的动作视频帧,根据该动作视频帧生成多个与该动作视频帧相同的视频帧,将连续多个动作视频帧组合得到目标动作,该目标动作与其他基础帧一起组合生成初始视频。

上述实施例中,终端通过获取包含目标对象的基础视频帧,获取目标动作对应的动作视频帧,根据基础视频帧和动作视频帧,生成初始视频,实现了初始视频的自动生成,提高了初始视频的生成效率。

在一个实施例中,如图3所示,根据基础视频帧和动作视频帧,生成初始视频帧包括:

步骤302,获取初始视频的视频帧率及预设时长,根据初始视频帧的视频帧率及预设时长确定初始视频的总帧数。

具体地,终端在获取到初始视频的视频帧率及预设时长后,可参照上述公式(1)计算初始视频的视频帧数量,即初始视频的总帧数。

步骤304,获取目标动作的出现时段,根据目标动作的出现时段及视频帧率确定动作视频帧的第一目标帧数。

具体地,终端在获取到目标动作的出现时段后,即可确定目标动作的起始视频帧的时刻以及末尾视频帧的时刻,然后参照上述公式(1)即可确定目标动作的起始视频帧的帧序号以及尾视频帧的帧序号,进而可以得到动作视频帧组合成目标动作所需要的数量,得到第一目标帧数。

步骤306,获取初始视频的总帧数与动作视频帧的第一目标帧数的差值,得到基础视频帧的第二目标帧数。

具体的,初始视频中除动作视频帧外的视频帧都可以为基础视频帧,那么终端可获取初始视频的总帧数及动作视频帧的目标视频帧数的差值,得到基础视频帧的第二目标帧数。

步骤308,根据动作视频帧生成第一目标帧数的视频帧作为目标动作的出现时段之内的视频帧,并根据基础视频帧生成第二目标帧数的视频帧作为目标动作的出现时段之外的视频帧,以生成初始视频帧。

具体地,终端可以根据动作视频帧生成与第一目标帧数数量相等且与动作视频帧内容相同的视频帧,将这些视频帧作为目标动作的出现时段之内的视频帧,并根据基础视频帧生成与第二目标帧数数量相等且与基础视频帧内容相同的视频帧,将这些视频帧作为目标动作的出现时段之外的视频帧,从而将第一目标帧数的动作视频帧与第二目标帧数的基础视频帧进行组合得到初始视频,得到初始视频中,在目标动作的出现时段会出现目标动作。

上述实施例中,通过将动作视频帧作为目标动作的出现时段内的视频帧,将基础视频帧作为目标动作的出现时段外的视频帧来生成初始视频,可以在任意时间生成任意的目标动作,具有很高的自由度。

在一个实施例中,如图4所示,提供了一种视频特效的检验方法,包括以下步骤:

步骤402,获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;标准视频通过对初始视频添加目标特效后得到;参考视频帧与标准视频中目标特效的生效范围匹配。

步骤404,以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频。

步骤406,抽取特效视频中与生效范围匹配的检验视频帧。

步骤408,将检验视频帧和参考视频帧进行比对得到第一比对结果。

通过步骤402-步骤408得到的第一比对结果可以检验终端对初始视频进行特效添加处理,获得待检验的特效视频中目标特效的效果是否正常,但是无法保证特效视频中目标特效的添加时间是否正常,终端有可能在目标特效的生效范围之前就已经添加了目标特效,此时,终端的特效添加功能也是不正常的,为了考虑这种情况,终端进一步执行以下步骤410-步骤414来得到第二比对结果,根据该第二比对结果来对特效视频中特效的添加时间进行检验。

步骤410,获取从标准视频中抽取的对照视频帧;对照视频帧与标准视频中目标特效的对照范围匹配;目标特效的对照范围在初始视频中触发内容的出现范围之前。

其中,目标特效的对照范围可以是对照时间范围或者对照视频帧的序号范围。比如,某个目标特效的对照范围可以为2.7秒至2.9秒;再比如,某个目标特效的对照范围可以是视频中第85帧至90帧。对应地,对照视频帧与目标特效的对照范围匹配指的是对照视频帧的时间在目标特效的对照时间范围内或者对照视频帧的视频帧序号在目标特效的对照视频帧的序号范围内。比如上面的例子中,当目标特效的对照范围可以为2.7秒至2.9秒,那么对照视频帧的时间需要在2.7秒至2.9秒的时间段内;当目标特效的对照范围为第85帧至90帧时,那么参考视频帧的视频帧序号需要在第85帧至90帧之间。

触发内容包括目标对象、目标对象对应的目标动作中的至少一种。那么在一个实施例中,触发内容的出现范围可以是目标对象存在的时间范围或视频帧序号范围;在其他一些实施例中,触发内容的出现范围可以是目标动作出现的时间范围或者视频帧序号范围。

目标特效的对照范围在初始视频中触发内容的出现范围之前,那么在一个实施例中,目标特效的对照范围可以为初始视频中触发内容的出现时间范围之前的一段时间,比如,触发内容的出现时间范围为3.0秒至3.2秒,则目标特效的对照范围可以为2.8秒至2.9秒;在另一个实施例中,目标特效的对照范围可以为初始视频中触发内容的视频帧序号范围之前的序号范围,这里序号范围在触发内容的视频帧序号范围之前指的是该序号范围的最大值小于触发内容的视频帧序号范围的最小值,比如,假设触发内容的视频帧序号范围为第100帧至120帧,则目标特效的对照范围可以为第90帧至95帧。

对照视频帧与标准视频中目标特效的对照范围匹配,目标特效的对照范围在初始视频中触发内容的出现范围之前,那么对照视频帧为标准视频中出现目标特效之前的视频帧,该视频帧并未添加目标特效,将该对照视频帧作为依据可以检验终端是否在不该添加目标特效的时间添加了目标特效,保证目标特效添加时间的准确性。

步骤412,抽取特效视频中与对照范围匹配的检验视频帧。

具体地,在特效添加功能正常下,终端对初始视频进行特效处理得到的待检验的特效视频在目标特效的生效范围会呈现目标特效的特效效果,而在目标特效的对照范围不会呈现目标特效的特效效果,那么终端还可以从待检验的特效视频中抽取与目标特效的对照范围匹配的视频帧,作为对照视频帧,通过判断该对照视频帧是否未添加目标特效来判断终端的特效添加功能是否正常。

在一个实施例中,终端可首先确定目标特效的对照时间范围,从待检验的特效视频中抽取时间范围在该对照时间范围内的视频帧作为与目标特效的对照范围匹配的视频帧,得到与对照时间匹配的检验视频帧。例如,假设目标特效的对照时间范围为2.6秒至2.7秒,则可以从待检验的特效视频中2.6秒至2.7秒的时间段内任取一帧作为检验视频帧。可以理解,在具体实施时,为保证后续比对的准确性,终端可以获取对照视频帧的确切时间,从待检验的特效视频获取与对照视频帧的确切时间相同的视频帧作为与对照时间匹配的检验视频帧。

在另一个实施例中,终端可以首先确定目标特效的对照视频帧的序号范围,从待检验的特效视频中抽取视频帧序号范围在该序号范围的视频帧作为与目标特效的对照范围匹配的视频帧,得到与对照时间匹配的检验视频帧。例如,假设目标特效的对照范围为第80帧至85帧,则可以从待检验的特效视频的第80帧至85帧中任取一帧作为检验视频帧。可以理解,在具体实施时,为保证后续比对的准确性,终端可以获取对照视频帧的确切序号,从待检验的特效视频获取与对照视频帧的确切序号相同的视频帧作为与对照时间匹配的检验视频帧。

步骤414,将与对照范围匹配的检验视频帧与对照视频帧进行比对,得到第二比对结果。

步骤416,根据第一比对结果和第二比对结果得到特效视频的特效检验结果。

具体地,由于标准视频和待检验的特效视频是对同一个初始视频添加同一个特效得到的,且标准视频的特效添加效果是符合目标特效对应效果的,那么在终端的特效功能添加正常的情况下,从待检验的特效视频中目标特效的对照时间内抽取得到的检验视频帧,与从标准视频中目标特效的对照时间内抽取得到的参考视频一样均是未添加特效的,那么终端可以将检验视频帧和参考视频帧进行比对,根据得到的比对结果得到待检验的特效视频的特效检验结果。

在一个实施例中,终端在将检验视频帧和参考视频帧进行比对时,可以比对检验视频帧和参考视频帧之间相似性。在其他实施例中,终端在将检验视频帧和参考视频帧进行比对时,还可以比对检验视频帧和参考视频帧之间差异性。

最后,终端结合第一比对结果与第二比对结果来确定特效视频的特效检验结果,确保终端的特效添加功能添加的特效效果符合目标特效对应效果且添加时间符合目标特效对应的添加时间,即添加效果准确且添加时间准确。

上述实施例中,终端通过获取从标准视频中抽取的对照视频帧,该对照视频帧与标准视频中目标特效的对照范围匹配,目标特效的对照范围为特效视频中触发内容的触发范围之前的范围,进一步抽取特效视频中与对照时间匹配的检验视频帧,将对照时间匹配的检验视频帧与对照视频帧进行比对,得到第二比对结果,最后结合第一比对结果和第二比对结果得到特效视频的特效检验结果,可以同时对特效添加的效果准确性和时间准确性进行检验,进一步提高特效检验的准确性。

在一个实施例中,初始视频中包含目标特效对应的触发内容;目标特效对应的触发内容包括目标对象对应的目标动作;在获取从标准视频中抽取的对照视频帧之前,方法还包括:获取目标动作的出现时段;将目标动作的出现时段之前的一段预设时间确定为目标特效的对照范围。

本实施例中,初始视频中包含目标特效对应的触发内容,目标特效对应的触发内容包括目标对象对应的目标动作,那么本实施例的标准视频在目标动作的出现时段之后生效,而在目标动作是出现时段之前的视频帧是不会呈现目标特效的特效效果的,那么对于终端而言,在特效添加功能正常的情况下,其在标准视频中未呈现目标特效的特效效果的时间段内同样不会呈现目标特效的特效效果,那么终端可以获取目标动作的出现时段,将目标动作的出现时段之前的一段预设时间确定为目标特效的对照范围。

可以理解,在目标动作的出现时段之前的视频帧中,视频帧的时间与目标动作的出现时段的时间间隔越大,该视频帧被错误添加目标特效的可能性越小,那么在确定对照范围时,可以选择与目标动作的出现时段时间间隔尽量小的一段预设时间。在一个具体的实施例中,可以获取目标动作的出现时段的起始时刻,将该起始时刻的上一个时刻确定为对照范围的末尾时刻,将以该末尾时刻结尾的一段预设时间确定为对照范围。举个例子,假设目标动作的出现时段为3.0秒至3.2秒,则目标特效的对照范围的末尾时刻为2.9秒,则可以将2.8-2.9秒确定为对照范围。

在其他实施例中,终端还可以在获取到目标动作的出现时段后,参照上述实施例中的公式(1)计算目标动作的起始视频帧的视频帧序号,将该视频帧序号的上一个序号确定为目标特效的对照范围的末尾视频帧序号,将以该末尾视频帧序号结尾的序号范围确定为对照范围。举个例子,假设目标动作的出现时段为3.0秒至3.2秒,视频帧率为30帧/秒,可以计算出目标动作的起始视频帧的视频帧序号为3*30=90,那么目标特效的对照范围的末尾视频帧序号为89,则可以将第86帧至第89帧确定为目标特效的对照范围。

上述实施例中,终端通过获取目标动作的出现时段,将目标动作的出现时段之前的一段预设时间确定为目标特效的对照范围,可以准确且快速地确定目标特效的对照范围。

在一个实施例中,将检验视频帧和参考视频帧进行比对得到第一比对结果包括:计算检验视频帧和参考视频帧之间的相似度;将计算得到的相似度作为检验视频帧和参考视频帧的比对结果,得到第一比对结果;根据第一比对结果得到特效视频的特效检验结果包括:根据相似度与预设相似度阈值之间的大小关系,确定特效视频的特效检验结果。

其中,相似度用于表征检验视频帧和参考视频帧之间的相似程度。相似度越大,表明检验视频帧和参考视频帧之间的相似程度越大,那么检验视频帧所呈现的特效效果与参考视频帧所呈现的特效效果相同的可能性也就越大。

具体地,终端在将检验视频帧和参考视频帧进行比对时,可以计算检验视频帧和参考视频帧之间的相似度,将计算得到的相似度作为检验视频帧和参考视频帧的比对结果,然后比较得到的相似度与预设相似度阈值之间的大小关系,根据相似度与预设相似度阈值之间的大小关系,确定特效视频的特效检验结果。其中的预设相似度阈值可根据经验进行预先设定。

在一个实施例中,当检验视频帧和参考视频帧之间的相似度超过预设相似度阈值时,可以确定特效视频的特效检验结果为特效添加正常;反之,当检验视频帧和参考视频帧之间的相似度不超过预设相似度阈值时,可以确定特效视频的特效检验结果为特效添加不正常。

在另一个实施例中,考虑到特效添加正常不仅包括特效添加效果正常,还包括特效添加时间正常,终端还可以获取从标准视频中抽取的对照视频帧,其中,对照视频帧与标准视频中目标特效的对照范围匹配,目标特效的对照范围在初始视频中的触发内容的出现范围之前,进一步抽取特效视频中与对照范围匹配的检验视频帧,计算与对照范围匹配的检验视频帧与对照视频帧之间的相似度,根据该相似度与预设相似度阈值之间的大小关系、以及与生效时间匹配的检验视频帧和参考视频帧之间的相似度与预设相似度阈值之间的大小关系,确定特效视频的特效检验结果。

在一个具体的实施例中,当与对照范围匹配的检验视频帧与对照视频帧之间的相似度、以及与生效时间匹配的检验视频帧和参考视频帧之间的相似度均超过预设相似度阈值时,确定特效视频的特效添加正常;反正,当与对照范围匹配的检验视频帧与对照视频帧之间的相似度、以及与生效时间匹配的检验视频帧和参考视频帧之间的相似度中任意一个相似度不超过预设相似度阈值时,确定特效视频的特效添加不正常。

在一个实施例中,计算检验视频帧和参考视频帧之间的相似度包括:获取目标特效对应的目标初始帧;通过检验视频帧与目标初始帧的像素差值更新检验视频帧的像素值;根据检验视频帧的更新像素值与预设像素差异阈值之间的大小关系,对检验视频帧中与目标初始帧相似的内容进行消除处理,以获得检验视频帧对应的差值图;通过参考视频帧与目标初始帧的像素差值更新参考视频帧的像素值;根据参考视频帧的更新像素值与预设像素差异阈值之间的大小关系,对参考视频帧中与目标初始帧相似的内容进行消除处理,以获得参考视频帧对应的差值图;基于检验视频帧对应的差值图和参考视频帧对应的差值图之间的相似度,确定检验视频帧和参考视频帧之间的相似度。

其中,目标特效对应的目标初始帧指的是与添加了目标特效的视频帧除目标特效外,其他内容的相似度超过预设阈值的视频帧。在一个具体的实施例中,目标特效对应的目标初始帧指的是与添加了目标特效的视频帧除目标特效外,其他内容完全相同的视频帧。

具体地,终端可以从初始视频的视频帧中获取目标特效对应的目标初始帧,计算与生效范围匹配的检验视频帧与目标初始帧的像素差值,用计算得到的像素差值更新该检验视频帧的像素值,得到的检验视频帧中的像素值为更新像素值,更新像素值是由像素差值得到的,那么可以反映该检验视频帧与目标初始帧的像素差异,因此可以将更新像素值与预设像素差异阈值进行比较,当某个更新像素值超过预设像素差异阈值,说明该像素与目标初始帧的像素差异较大,那么该像素可以保留;反之,当某个更新像素值不超过预设像素差异阈值,说明该像素与目标初始帧的像素较为相似,那么可以通过该像素对检验视频帧中与目标初始帧相似的内容进行消除处理,以获得该检验视频帧对应的差值图。

在一个具体的实施例中,可通过以下公式(2)对检验视频帧中与目标初始帧相似的内容进行消除处理,得到检验视频帧的差值图:

其中,(R,G,B)x,y代表差值图中第(x,y)坐标的(R,G,B)像素值,为检验视频帧第(x,y)坐标的R(Red)像素值,为目标初始帧第(x,y)坐标的R像素值,为检验视频帧第(x,y)坐标的G(Rreen)像素值,为目标初始帧第(x,y)坐标的G像素值,为检验视频帧第(x,y)坐标的B像素值,为目标初始帧第(x,y)坐标的B(Blue)像素值,L为像素差异阈值,可根据经验进行设定,例如可设定L=20。

进一步,终端可以计算参考视频帧与目标初始帧的像素差值,用计算得到的像素差值更新该参考视频帧的像素值,得到的参考视频帧中的像素值为更新像素值,更新像素值是由参考视频帧与目标初始帧之间的像素差值得到的,那么可以反映该参考视频帧与目标初始帧的像素差异,因此可以将更新像素值与预设像素差异阈值进行比较,当某个更新像素值超过预设像素差异阈值,说明该像素与目标初始帧的像素差异较大,那么该像素可以保留;反之,当某个更新像素值不超过预设像素差异阈值,说明该像素与目标初始帧的像素较为相似,那么可以通过该像素对参考视频帧中与目标初始帧相似的内容进行消除处理,以获得该参考视频帧对应的差值图。可以理解,此时得到的差值图中只保留添加特效后的图像。

可以理解,在一个具体的实施例中,可参照上述公式(2)对参考视频帧与目标初始帧相似的内容进行消除处理,得到参考视频帧的差值图。

进一步,终端可以基于检验视频帧对应的差值图和参考视频帧对应的差值图之间的相似度,确定检验视频帧和参考视频帧之间的相似度。

上述实施例中,由于差值图中消除了与目标初始帧相似的内容,只保留添加效果后的图像,那么基于差值图进行相似度计算,由于减少了冗余信息,能够大大提高相似度计算的准确性和效率。

在一个实施例中,基于检验视频帧对应的差值图和参考视频帧对应的差值图之间的相似度,确定检验视频帧和参考视频帧之间的相似度包括:对检验视频帧对应的差值图进行直方图计算,得到第一灰度直方图;对参考视频帧对应的差值图进行直方图计算,得到第二灰度直方图;对于每一个颜色通道的每一灰度值,计算第一灰度直方图和第二灰度直方图之间的像素数量差值,基于计算得到的像素数量差值计算第一灰度直方图和第二灰度直方图之间的相似度;将计算得到的相似度作为检验视频帧和参考视频帧之间的相似度。

其中,直方图(Histogram),是一种统计报告图,由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型,纵轴表示分布情况。本申请实施例中的灰度直方图,用以表示数字图像中灰度分布,标绘了图像中每个灰度值的像素数量。灰度值为0-255。

具体地,终端对检验视频帧对应的差值图进行直方图计算,统计检验视频帧中每一个颜色通道对应于每一个灰度值的像素数量,得到每一个颜色通道的灰度直方图,那么第一灰度直方图包括三个子图,分别分R对应的直方图、G对应的直方图以及B对应的直方图,其中,R对应的直方图用于表征红色通道的灰度分布,G对应的直方图用于表征绿色通道的灰度分布,B对应的直方图用于表征蓝色通道的灰度分布。如图5所示,为一个实施例中检验视频帧对应的差值图的直方图。

终端对参考视频帧对应的差值图进行直方图计算,统计参考视频帧中每一个颜色通道对应于每一个灰度值的像素数量,得到每一个颜色通道的灰度直方图,那么第二灰度直方图也包括三个子图,分别分R对应的直方图、G对应的直方图以及B对应的直方图。

进一步,对于每一个颜色通道的每一个灰度值,终端获取第一灰度直方图中其对应的像素数量,并获取第二灰度直方图中其对应的像素数量,对两个像素数量计算差异得到像素数量差值,由于该像素数量差值可以反映第一灰度直方图和第二灰度直方图之间的差异大小,因此,终端可以基于计算得到的像素数量差值计算第一灰度直方图和第二灰度直方图之间的相似度。

在一个具体的实施例中,终端可以参照以下公式(3)计算第一灰度直方图和第二灰度直方图之间的相似度:

其中,S表示相似度,表示第一灰度直方图的第n个数据,表示第二灰度直方图的第n个数据,由于每个灰度直方图包括三个子图,每个子图包括256个数据,因此,每一个灰度直方图包括256*3=768个数据,这里每一个数据表征的是当前直方图中当前颜色通道的当前灰度值的像素数量,那么N的取值为768。

进一步,终端在计算得到第一灰度直方图和第二灰度直方图之间的相似度后,将该相似度作为检验视频帧和参考视频帧之间的相似度。

上述实施例中,通过直方图计算得到检验视频帧和参考视频帧各自对应的灰度直方图,然后计算两个直方图之间的相似度,能够快速地计算两个差值图是否相似,具有高效性。

在一个具体的实施例中,提供了一种视频特效的检验方法,包括以下步骤:

1、终端获取包含目标特效的触发内容的初始视频和标准视频,其中,目标特效包括第一目标特效和第二目标特效,第一目标特效的触发内容为目标对象、第二目标特效的触发内容为目标对象对应的目标动作,初始视频和标准视频通过以下方式生成:

1-1、获取包含目标对象的基础视频帧,获取目标动作对应的动作视频帧,其中,在动作视频帧中,目标对象执行目标动作。

举例说明,以目标动作为“张开五指”的肢体动作为例,如图6A所示,为基础视频帧的示意图,如图6B所示,为动作视频帧的示意图,可以看出基础视频帧和动作视频帧均包含人体,且在动作视频帧中人体执行目标动作。

1-2、获取初始视频的视频帧率及预设时长,根据初始视频帧的视频帧率及预设时长确定初始视频的总帧数。

1-3、获取目标动作的出现时段,根据目标动作的出现时段及视频帧率确定动作视频帧的第一目标帧数。

1-4、获取初始视频的总帧数与动作视频帧的第一目标帧数的差值,得到基础视频帧的第二目标帧数。

1-5、根据动作视频帧生成第一目标帧数的视频帧作为目标动作的出现时段之内的视频帧,并根据基础视频帧生成第二目标帧数的视频帧作为目标动作的出现时段之外的视频帧,以生成初始视频帧。

1-6、对初始视频帧进行特效添加处理,添加了目标特效的视频帧,并通过人工确认添加的目标特效符合该目标特效对应效果,得到参考视频帧。

2、终端获取目标对象的出现时段,将目标对象的出现时段确定为标准视频中第一目标特效的生效范围。

可以理解,本实施例中,由于初始视频是根据基础视频帧和动作视频帧生成的,基础视频帧和动作视频帧均包括目标对象,那么第一目标特效的生效范围为整个视频。

3、终端获取目标动作的出现时段,将目标动作的出现时段之后的一段预设时间确定为标准视频中目标特效的生效范围。

其中,目标动作的出现时段在是事先已知的,终端可直接获取。

具体地,在获取到目标动作的出现时段后,根据目标动作的出现时段确定目标动作对应的末尾单位时刻,获取第二目标特效的预设时长,将以目标动作对应的末尾单位时刻的下一个单位时刻为起始时刻、且时长与预设时长匹配的一段预设时间确定为第二目标特效的生效范围。

4、终端从标准视频中抽取与第二目标特效的生效范围匹配的视频帧作为参考视频帧。

可以理解,本实施例中,由于第一目标特效的生效范围为整个视频,那么在第二目标特效的生效范围内第一目标特效也是生效的,因此与第二目标特效的生效范围匹配的视频帧会同时包含第一目标特效及第二目标特效的特效效果,可以作为这两个特效效果的参考视频帧。

举例说明,如图6C图所示,为与第一目标特效的生效范围匹配但是与第二目标特效的生效范围不匹配的视频帧,该视频帧中包含了第一目标特效,即在识别到人脸时,添加“两列帽子”图案;如如图6中的(d)图所示,为与第二目标特效的生效范围匹配的视频帧,第二目标特效为识别到“张开五指”的动作,在手心中出现一个南瓜,可以看出,图6中的(d)图同时包含了第一目标特效的效果(两列帽子)及第二目标特效的效果(手心中的南瓜)。

5、终端以目标特效对应效果为期待效果,对初始视频的视频内容进行检测,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频。

6、终端从特效视频中抽取与第二目标特效的生效范围匹配的视频帧,作为第一检验视频帧。

7、终端将第一检验视频帧和参考视频帧进行比对得到第一比对结果。

具体地,终端计算第一检验视频帧和参考视频帧之间的相似度作为第一比对结果,步骤如下:

7-1、获取目标特效对应的目标初始帧。

7-2、通过第一检验视频帧与目标初始帧的像素差值更新第一检验视频帧的像素值。

7-3、根据第一检验视频帧的更新像素值与预设像素差异阈值之间的大小关系,对第一检验视频帧中与目标初始帧相似的内容进行消除处理,以获得第一检验视频帧对应的差值图。

7-4、通过参考视频帧与目标初始帧的像素差值更新参考视频帧的像素值。

7-5、根据参考视频帧的更新像素值与预设像素差异阈值之间的大小关系,对参考视频帧中与目标初始帧相似的内容进行消除处理,以获得参考视频帧对应的差值图;

7-6、对第一检验视频帧对应的差值图进行直方图计算,得到第一灰度直方图。

7-7、对参考视频帧对应的差值图进行直方图计算,得到第二灰度直方图。

7-8、对于每一个颜色通道的每一灰度值,计算第一灰度直方图和第二灰度直方图之间的像素数量差值,基于计算得到的像素数量差值计算第一灰度直方图和第二灰度直方图之间的相似度。

7-9、将计算得到的相似度作为第一检验视频帧和参考视频帧之间的相似度。

8、终端获取目标动作的出现时段的起始时刻,将该起始时刻的上一个时刻确定为末尾时刻,将以该末尾时刻结尾的一段预设时间确定为标准视频中第二目标特效的对照范围。

9、终端从标准视频中抽取与第二目标特效的对照范围匹配的视频帧,得到对照视频帧。

10、终端从特效视频中抽取与第二目标特效的对照范围匹配的视频帧,得到第二检验视频帧。

11、终端将对照视频帧和第二检验视频帧进行比对得到第二比对结果。

具体地,终端可参考上述7-1至7-9的步骤计算对照视频帧和第二检验视频帧之间的相似度作为第二比对结果。

12、当第一比对结果超过相似度阈值且第二比对结果超过相似度阈值时,确定特效视频的特效添加正常;反正,当第一比对结果、第二比对结果中的至少一个不超过相似度阈值时,确定特效视频的特效添加不正常。

本申请还提供一种应用场景,该应用场景应用上述的视频特效的检验方法。具体地,该视频特效的检验方法在该应用场景的应用如下:

在该应用场景中,终端上设置有视频编辑类APP,该视频编辑类APP可以添加多个目标特效,其中一个目标特效为在识别到人脸时添加“兔耳朵”,如图7A所示;在检测到出现眨眼动作时会触发“爱心”动画效果,如图7B所示。终端在每天的预设时间(例如九点)执行以下步骤对该APP能够正常添加该目标特效进行检验:

1、通过该APP获取初始视频及标准视频。其中初始视频的生成以及标准视频的获取可参考上文实施例的描述,本申请在此不赘述。

需要说明的是,在该应用场景中已知初始视频的时长为10秒,视频帧率为30帧每秒,在生成初始视频帧时所用到的基础视频帧如图6A所示,动作视频帧如图8A所示,眨眼的出现时间是初始视频的3.0秒至3.2秒,即在3.2秒完成了眨眼动作,那么标准视频中,从3.3秒开始会触发“爱心”动画效果。

2、通过该APP以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频。

3、分别从标准视频和特效视频中抽取第3.3秒即第99帧来进行“添加效果后对比”。

需要说明的是,具体的对比方法对于上面两个时刻是一致的,以下仅以“添加效果后对比”为例进行说明。

4、分别将标准视频和特效视频中的第99帧和基础视频帧作差,当差值大于预设阈值时,保留该像素,当差值小于预设阈值时,将该像素的值置为0,从而得到只有添加效果的“差值图”,如图7C所示,可以看出,该图中只有兔耳朵和爱心。

5、分别对标准视频和特效视频中的第99帧对应的差值图进行直方图计算,得到各自对应的直方图。具体的计算方法参考上文实施例中的描述,本申请在此不赘述。

6、对计算得到的两个直方图计算相似度,当相似度大于预设阈值时,则说明特效视频中的特效效果与标准视频中的一致的,即特效效果是正常的。

7、分别从标准视频和特效视频中抽取第2.9秒即第2.9*30=87帧来进行“添加效果前比对”,当“添加效果前比对”得到的相似度也大于预设阈值时,则说明添加效果的时间是准确的,即该APP能够正确的识别到眨眼动作并且在正确的时间添加了眨眼动画触发的爱心动画,那么说明该APP对这一目标特效的特效添加功能是正常的。

应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图8所示,提供了一种视频特效的检验装置800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:

参考视频帧获取模块802,用于获取从符合目标特效对应效果的标准视频中抽取的参考视频帧;标准视频通过对初始视频添加目标特效后得到;参考视频帧与标准视频中目标特效的生效范围匹配;

特效添加处理模块804,用于以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频;

检验视频帧抽取模块806,用于抽取特效视频中与生效范围匹配的检验视频帧;

比对模块808,用于将检验视频帧和参考视频帧进行比对得到第一比对结果,根据第一比对结果得到特效视频的特效检验结果。

上述视频特效的检验装置,通过获取从符合目标特效对应效果的标准视频中抽取的参考视频帧,由于该标准视频通过对初始视频添加目标特效后得到的,且参考视频帧与目标特效的生效范围匹配,那么参考视频帧能够准确地呈现目标特效对应的特效效果,终端进一步以目标特效对应效果为期待效果,对初始视频进行特效添加处理,获得待检验的特效视频,抽取特效视频中与生效范围匹配的检验视频帧,在终端的特效功能正常的情况下,抽取的检验视频帧能够准确地呈现目标特效对应的特效效果,因此可以将将检验视频帧和参考视频帧进行比对得到第一比对结果,根据第一比对结果得到特效视频的特效检验结果,从而实现了对特效添加功能的自动化检验,相较于相关技术中从特效功能的实现代码层面检验特效功能是否正常,通过自动化检验的方式不仅效率更高,而且不会受到代码分析人员的技术水平的制约,准确性更高。

在一个实施例中,特效添加处理模块还用于以目标特效对应效果为期待效果,对初始视频的视频内容进行检测,并在检测到目标特效对应的触发内容时,对初始视频进行特效添加处理,获得待检验的特效视频。

在一个实施例中,目标特效对应的触发内容包括目标对象;上述装置还包括:生效范围确定模块,用于获取目标对象的出现时段;将目标对象的出现时段确定为目标特效的生效范围。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标动作;生效范围确定模块,还用于获取目标动作的出现时段;将目标动作的出现时段之后的一段预设时间确定为目标特效的生效范围。

在一个实施例中,目标动作包括目标对象的目标五官动作;生效范围确定模块,还用于获取目标五官动作的出现时段;根据目标五官动作的出现时段确定目标五官动作对应的末尾单位时刻;获取目标特效的预设时长;将以目标五官动作对应的末尾单位时刻的下一个单位时刻为起始时刻、且时长与预设时长匹配的一段预设时间确定为目标特效的生效范围。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标肢体动作;生效范围确定模块,还用于获取目标肢体动作的出现时段,并获取初始视频的视频帧率;根据目标肢体动作的出现时段及初始视频帧的视频帧率确定目标肢体动作的末尾视频帧的帧序号;根据目标肢体动作的末尾视频帧的帧序号确定下一个视频帧的帧序号,获得目标特效的起始帧序号;获取目标特效的预设时长,根据预设时长及初始视频帧的视频帧率确定目标特效的视频帧数量;根据目标特效的起始帧序号及目标特效的视频帧数量确定目标特效的视频帧序号范围,将目标特效的视频帧序号范围作为目标特效的生效范围。

在一个实施例中,目标特效对应的触发内容包括目标对象对应的目标动作;上述装置还包括:初始视频生成模块,用于获取包含目标对象的基础视频帧;获取目标动作对应的动作视频帧;在动作视频帧中,目标对象执行目标动作;根据基础视频帧和动作视频帧,生成初始视频。

在一个实施例中,初始视频生成模块,还用于获取初始视频的视频帧率及预设时长,根据初始视频帧的视频帧率及预设时长确定初始视频的总帧数;获取目标动作的出现时段,根据目标动作的出现时段及视频帧率确定动作视频帧的第一目标帧数;获取初始视频的总帧数与动作视频帧的第一目标帧数的差值,得到基础视频帧的第二目标帧数;根据动作视频帧生成第一目标帧数的视频帧作为目标动作的出现时段之内的视频帧,并根据基础视频帧生成第二目标帧数的视频帧作为目标动作的出现时段之外的视频帧,以生成初始视频帧。

在一个实施例中,上述装置还包括:对照模块,用于获取从标准视频中抽取的对照视频帧;对照视频帧与标准视频中目标特效的对照范围匹配;目标特效的对照范围在初始视频中触发内容的出现范围之前;抽取特效视频中与对照范围匹配的检验视频帧;将与对照范围匹配的检验视频帧与对照视频帧进行比对,得到第二比对结果;比对模块还用于根据第一比对结果和第二比对结果得到特效视频的特效检验结果。

在一个实施例中,初始视频中包含目标特效对应的触发内容;目标特效对应的触发内容包括目标对象对应的目标动作;上述装置还包括:对照时间确定模块,用于获取目标动作的出现时段;将目标动作的出现时段之前的一段预设时间确定为目标特效的对照范围。

在一个实施例中,比对模块还用于计算检验视频帧和参考视频帧之间的相似度;将计算得到的相似度作为检验视频帧和参考视频帧的比对结果,得到第一比对结果;根据第一比对结果得到特效视频的特效检验结果包括:根据相似度与预设相似度阈值之间的大小关系,确定特效视频的特效检验结果。

在一个实施例中,比对模块还用于获取目标特效对应的目标初始帧;通过检验视频帧与目标初始帧的像素差值更新检验视频帧的像素值;根据检验视频帧的更新像素值与预设像素差异阈值之间的大小关系,对检验视频帧中与目标初始帧相似的内容进行消除处理,以获得检验视频帧对应的差值图;通过参考视频帧与目标初始帧的像素差值更新参考视频帧的像素值;根据参考视频帧的更新像素值与预设像素差异阈值之间的大小关系,对参考视频帧中与目标初始帧相似的内容进行消除处理,以获得参考视频帧对应的差值图;基于检验视频帧对应的差值图和参考视频帧对应的差值图之间的相似度,确定检验视频帧和参考视频帧之间的相似度。

在一个实施例中,比对模块还用于对检验视频帧对应的差值图进行直方图计算,得到第一灰度直方图;对参考视频帧对应的差值图进行直方图计算,得到第二灰度直方图;对于每一个颜色通道的每一灰度等级,计算第一灰度直方图和第二灰度直方图之间的像素数量差值,基于计算得到的像素数量差值计算第一灰度直方图和第二灰度直方图之间的相似度;将计算得到的相似度作为检验视频帧和参考视频帧之间的相似度。

关于视频特效的检验装置的具体限定可以参见上文中对于视频特效的检验方法的限定,在此不再赘述。上述视频特效的检验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频特效的检验方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

35页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:动态振动传感器光学失真预测

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!