一种视频切片方法、装置、电子设备及存储介质

文档序号:1957072 发布日期:2021-12-10 浏览:15次 >En<

阅读说明:本技术 一种视频切片方法、装置、电子设备及存储介质 (Video slicing method and device, electronic equipment and storage medium ) 是由 成超 蔡媛 樊鸿飞 汪贤 鲁方波 于 2020-06-10 设计创作,主要内容包括:本申请实施例提供了一种视频切片方法、装置、电子设备及存储介质,涉及视频处理技术领域,所述方法包括:从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度,若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个视频帧之间进行视频切片。采用本申请可以提高视频切片的准确性。(The embodiment of the application provides a video slicing method, a video slicing device, electronic equipment and a storage medium, and relates to the technical field of video processing, wherein the method comprises the following steps: and calculating the image similarity between every two adjacent video frames from the first video frame of the video to be sliced, and if the image similarity between the two adjacent video frames is smaller than a preset threshold, carrying out video slicing between the two video frames smaller than the preset threshold. By the adoption of the method and the device, the accuracy of video slicing can be improved.)

一种视频切片方法、装置、电子设备及存储介质

技术领域

本申请涉及视频处理技术领域,特别是涉及一种视频切片方法、装置、电子设备及存储介质。

背景技术

视频切片是指将一段视频以镜头为单位切分成多个视频片段,每个视频片段可称为一个镜头。其中,一个镜头为摄像设备在同一次拍摄过程中,拍摄的一段具有连续时空关系的视频帧序列。

在相关技术中,通常使用快进运动图像压缩(Fast Forward Mpeg,FFmpeg)工具对视频进行视频切片。例如,如图1所示,图1为一段足球直播视频的视频帧序列,该足球直播视频的视频帧序列由4段连续镜头组成。镜头一为高空场景俯瞰整个防守禁区,球员完成射门的视频帧序列;镜头二为对球员特写的视频帧序列;镜头三为射门回放的视频帧序列;镜头四为对对方球员特写的视频帧序列。其中,图1中剪刀所示的位置为FFmpeg工具对该足球直播视频进行视频切片的位置。

然而,FFmpeg工具进行视频切片过程中,可能会将一个镜头切分为两个或多个视频切片,或者,将多个镜头切分为一个视频切片,视频切片的准确性较低。

发明内容

本申请实施例的目的在于提供一种视频切片方法、装置、电子设备及存储介质,以提高视频切片的准确性。具体技术方案如下:

第一方面,本申请实施例提供一种视频切片方法,所述方法包括:

从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度;

若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。

在一种可能的实现方式中,所述计算每两个相邻视频帧之间的图像相似度,包括:

通过指定相似度算法,计算每两个相邻视频帧之间的图像相似度;或者,

针对每两个相邻视频帧,分别采用多种相似度算法计算所述两个相邻视频帧之间的图像相似度;将采用多种相似度算法计算得到的图像相似度进行加权求和,得到最终所需的所述两个相邻视频帧之间的图像相似度。

在一种可能的实现方式中,所述分别采用多种相似度算法计算所述两个相邻视频帧之间的图像相似度,包括:

计算所述两个相邻视频帧之间的归一化相关系数;

计算所述两个相邻视频帧之间直方图相似度;

所述将采用多种相似度算法计算得到的图像相似度进行加权求和,得到最终所需的所述两个相邻视频帧之间的图像相似度,包括:

基于第一加权系数和第二加权系数对所述归一化相关系数和所述直方图相似度进行加权求和,将加权求和的结果作为最终所需的所述两个相邻视频帧之间的图像相似度,所述第一加权系数为所述归一化相关系数的权重,所述第二加权系数为所述直方图相似度的权重。

在一种可能的实现方式中,在所述计算每两个相邻视频帧之间的图像相似度之前,所述方法还包括:

将所述待切片视频包括的每个视频帧的分辨率压缩为预设分辨率。

在一种可能的实现方式中,所述第一加权系数为0.7,所述第二加权系数为0.3。

第二方面,本申请实施例提供一种视频切片装置,所述装置包括:

计算模块,用于从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度;

切片模块,用于若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。

在一种可能的实现方式中,所述计算模块,具体用于:

通过指定相似度算法,计算每两个相邻视频帧之间的图像相似度;或者,

针对每两个相邻视频帧,分别采用多种相似度算法计算所述两个相邻视频帧之间的图像相似度;将采用多种相似度算法计算得到的图像相似度进行加权求和,得到最终所需的所述两个相邻视频帧之间的图像相似度。

在一种可能的实现方式中,所述计算模块,具体用于:

计算所述两个相邻视频帧之间的归一化相关系数;

计算所述两个相邻视频帧之间直方图相似度;

基于第一加权系数和第二加权系数对所述归一化相关系数和所述直方图相似度进行加权求和,将加权求和的结果作为最终所需的所述两个相邻视频帧之间的图像相似度,所述第一加权系数为所述归一化相关系数的权重,所述第二加权系数为所述直方图相似度的权重。

在一种可能的实现方式中,所述装置还包括:

压缩模块,用于将所述待切片视频包括的每个视频帧的分辨率压缩为预设分辨率。

在一种可能的实现方式中,所述第一加权系数为0.7,所述第二加权系数为0.3。

第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现第一方面所述的方法步骤。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法步骤。

第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。

采用本申请实施例提供的视频切片方法、装置、电子设备及存储介质,可以从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度,若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。由于同一镜头的视频帧之间的图像相似度较高,不同镜头的视频帧之间的图像相似度较低,所以本申请实施例基于图像相似度可以准确地区分属于同一镜头的视频帧和属于不同镜头的视频帧,所以基于本申请实施例,通过相邻视频帧之间的图像相似度对待切片视频进行视频切片,相比于现有技术提高了视频切片的准确性。

当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为背景技术提供的一种视频切片的位置的示例性示意图;

图2为本申请实施例提供的一种视频切片方法的流程图;

图3为本申请实施例提供的另一种视频切片方法的流程图;

图4为本申请实施例提供的一种视频切片装置的结构示意图;

图5为本申请实施例提供的另一种视频切片装置的结构示意图;

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例提供一种视频切片方法,该方法应用于电子设备,该电子设备可以为手机、电脑等具有视频处理能力的终端,如图2所示,该方法包括:

S201、从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度。

例如,可以计算第一个视频帧与第二个视频帧之间的图像相似度,第二个视频帧与第三个视频帧之间的图像相似度,直至计算到倒数第二个视频帧与最后一个视频帧之间的图像相似度。

S202、若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。

可以理解的,若图像相似度小于预设阈值,说明两个相邻视频帧包括的画面内容差别较大,所以不属于同一个镜头,进而可在这两个相邻视频帧之间进行视频切片。

反之,若图像相似度大于等于预设阈值,说明两个相邻视频帧包括的画面内容较为相似,属于同一个镜头,进而不在这两个相邻视频帧之间进行视频切片。

其中,预设阈值可以为经验值。

采用本申请实施例提供的视频切片方法,可以从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度,若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。由于同一镜头的视频帧之间的图像相似度较高,不同镜头的视频帧之间的图像相似度较低,所以本申请实施例基于图像相似度可以准确地区分属于同一镜头的视频帧和属于不同镜头的视频帧,所以基于本申请实施例,通过两个相邻视频帧之间的图像相似度对待切片视频进行视频切片,相比于现有技术提高了视频切片的准确性。

上述S201中,计算每两个视频帧之间的图像相似度,可以通过以下两种方式实现:

方式一、通过指定相似度算法,计算每两个相邻视频帧之间的图像相似度。

其中,指定相似度算法可以为归一化相关系数算法、直方图相似度算法、结构相似度(Structural SIMilarity,SSIM)算法、感知哈希(pHash)算法中的任意一种。当然本申请实施例不限于此,指定相似度算法也可以为其他用于计算图像相似度的算法。

在本申请实施例中,可以计算两个相邻视频帧之间的归一化相关系数,将计算得到的归一化相关系数作为两个相邻视频帧之间的图像相似度。因归一化相关系数能够较好地反映两个相邻视频帧中包括的内容的相似度,所以将归一化相关系数作为本申请实施例中的图像相似度,可以使得视频切片的准确性更高。

方式二、针对每两个相邻视频帧,分别采用多种相似度算法计算两个相邻视频帧之间的图像相似度,将采用多种相似度算法计算得到的图像相似度进行加权求和,得到最终所需的两个相邻视频帧之间的图像相似度。

其中,多种相似度算法可以包括:归一化相关系数算法、直方图相似度算法、SSIM算法、pHash算法。也可以包括其他用于计算图像相似度的算法。

在本申请实施例的一种实现方式中,以多种相似度算法包括归一化相关系数算法和直方图相似度算法为例,如图3所示,计算每两个相邻视频帧之间的图像相似度的方法,具体包括如下步骤:

S301、计算两个相邻视频帧之间的归一化相关系数。

S302、计算两个相邻视频帧之间的直方图相似度。

在本申请实施例中,可通过巴氏距离(Bhattachayya Distance)计算两个相邻视频帧之间的直方图相似度。

S303、基于第一加权系数和第二加权系数对归一化相关系数和直方图相似度进行加权求和,将加权求和的结果作为最终所需的两个相邻视频帧之间的图像相似度。

其中,第一加权系数为归一化相关系数的权重,第二加权系数为直方图相似度的权重。

可选地,第一加权系数和第二加权系数可以根据经验值设置,比如第一加权系数为0.7,第二加权系数为0.3。当然第一加权系数和第二加权系数的取值不限于此。

两个相邻视频帧之间的图像相似度具体可通过以下公式计算:

Score(It,It+1)=alpha*CCOEFF(It,It+1)+(1-alpha)*HIST(Ot,Ot+1)

其中,It为待切片视频中t时刻的视频帧,It+1为待切片视频中t+1时刻的视频帧。Score(It,It+1)为t时刻的视频帧与t+1时刻的视频帧之间的图像相似度。alpha为第一权重系数,1-alpha为第二权重系数。CCOEFF(It,It+1)为t时刻的视频帧与t+1时刻的视频帧之间的归一化相关系数,HIST(It,It+1)为t时刻的视频帧与t+1时刻的视频帧之间的直方图相似度。

其中,CCOEFF(It,It+1)和HIST(It,It+1)的取值范围均为0至1之间,所以计算得到的Score(It,It+1)的取值范围也为0至1之间。

计算得到的Score(It,It+1)越趋近于1,则说明两个视频帧之间越相似。

进一步地,在上述S202中,作为示例,预设阈值可以为0.75。即若图像相似度小于0.75,则在待切片视频中的t时刻进行视频切片;若图像相似度大于0.75,则不在待切片视频中的t时刻进行切片。

采用本申请实施例,可以基于两个相邻视频帧的归一化相关系数和直方图相似度确定图像相似度,由于归一化相关系数主要用于表示视频帧的内容之间的相似度,直方图相似度可以避免光线对两个相邻视频帧相似度之间的影响,比如避免因为两个相邻视频帧的明暗程度差异较大,导致确定出的图像相似度不准确的问题。所以,基于归一化相关系数和直方图相似度共同确定图像相似度,可以使得确定出的图像相似度更加准确,进而使得视频切片结果更加准确。

在本申请另一实施例中,在上述S201、从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度之前,该方法还包括:

将待切片视频包括的每个视频帧的分辨率压缩至预设分辨率。

可选地,预设分辨率可以为64x64的分辨率。

因为使用低分辨率的视频帧,即图像缩略图,可以表示视频帧中的主要信息,进而可以基于低分辨率的视频帧计算视频帧之间的图像相似度,所以本申请实施例在执行图2的方法流程之前,可以对视频帧的分辨率进行压缩,基于压缩后的分辨率进行后续的处理,可以减少计算量。

基于相同的技术构思,本申请实施例还提供了一种视频切片装置,如图4所示,该装置包括:

计算模块401,用于从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度;

切片模块402,用于若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。

可选地,计算模块401,具体用于:

通过指定相似度算法,计算每两个相邻视频帧之间的图像相似度;或者,针对每两个相邻视频帧,分别采用多种相似度算法计算两个相邻视频帧之间的图像相似度;将采用多种相似度算法计算得到的图像相似度进行加权求和,得到最终所需的两个相邻视频帧之间的图像相似度。

可选地,计算模块401,具体用于:

计算两个相邻视频帧之间的归一化相关系数;

计算两个相邻视频帧之间直方图相似度;

基于第一加权系数和第二加权系数对归一化相关系数和直方图相似度进行加权求和,将加权求和的结果作为最终所需的两个相邻视频帧之间的图像相似度,第一加权系数为所述归一化相关系数的权重,第二加权系数为所述直方图相似度的权重。

可选地,如图5所示,该装置还包括:

压缩模块501,用于将待切片视频包括的每个视频帧的分辨率压缩为预设分辨率。

其中,第一加权系数为0.7,第二加权系数为0.3。

采用本申请实施例提供的视频切片装置,可以从待切片视频的第一个视频帧开始,计算每两个相邻视频帧之间的图像相似度,若存在两个相邻视频帧之间的图像相似度小于预设阈值,则在小于预设阈值的两个相邻视频帧之间进行视频切片。由于同一镜头的视频帧之间的图像相似度较高,不同镜头的视频帧之间的图像相似度较低,所以本申请实施例基于图像相似度可以准确地区分属于同一镜头的视频帧和属于不同镜头的视频帧,所以基于本申请实施例,通过相邻视频帧之间的图像相似度对待切片视频进行视频切片,相比于现有技术提高了视频切片的准确性。

本申请实施例还提供了一种电子设备,如图6所示,包括处理器601和存储器603。

存储器603,用于存放计算机程序;

处理器601,用于执行存储器603上所存放的程序时,实现上述方法实施例中的方法步骤。

可选地,电子设备还包括通信接口602和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(英文:PeripheralComponent Interconnect,简称:PCI)总线或扩展工业标准结构(英文:Extended IndustryStandard Architecture,简称:EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(英文:Random Access Memory,简称:RAM),也可以包括非易失性存储器(英文:Non-Volatile Memory,简称:NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(英文:Central ProcessingUnit,简称:CPU)、网络处理器(英文:Network Processor,简称:NP)等;还可以是数字信号处理器(英文:Digital Signal Processing,简称:DSP)、专用集成电路(英文:ApplicationSpecific Integrated Circuit,简称:ASIC)、现场可编程门阵列(英文:Field-Programmable Gate Array,简称:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

基于相同的技术构思,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述视频切片方法步骤。

基于相同的技术构思,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述视频切片方法步骤。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

13页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种视频切片方法、装置、电子设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类