一种视频处理方法、装置、终端和存储介质

文档序号:738890 发布日期:2021-04-20 浏览:14次 >En<

阅读说明:本技术 一种视频处理方法、装置、终端和存储介质 (Video processing method, device, terminal and storage medium ) 是由 费玉昆 于 2020-12-21 设计创作,主要内容包括:本发明涉及一种视频处理方法、装置、终端和存储介质,方法包括:获取待视频处理的原始视频帧和原始视频帧的原始帧率;控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧,目标帧率大于原始帧率;缓存目标视频帧后,控制视频处理芯片对缓存的目标视频帧进行视频处理;即获取原始视频帧及其帧率,在视频处理芯片的前端,增加帧率提升芯片,通过控制帧率提升芯片对原始视频帧进行处理,提升原始视频帧的帧率,得到大于原始帧率的目标视频帧;在视频处理芯片处理该目标视频帧时,由于提升帧率,使得缓存每一帧时的延迟降低,带来用户使用体验的极大改善。(The invention relates to a video processing method, a video processing device, a video processing terminal and a storage medium, wherein the method comprises the following steps: acquiring an original video frame to be subjected to video processing and an original frame rate of the original video frame; the method comprises the steps that a frame rate lifting chip is controlled to process original video frames to obtain target video frames of a target frame rate, wherein the target frame rate is larger than the original frame rate; after the target video frame is cached, controlling a video processing chip to perform video processing on the cached target video frame; acquiring an original video frame and a frame rate thereof, adding a frame rate lifting chip at the front end of a video processing chip, processing the original video frame by controlling the frame rate lifting chip, and lifting the frame rate of the original video frame to obtain a target video frame larger than the original frame rate; when the video processing chip processes the target video frame, the delay of caching each frame is reduced due to the frame rate increase, and the user experience is greatly improved.)

一种视频处理方法、装置、终端和存储介质

技术领域

本发明涉及视频处理领域,具体涉及一种视频处理方法、装置、终端和存储介质。

背景技术

帧率是以帧称为单位的位图图像连续出现在显示器上的频率/速率。视频处理过程中,需要对视频做缓存,并通过对缓存视频的处理来实现视频处理的任务,这种缓存是以帧为单位的,缓存视频会存在不可避免的延迟,而对于一个帧率为60Hz的视频,每缓存一帧会造成16.67mS的延迟。

发明内容

本发明所要解决的技术问题是提供一种视频处理方法、装置、终端和存储介质,提升帧率,降低视频处理过程中的延迟。

本发明解决上述技术问题的技术方案如下:一种视频处理方法,该视频处理方法包括:

获取待视频处理的原始视频帧和所述原始视频帧的原始帧率;

控制帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧,所述目标帧率大于所述原始帧率;

缓存所述目标视频帧后,控制视频处理芯片对缓存的所述目标视频帧进行视频处理。

本发明的有益效果是:获取原始视频帧及其帧率,在视频处理芯片的前端,增加帧率提升芯片,通过控制帧率提升芯片对原始视频帧进行处理,提升原始视频帧的帧率,得到大于原始帧率的目标视频帧;在视频处理芯片处理该目标视频帧时,由于提升帧率,使得缓存延迟降低,对于延迟的每一步优化,带来用户使用体验的极大改善。

在上述技术方案的基础上,本发明还可以做如下改进:

进一步,所述控制帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧之前包括:

当所述原始帧率小于或等于所述预设帧率阈值时,确定所述目标帧率小于或等于2倍所述原始帧率;

当所述原始帧率大于预设帧率阈值时,确定所述目标帧率为n倍所述原始帧率,所述n为大于2的自然数。

采用上述进一步方案的有益效果是:通过对原始帧率的大小进行判断,进一步确定目标帧率的大小,避免目标帧率相当于原始帧率过大,导致的画面质量问题。

进一步,所述控制帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧之前包括:

确定播放所述目标视频帧的视频播放设备的刷新率值,所述目标帧率值小于或等于所述刷新率值。

采用上述进一步方案的有益效果是:通过视频播放设备的刷新率确定目标帧率的大小,避免目标帧率与刷新率的不匹配,导致的显示效果问题。

进一步,所述控制帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧包括:

控制FPGA芯片对所述原始视频帧进行复制得到目标帧率的目标视频帧。

进一步,所述目标帧率为非整数倍原始帧率时,所述控制FPGA芯片对所述原始视频进行复制得到目标视频帧包括:

控制锁相环PLL产生与所述原始视频帧的帧率对应的倍频时钟,控制FPGA芯片对所述原始视频帧进行复制,得到所述目标视频帧。

采用上述进一步方案的有益效果是:通过FGPA芯片对所述原始视频帧进行复制,提升帧率,且FPGA芯片使用的场合灵活。

进一步,所述目标帧率为非整数倍原始帧率时,所述控制FPGA芯片对所述原始视频帧进行复制得到目标视频帧包括:

确定原始视频帧的帧序号;

控制FPGA芯片按照所述帧序号间隔复制所述原始视频帧得到目标视频帧;或,获取各帧序号对应的视频内容,控制FPGA芯片复制预设视频内容的原始视频帧得到目标视频帧。

采用上述进一步方案的有益效果是:通过间隔复制,保证复制比例的均匀性,通过对预设视频内容的视频帧进行复制,避免运动画面的不平滑。

进一步,所述控制帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧包括:

控制运动补偿MEMC芯片对所述原始视频帧进行补帧,得到所述目标帧率的目标视频帧。

采用上述进一步方案的有益效果是:通过MEMC芯片对所述原始视频帧进行补帧,提升帧率,在降低延时的同时,画面更加平滑,其流畅性可以获得明显的提升。

为了解决上述问题,本发明还提供一种视频处理装置,包括获取模块、帧率提升处理模块和视频处理模块;

所述获取模块用于获取待视频处理的原始视频帧和所述原始视频帧的帧率;

所述帧率提升处理模块用于利用帧率提升芯片对所述原始视频帧进行处理得到目标帧率的目标视频帧,所述目标帧率大于所述帧率;

所述视频处理模块用于缓存所述目标视频帧后,控制视频处理芯片对缓存的所述目标视频帧进行视频处理。

为了解决上述问题,本发明还提供一种视频处理终端,视频处理终端包括处理器、以及分别与所述处理器连接的帧率提升芯片和视频处理芯片,以实现如上所述的视频处理方法的步骤。

为了解决上述问题,本发明还提供一种存储介质,存储介质存储一个或者多个计算机程序,所述一个或者多个计算机程序可被一个或者多个处理器执行,以实现如上所述的视频处理方法的步骤。

附图说明

图1为本发明一实施例提供的一种视频处理方法的流程示意图;

图2为本发明一实施例提供的另一种视频处理方法的流程示意图;

图3为本发明一实施例提供的一种视频处理装置的结构示意图;

图4为本发明一实施例提供的一种视频处理终端的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。

如图1所示,图1为本发明实施例提供的一种视频处理方法的流程图,视频处理方法包括:

S101、获取待视频处理的原始视频帧和原始视频帧的帧率;

S102、控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧,目标帧率大于帧率;

S103、缓存目标视频帧后,控制视频处理芯片对缓存的目标视频帧进行视频处理。

在本实施例中,获取原始视频帧及其帧率,在视频处理芯片的前端,增加帧率提升芯片,通过控制帧率提升芯片对原始视频帧进行处理,提升原始视频帧的帧率,得到大于原始帧率的目标视频帧;在视频处理芯片处理该目标视频帧时,由于提升帧率,使得缓存延迟降低,对于延迟的每一步优化,带来用户使用体验的极大改善。

获取原视频帧和该原始视频帧的帧率,其中视频的帧率包括24、25、30、48、50、60、100或120Hz等。控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧之前还需要确定目标帧率是多少,在本实施例中,可以根据原始帧率的大小确定目标帧率。

可以理解的是,当原始帧率本身就不大,一昧的提升帧率,对会视频画面质量产生影响;在本实施例中,当原始视频帧的原始帧率小于或等于预设帧率阈值时,确定目标帧率小于或等于2倍原始帧率;当原始视频帧的原始帧率大于预设帧率阈值时,确定目标帧率为n被原始帧率,n为大于2的自然数;其中预设帧率阈值可以根据实际需求进行灵活调整,例如原始视频的原始帧率为30Hz时,等于预设帧率阈值30Hz,则目标帧率最多60Hz,该目标帧率可以是48Hz,也可以是50Hz,还可以为60Hz。例如原始帧率为48,大于预设帧率阈值30,则目标帧率为100Hz、120Hz或240Hz等。在本实施例中,通过对原始帧率的大小进行判断,进一步确定目标帧率的大小,避免目标帧率相当于原始帧率过大,导致的画面质量问题。

可以理解的是,视频帧最终是在视频播放设备上进行播放,若视频播放设备不支持过大帧率的视频帧,对显示效果也存在影响,刷新率决定了最终画面的上限,即120Hz帧率的画面在60刷新率的显示器上,最终显示效果最高只有60Hz;因此,在本实施例中,还可以根据视频播放设备的刷新率确定目标帧率。具体的,确定目标帧率值小于或等于播放目标视频帧的视频播放设备的刷新率值。例如视频播放设备的刷新率一般为60Hz、120Hz、144Hz甚至是240Hz,假设原始视频帧的帧率为30Hz,视频播放设备的刷新率为60Hz,则目标帧率小于或等于60Hz。通过视频播放设备的刷新率确定目标帧率的大小,避免目标帧率与刷新率的不匹配,导致的显示效果问题。

在一些实施例,还可以根据帧率指令确定目标帧率,帧率指令中包括目标帧率值。

值得注意的是,本实施例是通过帧率提升芯片提升帧率,该帧率提升芯片包括FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)芯片和MEMC(MotionEstimate and Motion Compensation,运动估计与运动补偿)芯片,具体的,控制FPGA对原始视频帧进行复制得到目标视频帧;或/和,控制运动补偿MEMC芯片对原始视频帧进行补帧,得到目标帧率的目标视频帧。在一些实施例中,如果使用规模大,可以做出一个ASIC芯片。

其中目标帧率为整数倍原始帧率时,控制FPGA芯片对原始视频进行复制得到目标视频帧包括:控制锁相环PLL产生与原始视频帧的帧率对应的倍频时钟,控制FPGA芯片对原始视频帧进行复制,得到目标视频帧;例如FPGA芯片的输入视频帧的帧率是60Hz,本地使用一个PLL锁相环,产生60Hz的倍频时钟;对输入的60Hz视频帧做一次或者多次复制,以120Hz或更高倍频的方式输出,得到目标视频帧。

其中MEMC芯片对原始视频帧进行补帧包括:MEMC芯片根据对输入视频流进行分析,根据前后画面的差异,智能辨识出画面中的运动元素,对其运动的轨迹做出判断,然后生成在原始视频流中所没有的画面帧,并插补到原始帧之间,完成帧率的变换。

在一些实施例中,还可以先通过FPGA芯片对原始视频帧进行复制,再通过MEMC芯片进行补帧,得到目标帧率的目标视频帧。例如从已经被FPGA芯片处理的视频流中侦测出原始的视频帧,然后MEMC芯片对原始的视频帧做插帧处理。

在本实施例中,当目标帧率为非整数倍原始帧率时,控制FPGA芯片对原始视频帧进行复制得到目标视频帧包括:确定原始视频帧的帧序号;控制FPGA芯片按照帧序号间隔复制原始视频帧得到目标视频帧。例如原始帧率为30Hz,目标帧率为50Hz,则间隔复制原始视频帧得到50Hz的目标视频帧,如当前帧复制1帧,下一帧不复制;在一些实施例中,还可以是,确定原视频帧的帧序号,获取各帧序号对应的视频内容,控制FPGA芯片复制预设视频内容的原始视频帧得到目标视频帧;原始视频帧的帧序号为1~30,其中帧序号1~10和20~30为静止内容,则复制序号1~10的帧和序号20~30的帧得到50Hz的目标视频帧。

在一些实施例中,当目标帧率为非整数倍原始帧率时,MEMC芯片对原始视频帧进行补帧得到目标视频帧,也可以按照帧序号间隔补帧原始视频帧得到目标视频帧;或获取各帧序号对应的视频内容,控制MEMC芯片对预设视频内容的原始视频帧进行补帧得到目标视频帧,该预设视频内容为运动内容,在播放视频节目中的快速运动画面时,其流畅性可以获得明显的提升,对拖影效应同样有改善作用。

需要说明的是,在一些实施例中,控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧时,可以通过不同的处理得到多个不同目标帧率的目标视频帧,例如原始视频帧的帧率为24Hz,通过FPGA芯片得到48Hz和60Hz的目标视频帧,进而缓存并各目标视频帧后,可以得到不同版本的目标视频,便于适应不同的用户需求。

在本实施例中,得到目标视频帧后,缓存目标视频帧,其可以缓存在处理器中;在其他实施例中,目标视频帧缓存存储在内存或存储器中,还可以缓存在视频处理芯片中;视频处理芯片通过对缓存视频的处理来实现视频处理的任务,其中视频处理包括但不限于编辑、剪辑或增加一些很普通的特效效果。

在本实施例中,通过FPGA芯片/MEMC芯片对原始视频帧进行处理,进而将原始帧率提升至目标帧率,其中还可以根据原始帧率的大小或视频播放设备的刷新率确定目标帧率,进而缓存目标视频帧的时,如把60Hz的帧率提升到120Hz,就能让延迟从16.67mS下降为8.33mS,降低延迟,提高用户的体验感。

为了便于理解,本实施例还提供一种较为具体的视频处理方法,如图2所示,该视频处理方法包括:

S201、获取待视频处理的原始视频帧和原始视频帧的原始帧率。

假设原始帧率为60Hz。

S202、根据播放视频帧的视频播放设备的刷新率值确定目标帧率。

假设视频帧的视频播放设备的刷新率值为120Hz,处理后的目标视频帧的目标帧率值大于原始帧率,且小于或等于刷新率值,如目标帧率为120Hz。

S203、控制FPGA芯片对原始视频帧进行复制得到目标帧率的目标视频帧。

FPGA芯片的输入帧率是60Hz,本地使用一个PLL锁相环,产生60Hz的倍频时钟,对输入的60Hz视频帧做一次复制,以120Hz倍频的方式输出。

在一些实施例中,也可以使用MEMC芯片,MEMC芯片能够支持60Hz到120Hz的转换,但是输入输出的视频接口单一,频率转换比单一,不如FPGA芯片使用的场合更加灵活。

S204、缓存目标视频帧后,控制视频处理芯片对缓存的目标视频帧进行视频处理。

在视频通路中,视频处理芯片的前端增加一个FPGA芯片,把60Hz的帧率提升到120Hz,就能让延迟从16.67mS下降为8.33mS,而这个帧率提升,仅仅需要对视频信号做一次复制,也就是说120Hz帧率的视频中,相邻两帧可能是完全相同的,这个帧率提升的成本很低,且优化了延迟,带来用户使用体验的极大改善。

本发明实施例还提供一种视频处理装置,如图3所示,视频处理装置包括获取模块301、帧率提升处理模块302和视频处理模块303;

获取模块301用于获取待视频处理的原始视频帧和原始视频帧的帧率;

帧率提升处理模块302用于利用帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧,目标帧率大于帧率;

视频处理模块303用于缓存目标视频帧后,控制视频处理芯片对目标视频帧进行视频处理。

具体的,帧率提升处理模块302还用于当原始帧率小于或等于预设帧率阈值时,确定目标帧率小于或等于2倍原始帧率;当原始帧率大于预设帧率阈值时,确定目标帧率为n倍原始帧率,n为大于2的自然数。

帧率提升处理模块302还用于确定播放目标视频帧的视频播放设备的刷新率值,目标帧率值小于或等于刷新率值。

值得注意的是,帧率提升处理模块302在实现控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧的过程包括:目标帧率为整数倍原始帧率时,控制FPGA芯片对原始视频帧进行复制得到目标视频帧。具体的,控制锁相环PLL产生与原始视频帧的帧率对应的倍频时钟,控制FPGA芯片对原始视频帧进行复制,得到目标视频帧。

帧率提升处理模块302还用于目标帧率为非整数倍原始帧率时,确定原始视频帧的帧序号;控制FPGA芯片按照帧序号间隔复制原始视频帧得到目标视频帧;或,获取各帧序号对应的视频内容,控制FPGA芯片复制预设视频内容的原始视频帧得到目标视频帧。

值得注意的是,帧率提升处理模块302在实现控制帧率提升芯片对原始视频帧进行处理得到目标帧率的目标视频帧的过程包括:控制运动补偿MEMC芯片对原始视频帧进行补帧,得到目标帧率的目标视频帧。

如图4所示,本实施例还提供一种视频处理终端,所述视频处理终端包括处理器、以及分别与所述处理器连接的帧率提升芯片和视频处理芯片,以实现上述实施例的视频处理方法的步骤,在此不再一一赘述。

在一些实施例中,帧率提升芯片还可以与视频处理芯片连接,以实现MEMC芯片从已经被FPGA芯片处理的视频流中侦测出原始的视频帧,并对原始的视频帧做插帧处理。

在本实施例中,通过帧率提升芯片得到的目标视频帧可以缓存在处理器;在一些实施例中,目标视频帧也可以缓存在视频处理芯片;或,视频处理终端还包括存储器,目标视频帧缓存在存储器中。

本实施例还提供一种存储介质,该存储介质存储一个或者多个计算机程序,一个或者多个计算机程序可被一个或者多个处理器执行,以实现上述实施例中所述的视频处理方法的步骤,在此不再一一赘述。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明实施例所提供的技术方案进行了详细介绍,本发明中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述,以上实施例的说明只适用于帮助理解本发明实施例的原理;以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

11页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:视频交流系统的耗时分析及优化方法、装置、设备及介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类