视频卡顿识别方法、装置、终端设备以及存储介质

文档序号:1957062 发布日期:2021-12-10 浏览:11次 >En<

阅读说明:本技术 视频卡顿识别方法、装置、终端设备以及存储介质 (Video jamming identification method and device, terminal equipment and storage medium ) 是由 张弛 刘�东 于 2021-08-24 设计创作,主要内容包括:本发明公开一种视频卡顿识别方法,包括:接收视频帧摘要信息;在接收目标视频时,基于视频帧摘要信息和目标视频中已下载的选定视频帧的接收时间,获得目标视频中未下载视频帧的预估下载帧时位;在播放目标视频时,确定选定视频帧的播放时间;基于视频帧摘要信息、播放时间和接收时间,获得未下载视频帧的预估播放帧时位;基于预估下载帧时位和预估播放帧时位,获得目标视频的卡顿识别结果。本发明还公开一种视频卡顿识别装置、终端设备以及计算机可读存储介质。利用本发明的方法,可以确定未下载视频帧中是否存在卡顿视频帧,进而可以确定出未下载部分的目标视频是否出现卡顿。(The invention discloses a video stuck identification method, which comprises the following steps: receiving video frame abstract information; when receiving a target video, acquiring estimated download frame time positions of undelivered video frames in the target video based on video frame abstract information and the receiving time of selected downloaded video frames in the target video; when the target video is played, determining the playing time of the selected video frame; obtaining the estimated playing frame time position of the undelivered video frame based on the video frame abstract information, the playing time and the receiving time; and obtaining the pause recognition result of the target video based on the predicted download frame time position and the predicted play frame time position. The invention also discloses a video stuck identification device, terminal equipment and a computer readable storage medium. By using the method, whether the video frame is blocked in the video frame which is not downloaded can be determined, and whether the target video of the part which is not downloaded is blocked can be further determined.)

视频卡顿识别方法、装置、终端设备以及存储介质

技术领域

本发明涉及视频处理技术领域,特别涉及一种视频卡顿识别方法、装置、终端设备以及计算机可读存储介质。

背景技术

现有的视频彩铃业务中,用户播放的视频彩铃由彩铃服务器向用户终端推流,在推流的过程中,如果彩铃服务器与用户终端之间存在网络异常(网络中断或网络降速)等原因,可能导致视频流推送的卡顿,进而导致播放卡顿。

相关技术中,公布了一种流媒体播放时的卡顿识别方法:在视频数据下载过程中,将视频数据划分为若干段数据,获取第N数据包的大小,并确定第N数据包的第N时间,同时,获取所述第N+1数据包的大小,并确定第N+1数据包的第N+1时间,根据第N时间和第N+1时间获取第N时间差;根据获取的N个时间差获取理论播放数据量;根据获取的N+1个数据包的大小得到实际下载数据量,根据理论播放数据量和实际下载数据量,确定所述视频数据播放是否出现卡顿。

但是,采用现有的方法,难以提前预估未下载的视频数据是否出现卡顿。

发明内容

本发明的主要目的是提供一种视频卡顿识别方法、装置、终端设备以及计算机可读存储介质,旨在解决现有技术中采用现有的方法,难以提前预估未下载的视频数据是否出现卡顿的技术问题。

为实现上述目的,本发明提出一种视频卡顿识别方法,所述方法包括以下步骤:

接收目标视频的视频帧摘要信息;

在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧;

在播放所述目标视频时,确定所述选定视频帧的播放时间;

基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位;

基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

可选的,所述视频帧摘要信息包括所述选定视频帧的选定帧大小;所述基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,包括:

基于所述接收时间,获得所述选定视频帧的选定帧间隔;

利用所述选定帧间隔和所述选定帧大小,确定所述选定视频帧的下载速度;

利用所述下载速度,确定所述选定视频帧的下载速度比;

利用所述下载速度比,确定所述未下载视频帧的到达时长;

基于所述接收时间和所述到达时长,获得所述预估下载帧时位。

可选的,所述视频帧摘要信息还包括所述未下载视频帧的目标帧时长;所述基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位,包括:

基于所述播放时间和所述接收时间,获得时间差;

在所述时间差小于或等于所述目标帧时长时,基于所述目标帧时长和所述播放时间,获得所述预估播放帧时位。

可选的,所述视频帧摘要信息还包括所述选定视频帧的目标帧大小;所述基于所述播放时间和所述接收时间,获得时间差之后,所述方法还包括:

在所述时间差大于所述目标帧时长时,利用所述选定帧大小和所述时间差,获得所述选定视频帧的帧处理速度;

将所述帧处理速度确定为所述未下载视频帧的预期帧处理速度;

利用所述播放时间、所述预期帧处理速度和所述目标帧大小,获得所述预估播放帧时位。

可选的,所述基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果,包括:

判断所述未下载视频帧中是否存在预估播放帧时位与预估下载帧时位满足预设条件的卡顿视频帧;

若存在所述卡顿视频帧,则基于所述卡顿视频帧,获得所述目标视频出现卡顿的卡顿识别结果。

可选的,所述利用所述下载速度比,确定所述未下载视频帧的到达时长,包括:

基于所述下载速度比,获得所述未下载视频帧的下载速度预期比;

基于所述下载速度预期比,获得所述未下载视频帧的预估下载速度;

基于所述预估下载速度,获得所述到达时长。

可选的,所述基于所述下载速度比,获得所述未下载视频帧的下载速度预期比,包括:

基于所述下载速度比,和所述未下载视频帧中的第n帧与预设参照视频帧的时间位置关系,确定所述未下载视频帧中的第n帧的下载速度预期比,其中,所述预设参照视频帧为所述未下载视频帧中的第m帧,n和m均为大于等于1的整数。

此外,为实现上述目的,本发明还提出了一种视频卡顿识别装置,所述装置包括:

接收模块,用于接收目标视频的视频帧摘要信息;

第一获得模块,用于在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧;

确定模块,用于在播放所述目标视频时,确定所述选定视频帧的播放时间;

第二获得模块,用于基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位;

第三获得模块,用于基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

此外,为实现上述目的,本发明还提出了一种终端设备,所述终端设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行视频卡顿识别程序,所述视频卡顿识别程序被所述处理器执行时实现如上述任一项所述的视频卡顿识别方法的步骤。

此外,为实现上述目的,本发明还提出了一种计算机可读存储介质,所述计算机可读存储介质上存储有视频卡顿识别程序,所述视频卡顿识别程序被处理器执行时实现如上述任一项所述的视频卡顿识别方法的步骤。

本发明技术方案提出了一种视频卡顿识别方法,所述方法包括:接收目标视频的视频帧摘要信息;在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧;在播放所述目标视频时,确定所述选定视频帧的播放时间;基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位;基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

现有的方法中,只能基于已经下载的理论播放数据量和实际下载数据量,确定所述视频数据播放是否出现卡顿,不能对视频数据中未下载的数据包进行分析,从而难以提前预估未下载的视频数据是否出现卡顿。而本发明,基于已下载的选定视频帧的播放时间、接收时间以及视频帧摘要信息,获得未下载视频帧的预估下载帧时位和未下载视频帧的预估播放帧时位,即可基于预估下载帧时位和预估播放帧时位,确定未下载视频帧中是否存在卡顿视频帧,进而可以确定出未下载部分的目标视频是否出现卡顿。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图;

图2为本发明视频卡顿识别方法第一实施例的流程示意图;

图3为本发明视频卡顿识别方法第二实施例步骤S12细化的流程示意图;

图4为本发明下载速度预期比与未下载视频帧的帧序号的关系图;

图5为本发明预估下载帧时位图;

图6为本发明视频卡顿识别方法第三实施例步骤S14细化的流程示意图;

图7为本发明预估播放帧时位图;

图8为本发明预估播放帧时位图和预估下载帧时位图的对比图;

图9为本发明视频卡顿识别装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

参照图1,图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。

终端设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment,UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station,MS)等。终端设备可能被称为用户终端、便携式终端、台式终端等。

通常,终端设备包括:至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的视频卡顿识别程序,所述视频卡顿识别程序配置为实现如前所述的视频卡顿识别方法的步骤。

处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关视频卡顿识别方法操作,使得视频卡顿识别方法模型可以自主训练学习,提高效率和准确度。

存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的视频卡顿识别方法。

在一些实施例中,终端还可选包括有:通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地,外围设备包括:射频电路304、显示屏305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和通信接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,电子设备的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在电子设备的不同表面或呈折叠设计;在再一些实施例中,显示屏305可以是柔性显示屏,设置在电子设备的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。本领域技术人员可以理解,图1中示出的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有视频卡顿识别程序,所述视频卡顿识别程序被处理器执行时实现如上文所述的视频卡顿识别方法的步骤。因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。确定为示例,程序指令可被部署为在一个终端设备上执行,或者在位于一个地点的多个终端设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个终端设备备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

基于上述硬件结构,提出本发明视频卡顿识别方法的实施例。

实施例一:

参照图2,图2为本发明视频卡顿识别方法第一实施例的流程示意图,所述方法用于终端设备,所述方法包括以下步骤:

步骤S11:接收目标视频的视频帧摘要信息。

需要说明的是,本发明的执行主体是终端设备,终端设备安装有视频卡顿识别程序,终端设备执行视频卡顿识别程序时,实现本发明的视频卡顿识别方法的步骤。

在本发明中,目标视频和目标视频的视频帧摘要信息可以均是服务器发送的,该服务器即为是视频服务器。对于终端设备(属于呼叫端)呼叫接收端时,终端设备接收到的,由所述视频服务器发送的视频即为所述目标视频。其中,视频帧摘要信息包括目标视频中全部视频帧的帧时长、全部视频帧的帧序号(用于表示视频帧的下载顺序和播放顺序,下载顺序和播放顺序通常为一样的)和全部视频帧的帧大小等信息。通常,服务器会先发送视频帧摘要信息,然后发送目标视频。

一般而言,需要服务器针对于目标视频,生成对应的视频帧摘要信息,其中,对于一个目标视频,视频中各个视频帧的帧时长是固定的统一值。

步骤S12:在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧。

需要说明的是,对于已下载的选定视频帧通常是指,终端设备刚下载目标视频时,最先下载到的前几个视频帧(例如,前三个视频帧或前四个视频帧等),视频的下载顺序即是视频帧的播放顺序,视频的全部视频帧是逐帧发送的,即终端设备按照视频中全部视频帧的播放顺序,下载视频的全部视频帧,全部视频帧包括已下载的选定视频帧和未下载视频帧。

可以理解的是,已下载的选定视频帧通常是视频的最前面的几帧,也即选定视频帧包括多个,在本发明中,以较优的选择最前的三个视频帧为所述选定视频帧;当终端设备接收到目标视频的最前三个视频帧时,即执行步骤S12。其中,选定视频帧的接收时间包括每一个选定视频帧的接收时间,也即,在上述例子中,接收时间包括前三个视频帧分别对应的三个接收时间。

在本发明中,通过选定视频帧的视频帧摘要信息和接收时间,获得未下载视频帧的估算下载时刻,未下载视频帧的估算下载时刻即为所述预估下载帧时位。可以理解的是,在该实施例中,预估下载时位是利用本发明的方法获得的估算结果,预估下载时位是用于获得所述目标视频的卡顿识别结果的一个重要元素。

步骤S13:在播放所述目标视频时,确定所述选定视频帧的播放时间。

选定视频帧的描述参照上文描述,不再赘述。选定视频帧下载之后,终端设备会进行相关的图像处理,然后,终端设备完成图像处理之后,即播放选定视频帧。选定视频帧的播放时间与接收时间通常存在一定差距。另外,选定视频帧的播放时间包括每一个选定视频帧的播放时间,也即,在实施例一的例子中,播放时间包括前三个视频帧分别对应的三个播放时间。

步骤S14:基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位。

在本发明中,通过选定视频帧的视频帧摘要信息、接收时间和播放时间,获得未下载视频帧的估算播放时刻,未下载视频帧的估算播放时刻即为所述预估播放帧时位。可以理解的是,在该实施例中,预估播放帧时位是利用本发明的方法获得的估算结果,预估播放帧时位是用于获得所述目标视频的卡顿识别结果的另一个重要元素,即:目标视频的卡顿识别结果是利用预估播放帧时位和预估下载帧时位获得。

步骤S15:基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

获得所述预估下载帧时位和所述预估播放帧时位,利用所述预估下载帧时位和所述预估播放帧时位,判断所述目标视频是否存在卡顿。

具体的,步骤S15包括:判断所述未下载视频帧中是否存在预估播放帧时位与预估下载帧时位满足预设条件的卡顿视频帧;若存在所述卡顿视频帧,则基于所述卡顿视频帧,获得所述目标视频出现卡顿的卡顿识别结果;若不存在所述卡顿视频帧,则基于所述卡顿视频帧,获得所述目标视频未出现卡顿的卡顿识别结果。

需要说明的是,若一个未下载视频帧的预估播放帧时位对应的时刻不小于该未下载视频帧的预估下载帧时位对应的时刻,则该未下载视频帧满足预设条件。

当未下载视频帧的第p视频帧的预估播放帧时位对应的时刻小于该第p视频帧的预估下载帧时位对应的时刻,则第p视频帧为卡顿的视频帧,卡顿识别结果为第p视频帧出现卡顿;当第q视频帧之后的多个连续视频帧的预估播放帧时位对应的时刻均小于,对应的预估下载帧时位对应的时刻,则卡顿识别结果为第q视频帧开始出现连续卡顿。卡顿识别结果还可以是其他类型的描述,本发明不做具体限制。

本实施例的技术方案提出了一种视频卡顿识别方法,所述方法包括:接收目标视频的视频帧摘要信息;在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧;在播放所述目标视频时,确定所述选定视频帧的播放时间;基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位;基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

现有的方法中,只能基于已经下载的理论播放数据量和实际下载数据量,确定所述视频数据播放是否出现卡顿,不能对视频数据中未下载的数据包进行分析,从而难以提前预估未下载的视频数据是否出现卡顿。而本发明,基于已下载的选定视频帧的播放时间、接收时间以及视频帧摘要信息,获得未下载视频帧的预估下载帧时位和未下载视频帧的预估播放帧时位,即可基于预估下载帧时位和预估播放帧时位,确定未下载视频帧中是否存在卡顿视频帧,进而可以确定出未下载部分的目标视频是否出现卡顿。

实施例二:

基于同一发明构思,参照图3,图3为本发明视频卡顿识别方法第二实施例步骤S12细化的流程示意图,所述方法用于终端设备,所述方法包括以下步骤:

步骤S21:基于所述接收时间,获得所述选定视频帧的选定帧间隔。

步骤S22:利用所述选定帧间隔和所述选定帧大小,确定所述选定视频帧的下载速度。

步骤S23:利用所述下载速度,确定所述选定视频帧的下载速度比。

需要说明的是,在实施例二中,所述视频帧摘要信息包括所述选定视频帧的选定帧大小,参照实施例一的描述,所述视频帧摘要信息包括全部视频帧的帧时长、帧序号和帧大小等信息,视频帧摘要信息固然也包括所述选定视频帧的帧大小,所述选定视频帧的帧大小即为所述选定帧大小,所述选定视频帧的帧间隔即为所述选定帧间隔。

参照上文实施例一中的描述:所述选定视频帧为三个视频帧为例,在该三个视频帧中,第二帧的接收时间-第一帧的接收时间=第二帧的帧间隔,同理,第三帧的接收时间-第二帧的接收时间=第三帧的帧间隔;第二帧的帧大小/第二帧的帧间隔=第二帧的下载速度,第三帧的帧大小/第三帧的帧间隔=第三帧的下载速度;第三帧的下载速度/第二帧的下载速度即为所述下载速度比。可以理解的是,对于选定视频帧中的多个视频帧,第一个视频帧是不能计算帧间隔和下载速度的;另外,对于选定视频帧中包括大于三个视频帧时,若视频帧为Q个(Q>3),所述下载速度比第Q帧的下载速度/第(Q-1)帧的下载速度,也即取选定视频帧的最后两个视频帧的下载速度,来确定下载速度比。

步骤S24:利用所述下载速度比,确定所述未下载视频帧的到达时长。

步骤S25:基于所述接收时间和所述到达时长,获得所述预估下载帧时位。

获得下载速度比之后,继续利用下载速度比,预估出来所述未下载视频帧的到达时长,到达时长是指所述未下载视频帧在到达时长到达时,会得下载完未下载视频帧。通常,未下载视频帧也包括多个,即到达时长包括多个未下载视频帧各自的到达时长。

可以理解的是,当选定视频帧包括多个时,选定视频帧的接收时间通常是选定视频帧中最后一个视频帧的接收时间;参照上文实施例一中的的描述:所述选定视频帧为三个视频帧,选定视频帧的接收时间通常是选定视频帧的最后一个视频帧的接收时间,即第三个选定视频帧的接收时间。当获得一个未下载视频帧的到达时长时,利用第三个选定视频帧的接收时间加上该未下载视频帧的到达时长,获得的就是该未下载视频帧的预估下载帧时位。对于全部的未下载视频帧,均按照该方式获得对应的预估下载帧时位。

具体的,所述利用所述下载速度比,确定所述未下载视频帧的到达时长,包括:基于所述下载速度比,获得所述未下载视频帧的下载速度预期比;基于所述下载速度预期比,获得所述未下载视频帧的预估下载速度;基于所述预估下载速度,获得所述到达时长。

其中,所述基于所述下载速度比,获得所述未下载视频帧的下载速度预期比,包括:基于所述下载速度比,和所述未下载视频帧中的第n帧与预设参照视频帧的时间位置关系,确定所述未下载视频帧中的第n帧的下载速度预期比,其中,所述预设参照视频帧为所述未下载视频帧中的第m帧,n和m均为大于等于1的整数。

在一些实施例中,可以先设定好预设参照视频帧,将预设参照视频帧之前的未下载视频帧确定为第一预估视频帧,将未下载视频帧中其他的视频帧确定为第二预估视频帧;利用所述下载速度比和指数函数,计算所述第一预估视频帧的第一子下载速度预期比,第一子下载速度预期比通常是具有递增或递减关系的(由于借助指数函数求得);将第一子下载速度预期比中最值(增关系中的最大值,或递减关系中的最小值)确定为参照下载速度预期比;并将参照下载速度预期比确定为所述第二预估视频帧的第二子下载速度预期比;基于所述第一子下载速度预期比和所述第二子下载速度预期比,获得所述未下载视频帧的下载速度预期比。

上述文字描述的步骤,可以利用公式一表述,所述公式一为:

其中,K为所述下载速度比,Kn为所述未下载视频帧中第n视频帧的下载速度预期比,第m视频帧为所述未下载视频帧中的预设参照视频帧。

可以理解的是,所述未下载视频帧中,在第m视频帧之前的视频帧(第1帧到第(m-1)帧)均为第一预估视频帧,剩下的其他的视频帧为第二预估视频帧,通常,第一预估视频帧中最后一个视频帧为所述预设参照视频帧,即第(m-1)帧为预设参照视频帧。第一预估视频帧的下载速度预期比即为所述第一子下载速度预期比,第二预估视频帧的下载速度预期比即为所述第二子下载速度预期比,预设参照视频帧的下载速度预期比即为所述参照下载速度预期比。第一子下载速度预期比和第二子下载速度预期比组成的集合即为所述下载速度预期比。

需要说明的是,m可以是用户基于需求设定的,用户可以设定m值,对于任意的目标视频,第m视频帧都为预设参照视频帧,例如m=4,表示第3个未下载视频帧即为所述预设参照视频帧。

具体的,所述基于所述下载速度预期比,获得所述未下载视频帧的预估下载速度,包括:基于所述下载速度和第一个未下载视频帧的下载速度预期比,获得所述第一个未下载视频帧的预估下载速度;将所述未下载视频帧中第二个未下载视频帧确定为当前视频帧;基于所述当前视频帧的下载速度预期比和基础预估下载速度,获得所述当前视频帧的预估下载速度,所述基础预估下载速度是前一视频帧的预估下载速度,所述前一视频帧是所述未下载视频帧中,与所述当前视频帧相邻的前一个视频帧;将所述未下载视频帧中,与所述当前视频帧相邻的后一个视频帧确定为新的当前视频帧,并利用所述新的当前视频帧更新所述当前视频帧;返回执行所述基于所述当前视频帧的下载速度预期比和基础预估下载速度,获得所述当前视频帧的预估下载速度的步骤,直到获得所述未下载视频帧中全部视频帧的预估下载速度。

上述文字描述的过程,可以用公式四来表述,公式四如下:

Dn+1=Dn*Kn

其中,Dn为所述未下载视频帧中第n视频帧的预估下载速度,D1=V*K,V为所述下载速度。下载速度是指选定视频帧中最后下载的一个视频帧的下载速度,以上文所述三个视频帧为例,所述下载速度为第三个视频帧的下载速度。

可以理解的是,参照公式一和公式四,下载速度预期比是指数函数,所以预估下载速度会是指数函数,因此,若无m限制,继续幂增长,在下载速度比大于1的情况下,未下载视频帧中下载顺序较靠后的视频帧的预估下载速度将超出合理值。

依旧以上文实施例一所述选定视频帧为三个视频帧为例,且m=4为例,则未下载视频帧中的第1视频帧到第3视频帧的下载速度预期比分别为K1、K2和K3,继续可以获得未下载视频帧中的第1视频帧到第3视频帧的预估下载速度分别为D1=V*K、D2=V*K3和D3=V*K6。按照如此方式,求得全部未下载视频帧的预估下载速度。

参照图4,图4为本发明下载速度预期比与未下载视频帧的帧序号的关系图;当帧序号(未下载视频帧的帧序号)大于或等于m时,下载速度预期比未定为一个值Km-1,不再变化。

下载速度比在1以上的,表示一个视频帧的下载速度/之前一个视频帧的下载速度>1,下载速度比在1以下的,表示一个视频帧的下载速度/之前一个视频帧的下载速度<1。

当获得未下载视频帧的预估下载速度之后,即可继续求得未下载视频帧的到达时长。具体的,基于所述预估下载速度,利用公式五,获得所述到达时长;

所述公式五为:

其中,Rn为所述未下载视频帧中第n视频帧的到达时长,Sn为所述第n视频帧的帧大小,继续按照这个方式求得全部未下载视频帧的到达时长。

然后继续基于所述接收时间和所述到达时长,获得所述预估下载帧时位,一个视频帧的预估下载帧时位,即为该视频帧的下载完成时刻;具体的,基于所述接收时间和所述到达时长,利用公式六,获得所述预估下载帧时位;

所述公式六为:

An=Rn+a

其中,a为所述接收时间,An为所述第n视频帧的预估下载帧时位。其中,所述接收时间为选定视频帧中最后下载的视频帧的接收时间,以上文所述三个视频帧为例,所述接收时间a为第三个视频帧的接收时间。

在一些实施例中,还可以基于上述各步骤求得的数据,将所述预估下载帧时位以统计图的方式示出。

参照图5,图5为本发明预估下载帧时位图。在图5中,横轴为预估下载帧时位,纵轴为帧大小。从左到右第一条竖线表示第一个未下载视频帧、第二个未下载视频帧、…、第Z个未下载视频帧。预估下载时位为0的点可以表示选定视频帧中第一个视频帧的下载完成时刻。

在该实施例中,提供了一种具体的较优的预估下载帧时位计算方式:通过选定视频帧的选定帧间隔和所述选定帧大小,获得最终的未下载视频帧的预估下载帧时位。

实施例三:

基于同一发明构思,参照图6,图6为本发明视频卡顿识别方法第三实施例步骤S14细化的流程示意图,所述方法用于终端设备,所述方法包括以下步骤:

步骤S31:基于所述播放时间和所述接收时间,获得时间差。

需要说明的是,在本实施例中,选定视频帧的接收时间和播放时间是存在时间差距的——所述时间差,所述时间差通常是所述选定视频帧中最后一个视频帧的时间差。

步骤S32:在所述时间差小于或等于所述目标帧时长时,基于所述目标帧时长和所述播放时间,获得所述预估播放帧时位。

未下载视频帧的帧时长即为所述目标帧时长,具体的,所述基于所述目标帧时长和所述播放时间,获得所述预估播放帧时位的步骤,包括:基于所述目标帧时长和所述播放时间,利用公式二,获得所述预估播放帧时位;

所述公式二为:

Px=xT1+T0

其中,所述Px为所述未下载视频帧中第x视频帧的预估播放帧时位,T0为所述播放时间,T1为所述目标帧时长。

可以理解的是,在所述时间差小于或等于所述目标帧时长时,说明视频帧解码处理时长小于目标帧时长,帧解码处理不会影响帧的播放,即可利用上述公式二进行预估播放帧时位的求解。

步骤S33:在所述时间差大于所述目标帧时长时,利用所述选定帧大小和所述时间差,获得所述选定视频帧的帧处理速度。

步骤S34:将所述帧处理速度确定为所述未下载视频帧的预期帧处理速度。

步骤S35:利用所述播放时间、所述预期帧处理速度和所述目标帧大小,获得所述预估播放帧时位。

具体的,利用选定视频帧的接收时间和播放时间的差,确定选定视频帧的帧处理时长(也即所述时间差),然后将所述选定帧大小与所述时间差的比确定为所述选定视频帧的帧处理速度。通常,帧处理速度为所述选定视频帧的最后一个视频帧的帧处理速度,按照上文所述选定视频帧包括三个为例,可以是第三个视频帧的帧大小与时间差的比;也可以是选定视频帧中任意一个视频帧对应的帧处理速度。对于T0,则一定为所述选定视频帧的最后一个视频帧的播放时间。

在一些实例中,若T0不是所述选定视频帧的最后一个视频帧的播放时间,而是所述选定视频帧的其他视频帧的播放时间,则需要基于该T0与选定视频帧的最后一个视频帧的播放时间的关系,对公式二做出调整。

另外,所述利用所述播放时间、所述预期帧处理速度和所述目标帧大小,获得所述预估播放帧时位的步骤,包括:利用所述目标帧大小和所述预期帧处理速度,获得所述未下载视频帧的预期处理时长;基于所述播放时间和所述预期处理时长,利用公式三,获得所述预估播放帧时位;

所述公式三为:

Px=xT2+T0

其中,T2为所述预期处理时长。其中,每一个未下载视频帧的预期处理时长为该未下载视频帧的目标帧大小与所述预期帧处理速度的比。

按照上述两种情况,求得全部未下载视频帧的预估播放帧时位。

在一些实施例中,还可以基于上述各步骤求得的数据,将所述预估播放帧时位以统计图的方式示出。

参照图7,图7为本发明预估播放帧时位图。在图7中,横轴为预估播放帧时位,纵轴为帧大小。从左到右第一条竖线表示第一个未下载视频帧、第二个未下载视频帧、…、第Z个未下载视频帧。预估播放时位为0的点可以表示选定视频帧中第一个视频帧的下载完成时刻。

另外,对于步骤S16,为了明显体现所述未下载视频帧中是否存在预估播放帧时位与预估下载帧时位满足预设条件,可以利用预估播放帧时位图和预估下载帧时位图,绘制对比图。

参照图8,图8为本发明预估播放帧时位图和预估下载帧时位图的对比图。在图8中,横轴为预估播放帧时位,纵轴为帧大小。从左到右第一条竖线表示第一个未下载视频帧、第二个未下载视频帧、…、第Z个未下载视频帧。预估播放时位为0的点可以表示选定视频帧中第一个视频帧的下载完成时刻;对比图6中的两个图,对于第一个未下载视频帧的预估下载帧时位和预估播放帧是存在差距的(差距即为所述时间差)。

另外,参照图8,对于一个视频帧,其对应的预估播放帧时位若排在预估下载帧时位的前面,则该视频帧为卡顿视频帧。在图8中,并不存在预估播放帧时位排在预估下载帧时位的前面的视频帧。

在该实施例中,提出了预估播放帧时位和预估下载帧时位的具体获得方法,同时,还可以利用预估播放帧时位图和预估下载帧时位图,绘制对比图,对比图可形象直观的展示未下载视频帧是否存在卡顿。

基于同一发明构思,参照图9,图9为本发明视频卡顿识别装置第一实施例的结构框图,所述装置用于终端设备,基于与前述实施例相同的发明构思,所述装置包括:

接收模块10,用于接收目标视频的视频帧摘要信息;

第一获得模块20,用于在接收所述目标视频时,基于所述视频帧摘要信息和接收时间,获得所述目标视频中未下载视频帧的预估下载帧时位,所述接收时间为下载完选定视频帧的时间,所述选定视频帧为所述目标视频中已下载的视频帧;

确定模块30,用于在播放所述目标视频时,确定所述选定视频帧的播放时间;

第二获得模块40,用于基于所述视频帧摘要信息、所述播放时间和所述接收时间,获得所述未下载视频帧的预估播放帧时位;

第三获得模块50,用于基于所述预估下载帧时位和所述预估播放帧时位,获得所述目标视频的卡顿识别结果。

需要说明的是,由于本实施例的装置所执行的步骤与前述方法实施例的步骤相同,其具体的实施方式以及可以达到的技术效果都可参照前述实施例,这里不再赘述。

以上所述仅为本发明的可选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:视频播放方法、装置、设备和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类