视频的播放控制方法、装置及电子设备

文档序号:196303 发布日期:2021-11-02 浏览:51次 >En<

阅读说明:本技术 视频的播放控制方法、装置及电子设备 (Video playing control method and device and electronic equipment ) 是由 黄海兵 于 2021-02-08 设计创作,主要内容包括:本申请提供了一种视频的播放控制方法、装置、电子设备及计算机可读存储介质;涉及云技术以及人工智能技术,方法包括:响应于视频播放操作,播放所述视频;获取与当前情节单元对应的属性信息,根据所述属性信息获取与所述当前情节单元对应的播放倍速;根据所述播放倍速播放所述当前情节单元。通过本申请,能够提高视频播放过程中的人机交互效率。(The application provides a video playing control method, a video playing control device, electronic equipment and a computer readable storage medium; the method relates to a cloud technology and an artificial intelligence technology, and comprises the following steps: responding to a video playing operation, and playing the video; acquiring attribute information corresponding to a current plot unit, and acquiring a playing speed corresponding to the current plot unit according to the attribute information; and playing the current plot unit according to the playing double speed. By the method and the device, the human-computer interaction efficiency in the video playing process can be improved.)

视频的播放控制方法、装置及电子设备

技术领域

本申请涉及人工智能技术,尤其涉及一种视频的播放控制方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。

人工智能技术可以应用于视频处理领域,例如通过人工智能技术向用户推荐在线的视频,相关技术提供了设置视频的播放倍速的功能,以满足用户有重点地观看视频内容的需求,但是这种方式需要借助于频繁的用户操作以控制视频播放倍速,影响了人机交互效率。

发明内容

本申请实施例提供一种视频的播放控制方法、装置、电子设备及计算机可读存储介质,能够在视频播放过程中实现高效的动态播放倍速,提升人机交互效率。

本申请实施例的技术方案是这样实现的:

本申请实施例提供一种视频的播放控制方法,包括:

响应于视频播放操作,播放所述视频;

获取与当前情节单元对应的属性信息,根据所述属性信息获取与所述当前情节单元对应的播放倍速;

根据所述播放倍速播放所述当前情节单元。

本申请实施例提供一种视频的播放控制装置,包括:。

播放模块,用于响应于视频播放操作,播放所述视频;

倍速模块,用于获取与当前情节单元对应的属性信息,根据所述属性信息获取与所述当前情节单元对应的播放倍速;

所述播放模块,还用于根据所述播放倍速播放所述当前情节单元。

在上述方案中,所述装置还包括:获取模块,用于:在获取与当前情节单元对应的属性信息之前,通过以下方式之一将所述视频划分为多个情节单元:按照场景对所述视频进行划分处理;按照对话对所述视频进行划分处理;按照内容来源对所述视频进行划分处理,其中,所述内容来源的类型包括所述视频的原生内容、在所述视频中插入的推荐信息。

在上述方案中,所述获取模块,还用于:对所述视频中的每个视频帧进行场景识别处理,得到所述每个视频帧所属的场景;将属于相同场景且播放时间接续的多个视频帧确定为属于同一个情节单元,并将所述多个视频帧具有的最小时间戳和最大时间戳之间的时间段,确定为所述情节单元的播放时间段。

在上述方案中,所述获取模块,还用于:对所述视频中的每个音频帧的发声对象进行身份识别处理;将属于相同发声对象且播放时间连续的多个音频帧确定为属于同一个情节单元,并将所述多个音频帧具有的最小时间戳和最大时间戳之间的时间段,确定为所述情节单元的播放时间段。

在上述方案中,所述视频中还包括过渡单元;所述获取模块,还用于:通过以下方式至少之一确定所述视频中的过渡单元:确定每个所述情节单元的信息量,将小于信息量阈值的情节单元作为过渡单元;将所述多个情节单元中用于衔接不同场景的情节单元确定为过渡单元;将所述多个情节单元中用于衔接不同对话的情节单元确定为过渡单元。

在上述方案中,所述获取模块,还用于:当所述视频的播放进度处于所述视频中任一个过渡单元的播放时间段时,在所述过渡单元的播放时间段中应用与所述过渡单元对应的播放倍速;其中,与所述过渡单元对应的播放倍速是以下播放倍速中的任意一个:固定播放倍速、与所述过渡单元衔接且位于所述过渡单元之前的情节单元的播放倍速、根据所述过渡单元的属性信息获取的播放倍速。

在上述方案中,所述倍速模块,还用于:获取对应所述情节单元的历史积极互动操作的次数以及历史消极互动操作的次数,作为与当前情节单元对应的属性信息;确定与所述历史积极互动操作的次数负相关,且与所述历史消极互动操作的次数正相关的播放倍速。

在上述方案中,所述倍速模块,还用于:获取与目标用户具有社交关系的多个用户针对所述当前情节单元采取的历史播放倍速,作为与所述当前情节单元对应的属性信息;其中,所述目标用户是提交所述视频播放操作的用户;获取所述多个用户的画像与所述用户的画像之间的相似度;将所述多个用户各自对应的相似度作为权重,对所述多个用户的历史播放倍速进行加权处理,并将加权处理结果确定为所述当前情节单元的播放倍速。

在上述方案中,所述倍速模块,还用于:获取所述当前情节单元的特征向量,作为与所述当前情节单元对应的属性信息;从目标用户的历史播放数据中获取针对所述目标用户观看的历史情节单元采取的历史播放倍速;其中,所述目标用户是提交所述视频播放操作的用户;确定每个所述历史情节单元的特征向量与所述当前情节单元的特征向量之间的相似度;将针对最大相似度的历史情节单元采取的历史播放倍速,作为所述当前情节单元的播放倍速。

在上述方案中,所述倍速模块,还用于:响应于针对所述当期情节单元的倍速设定操作,确定对应所述当前情节单元的更新播放倍速,以在所述当前情节单元的播放时间段结束之前应用与所述当前情节单元对应的更新播放倍速;根据所述更新播放倍速,对所述视频中的后续情节单元的播放倍速进行更新;其中,所述后续情节单元的播放时间段位于所述当前情节单元的播放时间段之后。

在上述方案中,所述倍速模块,还用于:确定所述后续情节单元的特征向量与所述当前情节单元的特征向量之间的相似度;当所述相似度大于相似度阈值时,将所述当前情节单元采取的更新播放倍速,作为后续情节单元的播放倍速。

在上述方案中,在根据所述播放倍速播放所述当前情节单元之前,所述装置还包括:控制模块,用于:响应于倍速播放功能触发操作,呈现动态倍速控件;响应于针对所述动态倍速控件的触发操作,确定将执行根据所述播放倍速播放所述当前情节单元的操作。

在上述方案中,当呈现动态倍速控件时,所述控制模块,还用于:呈现固定倍速控件;响应于针对所述固定倍速控件的触发操作,基于所述固定倍速控件中被设置的固定播放倍速播放所述视频。

本申请实施例提供一种电子设备,包括:

存储器,用于存储可执行指令;

处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的视频的播放控制方法。

本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于被处理器执行时,实现本申请实施例提供的视频的播放控制方法。

本申请实施例具有以下有益效果:

将视频按照情节单元的属性信息采取动态的播放倍速,契合了用户针对视频中不同情节单元的关注度,节省了用户人工介入调整播放倍速的操作,从而提高了人机交互效率。

附图说明

图1是本申请实施例提供的视频的播放控制系统的结构示意图;

图2是本申请实施例提供的终端400的结构示意图;

图3是本申请实施例提供的视频的播放控制方法的流程示意图;

图4A-4D是本申请实施例提供的视频的播放控制方法的流程示意图;

图5是本申请实施例提供的视频的播放控制方法的整体流程图;

图6是本申请实施例提供的视频的播放控制方法的速度决策示意图;

图7是本申请实施例提供的视频的播放控制方法的应用示意图;

图8是本申请实施例提供的视频的播放控制方法的修正示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。

1)客户端,终端中运行的用于提供各种服务的应用程序,例如即时通讯客户端、视频播放客户端。

2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。

3)播放倍速,是相对于正常播放速度(即按照视频中设定的帧率播放的速度)的倍数,按照比例加快或减慢视频播放速度,例如播放倍速为2倍速,则可以在10秒时间内播放完按照视频的正常播放速度20秒播放的内容,即相当于快速播放;例如播放倍速为0.5倍速,则可以在10秒时间内播放完按照视频的正常播放速度5秒才能播放的内容,即相当于慢速播放。

相关技术中的视频播放均基于用户手动选择的固定倍速进行视频播放,在播放过程中若用户对当前的播放速度不满意,则响应于用户的固定倍速选择操作,按照所选择的固定倍速播放视频,该过程中并不存在智能化的动态倍速功能,虽然相关技术中的固定倍速播放功能可以满足部分用户的使用需求,但是视频的完整内容所包括的情节通常是跌宕起伏的,用户往往希望正常倍速观看部分情节(感兴趣的情节),快速播放部分情节(不感兴趣的情节),例如,快速跳过不感兴趣的情节,基于相关技术中提供的固定倍速播放功能,无法满足上述灵活控制播放速度的观看需求。

基于上述技术问题,本申请实施例提供一种视频的播放控制方法、装置、电子设备和计算机可读存储介质,能够为每个视频在不同的情节单元的播放时间段推荐不同的播放倍速,从而提高人机交互效率,进而提升用户的观看体验。

本申请实施例提供的视频的播放控制方法可以由终端设备(下文简称为终端)独自实施,例如,终端对视频进行划分得到多个情节单元,并确定对应分别与多个情节单元一一对应的播放倍速,所确定的播放倍速与用户对情节单元的感兴趣程度负相关,在播放视频的过程中将播放倍速应用于对应的情节单元,从而实现适应于不同情节单元的动态倍速播放功能,终端所播放的视频是离线场景下的本地视频,或者是在线场景下从服务器获取的视频。

终端可以包括笔记本电脑、平板电脑、台式计算机、机顶盒、移动设备(例如,移动电话、便携式音乐播放器、个人数字助理、专用消息设备、便携式游戏设备)等各种类型。

本申请实施例提供的视频的播放控制方法可以由终端和服务器协同实施。例如,终端从服务器获取视频中当前情节单元的播放时间段、以及与当前情节单元对应的播放倍速,当前情节单元的播放倍速是基于当前情节单元的属性信息确定的,例如,属性信息包括与当前情节单元相关的数据以及与用户相关的数据,基于属性信息确定出播放倍速的过程实质上是刻画当前情节单元的感兴趣程度的过程,例如,属性信息还可以包括当前情节单元的标识,即服务器预先对视频进行划分得到多个情节单元,并确定与当前情节单元的标识一一对应的播放倍速,情节单元的标识与播放倍速之间的关联关系可以是基于每个情节单元的感兴趣程度进行构建的,所确定的播放倍速与用户对情节单元的感兴趣程度负相关,将播放倍速与情节单元的标识进行关联,从而在线播放时,终端根据当前播放时间戳直接获取属性信息(当前情节单元的标识),则根据标识查询得到对应的播放倍速,以根据播放倍速直接播放当前情节单元,从而实现适应于不同情节单元的动态倍速播放功能。

参见图1,图1是本申请实施例提供的视频的播放控制系统应用于在线场景中的结构示意图。其中,视频播放数据为直播数据或者非直播数据,视频的播放控制系统100包括:服务器200、网络300、以及终端400,将分别进行说明。

服务器200是视频客户端410的后台服务器,向视频客户端410发送视频以及相应的视频播放速度数据,视频播放速度数据包括视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速,或者在服务器200保存视频以及相应的视频播放速度数据,响应视频客户端410的视频播放请求(视频客户端接收到用户的视频播放操作),读取存储在本地的视频以及相应的视频播放速度数据,以按照视频播放速度数据播放视频,或者从服务器200获取视频以及相应的视频播放速度数据,以按照视频播放速度数据播放视频。

可以理解,在视频客户端410中终端400本地存储的视频的离线场景中,服务器200是可以缺省的。

作为示例,离线场景中,终端对本地存储的视频进行划分得到多个情节单元,并根据包括与当前情节单元相关的数据以及与用户相关的数据的属性信息,确定与当前情节单元对应的播放倍速,或者,根据包括当前情节单元相关的标识的属性信息,查询与当前情节单元对应的播放倍速,所确定的播放倍速与用户对情节单元的感兴趣程度负相关,在播放视频的过程中将播放倍速应用于当前情节单元,从而实现适应于不同情节单元的动态倍速播放功能。

网络300,用于作为服务器200和终端400之间通信的媒介,可以是广域网或者局域网,又或者是二者的组合。

终端400,用于运行视频客户端410。

作为示例,在线场景中,终端400中运行的视频客户端410接收服务器200发送的视频播放速度数据,并在终端400的视频播放界面中按照视频播放倍速播放视频,其中,视频播放速度数据是服务器生成并存储的,服务器对视频进行划分得到多个情节单元,并根据包括与当前情节单元相关的数据以及与用户相关的数据的属性信息,确定与当前情节单元一一对应的播放倍速,或者,根据包括当前情节单元相关的标识的属性信息,查询与当前情节单元对应的播放倍速,所确定的播放倍速与用户对情节单元的感兴趣程度负相关,服务器将视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速封装为视频播放速度数据进行存储。

作为示例,在线场景中,服务器向视频客户端410发送视频,终端400中运行的视频客户端410用于接收服务器200发送的视频,并且终端400对视频进行划分得到多个情节单元,根据包括与当前情节单元相关的数据以及与用户相关的数据的属性信息,确定与当前情节单元对应的播放倍速,或者,根据包括当前情节单元相关的标识的属性信息,查询与当前情节单元对应的播放倍速,所确定的播放倍速与用户对当前情节单元的感兴趣程度负相关,在终端400的视频播放界面中按照视频播放倍速播放视频。

这里,视频客户端410可以是具备视频播放功能的应用程序(APP,Appli cation),例如视频APP、或短视频APP;还可以是具备视频播放功的浏览器;还可以是能够嵌入至任意APP中的视频小程序。

本申请实施例可以借助于云技术(Cloud Technology)实现,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。

云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,例如,视频的门户网站。

作为示例,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视以及智能手表等,但并不局限于此。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。

接下来说明本申请实施例提供的电子设备的结构,如前所述,电子设备可以实施为终端,也可以实施为终端和服务器。

以电子设备实施为如图1所示的终端400为例说明,参见图2,图2是本申请实施例提供的终端400的结构示意图,图2所示的终端400包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。

操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;

网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;

呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);

输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中,本申请实施例提供的视频的播放控制装置可以采用软件方式实现,图2示出了存储在存储器450中的视频的播放控制装置455,其可以是程序和插件等形式的软件,包括以下软件模块:播放模块4551、倍速模块4552、获取模块4553以及控制模块4554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分,将在下文中说明各个模块的功能。

参见图3,图3是本申请实施例提供的视频的播放控制方法的流程示意图,将结合图3示出的步骤进行说明。如前所述,下文所述的视频播放的控制方法的步骤可以是由终端实现的,也可以是由终端和服务器协同实现的。

在步骤301中,响应于视频播放操作,播放视频。

在一些实施例中,视频的类型可以是在线视频或终端本地预存储的视频,以在线视频为例,终端响应于用户发起的视频播放操作,向服务器发送视频获取请求;服务器响应于视频获取请求,向终端发送相应的视频;终端在视频播放界面中播放接收到的视频。

以在线视频播放为例进行示例性说明,服务器向终端发送视频以及相应的视频播放速度数据,并存储在终端本地,即预先从服务器同步数据,例如,定期向终端同步数据,或者在视频客户端启动后自动同步,视频播放速度数据包括视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速,其中,服务器向终端发送的视频播放速度数据是经过预先学习得到的,例如,播放倍速是针对当前用户确定的,若当前用户为新用户时,使用相似用户(例如,与当前用户具有社交关系的用户,呈现提示信息,以提示当前用户是否应用相似用户的播放倍速)的用户数据进行播放倍速的学习,终端接收到视频客户端的视频播放请求(视频客户端接收到用户的视频播放操作),读取存储在本地的视频以及相应的视频播放速度数据,以按照视频播放速度数据播放视频。

在步骤302中,获取与当前情节单元对应的属性信息,以根据属性信息获取与当前情节单元对应的播放倍速。

在步骤303中,根据对应的播放倍速播放当前情节单元。

作为示例,当视频的播放进度处于视频中任一个情节单元的播放时间段时,表征所处的播放时间段对应的情节单元为当前情节单元,获取与当前情节单元对应的属性信息,以根据属性信息获取与当前情节单元对应的播放倍速,从而根据对应的播放倍速播放当前情节单元。

在一些实施例中,在根据播放倍速播放当前情节单元之前,响应于倍速播放功能触发操作,呈现动态倍速控件;响应于针对动态倍速控件的触发操作,确定将执行根据播放倍速播放当前情节单元的操作。例如,已经获取了当前情节单元的播放倍速,但是响应于针对动态倍速控件的触发操作,才确定将执行根据播放倍速播放当前情节单元的操作。

作为示例,获取与当前情节单元对应的属性信息,以根据属性信息获取与当前情节单元对应的播放倍速的过程可以为根据属性信息的倍速查询过程,或者是根据用户行为(属性信息)进行实时预测的过程。

作为示例,当前情节单元为当前视频的播放进度所处的情节单元,或者当前情节单元为当前视频的播放进度所处的情节单元以及后续情节单元。

作为示例,当前情节单元的播放倍速与当前情节单元的感兴趣程度对应,感兴趣程度用于表征当前情节单元的内容对于发起视频播放操作的用户的吸引程度。播放倍速可以在连续的取值空间中确定的,即播放倍速可以与感兴趣程度成正比例,播放倍速也可以是在离散的取值空间中确定的,即确定与感兴趣程度成正比例的值之后,在离散空间中确定与成正比例的值最接近的值作为待应用的播放倍速。

在一些实施例中,获取与当前情节单元对应的属性信息,以根据所述属性信息获取与所述当前情节单元对应的播放倍速的技术方案,具体可以根据包括与当前情节单元相关的数据以及与用户相关的数据的属性信息,确定与当前情节单元对应的播放倍速,或者,根据包括当前情节单元相关的标识的属性信息,查询与当前情节单元对应的播放倍速,若根据包括当前情节单元相关的标识的属性信息,查询与当前情节单元对应的播放倍速,则需要预先获取视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速,从而后续直接根据当前情节单元的属性信息(例如,当前情节单元的标识),查询与当前情节单元对应的播放倍速。

在一些实施例中,属性信息还包括当前情节单元的人物,根据包括当前情节单元的人物的属性信息,查询与当前情节单元对应的播放倍速,若根据包括当前情节单元的人物的属性信息,查询与当前情节单元对应的播放倍速,则需要预先获取视频中每个情节单元的人物、以及与人物的感兴趣程度对应的播放倍速,例如,主角人物的感兴趣程度通常高于配角人物,从而主角人物对应的播放倍速低于配角人物的播放倍速,从而后续直接根据当前情节单元的属性信息(例如,当前情节单元的人物),查询与当前情节单元对应的播放倍速。基于属性信息进行查询得到当前情节单元的播放倍速的实施方式,有利于提升视频播放流畅度。

作为示例,终端可以依赖自己的计算能力确定出视频中当前情节单元的播放时间段、以及与当前情节单元的感兴趣程度对应的播放倍速,终端还可以借助服务器计算能力确定视频中当前情节单元的播放时间段、以及与当前情节单元的感兴趣程度对应的播放倍速。

若直接由终端确定出视频中当前情节单元的播放时间段、以及与当前情节单元的感兴趣程度对应的播放倍速,则还可以在离线场景下应用本申请实施例提供的视频的播放控制方法,在在线场景下实施时也有利于降低网络通信资源的消耗;由服务器确定出当前情节单元的播放时间段以及与当前情节单元的感兴趣程度对应的播放倍速,减少了终端的存储资源以及计算占用,且服务器相对于终端来说计算能力强,运算速度快,能够节约终端播放视频的缓冲时间,而且能够减小对终端的计算资源的占用。

在一些实施例中,在获取与当前情节单元对应的属性信息之前,需要获取视频中每个情节单元的播放时间段,可以通过以下方式之一将视频划分为多个情节单元:按照场景对视频进行划分处理;按照对话对视频进行划分处理;按照内容来源对视频进行划分处理,其中,内容来源的类型包括视频的原生内容、在视频中插入的推荐信息,例如推荐信息可以是在视频播放前播放的广告,也可以视频播放暂停时插入的广告。

作为示例,将每个情节单元包括的所有视频帧的时间戳进行排序,将最小时间戳作为情节单元的播放时间段的起点,将最大时间戳作为情节单元的播放时间段的终点。

在一些实施例中,上述按照场景对视频进行划分处理,可以通过以下技术方案实现:通过场景识别模型对视频中的每个视频帧进行场景识别处理,得到每个视频帧所属的场景;将属于相同场景且播放时间接续的多个视频帧确定为属于同一个情节单元,并将多个视频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段。

作为示例,场景识别模型可以为经过训练的神经网络模型,神经网络模型可以是基于视频帧样本以及标记的场景训练得到的,假设视频中有120个视频帧,对120个视频帧进行场景识别处理,得到每个视频帧所属的场景,若存在30个视频帧处于相同场景且播放时间接续,则将这30个视频帧确定为属于同一个情节单元。例如,对应室内场景的情节单元,进而将多个视频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段,通过基于场景划分视频得到情节单元的方式,可以确保每个情节单元的内容均发生在同一场景,既保证对应每个场景的情节单元内容播放的连贯性,还能够为用户提供稳定的观看体验。

在一些实施例中,上述按照对话对视频进行划分处理,可以通过以下技术方案实现:通过语音识别模型对视频中的每个音频帧的发声对象进行身份识别处理;将属于相同发声对象且播放时间连续的多个音频帧确定为属于同一个情节单元,并将多个音频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段。

作为示例,语音识别模型可以为经过训练的神经网络模型,神经网络模型可以是基于音频帧样本以及标记的发声对象身份训练得到的,假设视频中有120个音频帧,对120个音频帧进行语音识别处理,得到每个音频帧所属的发声对象的身份ID,若存在30个音频帧属于相同发声对象且播放时间接续,则将这30个音频帧确定为属于同一个情节单元,例如,对应人物A的某次讲话的情节单元,进而将多个音频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段,通过基于发声对象划分视频得到情节单元的方式可以确保每个情节单元均属于相同的发声对象,既保证对应情节单元的内容播放的连贯性,还能够同时从听觉维度为用户提供稳定的听觉体验。

在一些实施例中,可以基于用户行为数据进一步对划分视频得到的情节单元进行更新,参见图8、图8是本申请实施例提供的视频的播放控制方法的修正示意图,在视频播放时间抽T上存在划分得到的情节单元Q1,情节单元Q1的播放时间段是t1至t2之间的时间段,经过统计存在用户1和用户2针对情节单元Q1具有互动操作,例如快进操作,图8中的双向箭头表征互动操作所针对的视频的播放时间段,将来自两个用户的互动操作所针对的播放时间段进行重合处理,得到互动播放时间段,例如图8中t3至t4之间的时间段,互动播放时间段对应的视频中的内容可以称为互动单元,因此,可以基于互动单元对划分得到的情节单元Q1进行更新,更新时可以直接利用互动播放时间段替换对应的情节单元(例如情节单元Q1)的播放时间段,并适应性调整与该情节单元相邻的情节单元,更新时还可以利用基于互动单元与情节单元得到的中和播放时间段替换对应的情节单元(例如情节单元Q1)的播放时间段,并适应性调整与该情节单元相邻的情节单元,中和播放时间段的起点可以是互动播放时间段的起点与情节单元的播放时间段的起点的中间点,中和播放时间段的终点可以是互动播放时间段的终点与情节单元的播放时间段的终点的中间点。由于对情节单元进行了基于用户行为数据的更新,使得更新后的情节单元符合用户的实际偏好,从而提高了用户的观看体验并提高了人机交互效率。

在一些实施例中,视频中还包括过渡单元;还可以执行以下技术方案:通过以下方式至少之一确定视频中的过渡单元:确定每个情节单元的信息量,将小于信息量阈值的情节单元作为过渡单元;将多个情节单元中用于衔接不同场景的情节单元确定为过渡单元;将多个情节单元中用于衔接不同对话的情节单元确定为过渡单元。

作为示例,视频可以被划分为连续的多个情节单元;作为替换方案,视频还可以被划分为穿插有过渡单元的多个情节单元,过渡单元的引入,使得情节单元的划分更加合理,使得情节单元中内容更加符合用户期望,例如,室内场景与室外场景之间的场景切换过程的视频帧属于过渡单元。

作为示例,将多个情节单元中用于衔接不同场景的情节单元确定为过渡单元时,例如,可以将衔接第一情节单元(第一情节单元包括第一场景)和第二情节单元(第二情节单元包括第二场景)的第三情节单元确定为过渡单元,第一情节单元、第三情节单元和第二情节单元的播放时间段依次衔接;将多个情节单元中用于衔接不同对话的情节单元确定为过渡单元,例如,可以将衔接第一情节单元(第一情节单元包括第一对话)和第二情节单元(第二情节单元包括第二对话)的第三情节单元确定为过渡单元,第一情节单元、第三情节单元和第二情节单元的播放时间段依次衔接。

在一些实施例中,还可以执行以下技术方案:当视频的播放进度处于视频中任一个过渡单元的播放时间段时,在过渡单元的播放时间段中应用与过渡单元对应的播放倍速;其中,与过渡单元对应的播放倍速是以下播放倍速中的任意一个:固定播放倍速、与过渡单元衔接且位于过渡单元之前的情节单元的播放倍速、根据过渡单元的属性信息获取的播放倍速。

作为示例,针对过渡单元可以存在对应的播放倍速,对应的播放倍速可以是固定播放倍速,还可以是前一个情节单元的播放倍速,假设先播放第一情节单元,再播放过渡单元,之后再播放第二情节单元,则将第一情节单元的播放倍速作为过渡单元的播放倍速,还可以根据用户对过渡单元的感兴趣程度确定对应的播放倍速,即利用历史海量用户数据以及过度单元的特征向量(过渡单元的属性信息)预测过渡单元的播放倍速,使得过渡单元的播放倍速与用户的感兴趣程度相符。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取对应当前情节单元的历史积极互动操作的次数以及历史消极互动操作的次数,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:确定与历史积极互动操作的次数负相关、且与历史消极互动操作的次数正相关的播放倍速。通过属性信息实时预测对应的播放倍速,有效提高播放倍速预测的准确性。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取对应当前情节单元的标识,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:确定与当前情节单元的标识对应的播放倍速。由于已经预先存储了情节单元的标识与对应的播放倍速之间的关联关系,因此可以直接通过查询获得当前情节单元的倍速,获取情节单元的标识与对应的播放倍速之间的关联关系的过程可以通过参考图4A中的步骤103A-105A实现,其中,通过属性信息(例如操作次数)实时预测对应的播放倍速的实施方式可以参考步骤103A-105A,即将下述情节单元替换为当前情节单元即可。

在一些实施例中,参见图4A,图4A是本申请实施例提供的视频的播放控制方法的流程示意图。

在步骤103A中,获取对应情节单元的历史积极互动操作的次数以及历史消极互动操作的次数。

在步骤104A中,确定与历史积极互动操作的次数正相关,且与历史消极互动操作的次数负相关的感兴趣程度。

在步骤105A中,确定与感兴趣程度负相关的播放倍速。

作为示例,历史积极互动操作可以是表征用户对情节单元感兴趣的互动操作,例如,发送弹幕操作、截屏操作、评论操作、点赞操作、收藏操作、快退操作等等,历史消极互动操作可以是表征用户对情节单元不感兴趣的互动操作,例如,快进操作、跳转到播放其他视频的操作等等。

作为示例,以历史积极互动操作为例,当存在相同用户的多个历史积极互动操作的实际次数超过次数阈值时,需要削弱来自于相同用户的多个历史积极互动操作的实际次数的偏差影响,因此可以将历史积极互动操作的次数按照用户进行归并修正,即将来自于同一个用户的针对某一情节单元的历史积极互动操作的实际次数归并为1,例如,假设用户A针对情节单元Q存在50个(实际次数)历史积极操作,用户B针对情节单元Q存在40个(实际次数)历史积极操作(超过次数阈值30),则进行归并处理,记录用户A针对情节单元Q的历史积极操作的次数为1,记录用户B针对情节单元Q的历史积极操作的次数也为1,总共历史积极互动操作的次数为2,即按照用户数目来进行次数统计。

作为上述的按照用户数目来进行次数统计的替换方案,可以将用户数目替换为用户占比,即对该情节单元具有历史积极操作的用户的数目与观看历史情节单元的用户总数目的比值,例如,总共有10个用户观看了情节单元Q,针对情节单元Q存在历史积极互动操作的用户数目为2,则占比为0.2,利用占比的数值来替换次数。

作为示例,以历史积极互动操作为例,当存在相同用户的多个历史积极互动操作的实际次数不超过次数阈值时,不需要削弱来自于相同用户的多个历史积极互动操作的实际次数的偏差影响,因此可以直接统计实际次数作为基础以确定播放倍速,假设用户A针对情节单元Q存在10个(实际次数)历史积极操作,用户B针对情节单元Q存在15个(实际次数)历史积极操作,记录用户A针对情节单元Q的历史积极操作的次数为10,记录用户B针对情节单元Q的历史积极操作的次数为15,总共历史积极互动操作的次数为25,即直接按照操作次数进行统计。

作为示例,上述确定与感兴趣程度负相关的播放倍速,可以通过以下技术方案实现:当积极互动操作的次数低于第一次数阈值,且消极互动操作的次数高于第二次数阈值时,播放倍速的取值类型包括慢倍速和快倍速,慢倍速对应介于0和1之间的小数,快倍速对应大于或等于1的倍数,倍数为整数或小数;当积极互动操作的次数不低于第一次数阈值或者消极互动操作的次数不高于第二次数阈值时,播放倍速的取值类型仅包括快倍速。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案:获取与目标用户具有社交关系的多个用户针对当前情节单元采取的历史播放倍速,作为与当前情节单元对应的属性信息;其中,目标用户是提交视频播放操作的用户;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案:获取多个用户的画像与目标用户的画像之间的相似度;将多个用户各自对应的相似度作为权重,对多个用户的历史播放倍速进行加权处理,并将加权处理结果确定为当前情节单元的播放倍速。通过属性信息实时预测对应的播放倍速,有效提高播放倍速预测的准确性。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取对应当前情节单元的标识,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:确定与当前情节单元的标识对应的播放倍速。由于已经预先存储了情节单元的标识与对应的播放倍速之间的关联关系,因此可以直接通过查询获得当前情节单元的倍速,获取情节单元的标识与对应的播放倍速之间的关联关系的过程可以通过参考图4B中的步骤103B-105B实现,其中,通过属性信息(例如,历史播放倍速)实时预测对应的播放倍速的实施方式可以参考步骤103B-105B,即将下述情节单元替换为当前情节单元即可。

在一些实施例中,参见图4B,图4B是本申请实施例提供的视频的播放控制方法的流程示意图。

在步骤103B中,获取与目标用户具有社交关系的多个用户针对情节单元采取的历史播放倍速,目标用户是提交视频播放操作的用户。

在步骤104B中,获取多个用户的画像与目标用户的画像之间的相似度。

在步骤105B中,将多个用户各自对应的相似度作为权重,对多个用户的历史播放倍速进行加权处理,并将加权处理结果确定为情节单元的播放倍速。

作为示例,获取与目标用户具有社交关系的多个用户针对情节单元采取的历史播放倍速,目标用户是提交视频播放操作的用户,假设目标用户为用户A,与目标用户具有社交联系的多个用户分别是用户B、用户C和用户D,获取多个用户的画像与目标用户的画像之间的相似度,获取用户A与用户B的画像之间的相似度b,获取用户A与用户C的画像之间的相似度c,获取用户A与用户D的画像之间的相似度d,将多个用户各自对应的相似度作为权重,对多个用户的历史播放倍速进行加权处理,假设用户B对情节单元Q的播放倍速是1倍速,用户C对情节单元Q的播放倍速是2倍速,用户D对情节单元Q的播放倍速是1.5倍速,则获得加权处理结果(1*b+2*c+1.5*d),并将加权处理结果确定为情节单元的播放倍速,由于与目标用户具有社交关系的用户与目标用户的用户画像存在相似性,因此与目标用户具有社交关系的用户针对某一情节单元所采取的播放倍速具有参考价值,假设用户B针对该情节单元的对应感兴趣程度的播放倍速为1倍速,用户A与用户B的画像之间的相似度b,则用户B针对该情节单元的感兴趣程度的参考价值权重为b,基于上述加权处理,最终得到的加权处理结果可以表征用户A对于情节单元的感兴趣程度。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案:获取当前情节单元的特征向量,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:从目标用户的历史播放数据中获取针对目标用户观看的历史情节单元采取的历史播放倍速;其中,目标用户是提交视频播放操作的用户;确定每个历史情节单元的特征向量与当前情节单元的特征向量之间的相似度;将针对最大相似度的历史情节单元采取的历史播放倍速,作为当前情节单元的播放倍速。通过属性信息实时预测对应的播放倍速,有效提高播放倍速预测的准确性。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取对应当前情节单元的标识,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:确定与当前情节单元的标识对应的播放倍速。由于已经预先存储了情节单元的标识与对应的播放倍速之间的关联关系,因此可以直接通过查询获得当前情节单元的倍速,获取情节单元的标识与对应的播放倍速之间的关联关系的过程可以通过以下技术方案实现:从目标用户的历史播放数据中获取针对目标用户观看的历史情节单元采取的历史播放倍速,目标用户是提交视频播放操作的用户;确定每个历史情节单元的特征向量与情节单元的特征向量之间的相似度;将针对最大相似度的历史情节单元采取的历史播放倍速,作为情节单元的播放倍速。通过属性信息(例如,当前情节单元的特征向量)实时预测对应的播放倍速的实施方式可以参考以下实施例。

作为示例,从目标用户的历史播放数据中获取针对目标用户观看的历史情节单元采取的历史播放倍速,目标用户是提交视频播放操作的用户,假设目标用户A在观看视频之前曾经观看过3个历史情节单元(Q1、Q2和Q3),确定每个历史情节单元的特征向量与情节单元的特征向量之间的相似度,即确定情节单元Q和历史情节单元Q1的特征向量之间的相似度,确定情节单元Q和历史情节单元Q2的特征向量之间的相似度,确定情节单元Q和历史情节单元Q3的特征向量之间的相似度,假设情节单元Q和历史情节单元Q3的特征向量之间的相似度最大,将针对历史情节单元Q3采取的历史播放倍速,作为情节单元的播放倍速,由于历史情节单元的播放倍速可以表征目标用户A针对历史情节单元的感兴趣程度,将具有最大相似度的历史情节单元的播放倍速作为情节单元Q的播放倍速,是符合用户期望的,且该播放倍速与目标用户A针对情节单元Q的感兴趣程度对应。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取目标用户的零操作时间,作为与当前情节单元对应的属性信息;其中,目标用户是提交视频播放操作的用户;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:当零操作时间超过时间阈值时,获取与零操作时间成负相关的播放倍速。

作为示例,零操作时间是上一次终端接收到用户的交互操作到当前时间戳的时间,零操作时间大于时间阈值表征用户可能未关注所播放的视频,此时获取与零操作时间成负相关的播放倍速作为当前情节单元的播放倍速,例如,零操作时间达到10分钟(超过时间阈值5分钟),需要按照0.8倍速播放,零操作时间达到15分钟,需要按照0.75倍速播放,以保证用户再次关注视频时不会遗漏太多的内容。

在一些实施例中,获取与当前情节单元对应的属性信息,可以通过以下技术方案实现:获取当前情节单元的字幕向量、音频向量以及视频向量,作为与当前情节单元对应的属性信息;根据属性信息获取与当前情节单元对应的播放倍速,可以通过以下技术方案实现:将字幕向量、音频向量、以及视频向量进行融合处理,以获得融合向量;通过神经网络模型将融合向量分别映射为对应多个候选播放倍速的概率,并将最大概率所对应的候选播放倍速确定为当前情节单元对应的播放倍速。通过属性信息实时预测对应的播放倍速,有效提高播放倍速预测的准确性。

在一些实施例中,还可以执行以下技术方案:响应于针对当前情节单元的倍速设定操作,确定对应当前情节单元的更新播放倍速,以在当前情节单元的播放时间段结束之前应用与当前情节单元对应的更新播放倍速;根据更新播放倍速,对视频中的后续情节单元的播放倍速进行更新;其中,后续情节单元的播放时间段位于当前情节单元的播放时间段之后。

在一些实施例中,上述根据更新播放倍速,对视频中的后续情节单元的播放倍速进行更新,可以通过以下技术方案实现:确定后续情节单元的特征向量与当前情节单元的特征向量之间的相似度;当相似度大于相似度阈值时,将当前情节单元采取的更新播放倍速,作为后续情节单元的播放倍速。

作为示例,假设播放至某一个情节单元(当前情节单元)时,该情节单元正在以对应的播放倍速进行播放,但是用户对该情节单元的播放倍速不满意,因此终端会接收到针对情节单元的倍速设定操作,倍速设定操作中携带有更新播放倍速,因此终端可以确定对应情节单元的更新播放倍速,并在正在播放的情节单元的播放时间段结束之前应用该更新播放倍速,用户的倍速设定操作可以对后续情节单元(即未播放的情节单元)的播放倍速进行修正。

作为示例,假设用户针对正在播放的情节单元Q存在倍速设定操作,即表征用户对情节单元Q对应的与感兴趣程度相关的播放倍速不满意,因此可以确定后续情节单元(Q1、Q2和Q3)的特征向量分别与情节单元Q的特征向量之间的相似度,当相似度大于相似度阈值时,例如,情节单元Q1与情节单元Q的特征向量之间的相似度大于相似度阈值,将情节单元Q采取的更新播放倍速,作为对应后续情节单元Q1的播放倍速,从而保证后续情节单元的播放倍速与用户的最新的针对情节单元的感兴趣程度对应。

在一些实施例中,参见图4C,图4C是本申请实施例提供的视频的播放控制方法的流程示意图,步骤302中在根据对应的播放倍速播放当前情节单元之前,还可以执行步骤106-107。

在步骤106中,响应于倍速播放功能触发操作,呈现动态倍速控件。

在步骤107中,响应于针对动态倍速控件的触发操作,确定将执行在情节单元的播放时间段中应用与情节单元对应的播放倍速的操作。

在一些实施例中,当呈现动态倍速控件时,还可以执行以下技术方案:呈现固定倍速控件;响应于针对固定倍速控件的触发操作,基于固定倍速控件中被设置的固定播放倍速播放视频。

作为示例,步骤106-107可以在视频播放过程中执行,或者在播放视频之间执行。

参见图7,图7是本申请实施例提供的视频的播放控制方法的应用示意图,响应于倍速播放功能触发操作可以是针对倍速播放功能控件602的触发操作,之后会呈现动态倍速控件603,当呈现动态倍速控件603时,还会呈现固定倍速控件,例如1倍速控件、1.5倍速控件等等,响应于针对动态倍速控件603的触发操作,则确定将执行在情节单元的播放时间段中应用与情节单元对应的播放倍速的操作,响应于针对固定倍速控件的触发操作,则基于固定倍速控件中被设置的固定播放倍速播放视频,例如,假设接收到针对对应1.5倍速的固定倍速控件的触发操作,则基于固定倍速控件中被设置的固定播放倍速(1.5倍速)播放视频。

在一些实施例中,终端的人机交互界面可以呈现咨询弹窗,用于咨询用户是否满意当前的播放倍速,响应于接收到用户针对情节单元的播放倍速不满意的反馈信息,则自动呈现固定倍速控件和动态倍速控件,以提供用户重新设置播放倍速的入口,即不需要接收到用户针对倍速播放功能触发操作,就呈现出固定倍速控件和动态倍速控件,有利于提高用户人机交互的效率,从而提高用户观看体验。

下面,以由图1中的终端400和服务器200协同实施本申请实施例提供的视频的播放控制方法为例进行说明。参见图4D,图4D是本申请实施例提供的视频的播放控制方法的流程示意图,将结合图4D示出的步骤进行说明。

在步骤201中,终端接收用户的视频播放操作。

在步骤202中,终端向服务器发送对应视频播放操作的视频播放请求。

在步骤203中,服务器向终端发送视频。

在步骤204中,终端播放视频。

在步骤205中,终端接收用户针对动态倍速控件的触发操作。

作为示例,步骤205可以在不早于步骤201的任意时刻进行,即在还未播放视频时,即可以接收用户针对动态倍速控件的触发操作以控制视频按照动态倍速的方式进行播放。

在步骤206中,终端向服务器发送视频播放速度数据的获取请求。

作为示例,步骤206中终端向服务器发送视频播放速度数据的获取请求的执行时机是完全根据用户针对动态倍速控件的触发操作确定的。

在步骤207中,服务器向终端发送视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速。

作为示例,视频中每个情节单元的播放时间段、以及与每个情节单元的感兴趣程度对应的播放倍速是存储在服务器中,以避免占用终端的存储资源,确定每个情节单元的播放时间段以及对应播放倍速的步骤可以是在执行步骤207之前的任意时间点完成。

在步骤208中,当视频的播放进度处于视频中任一个情节单元的播放时间段时,在情节单元的播放时间段中应用与情节单元对应的播放倍速。

需要说明的是,步骤201-204的具体实现方式和上述步骤101类似,步骤208中的具体实现方式和上述步骤302-303类似,将在此不再进行赘述。

本申请实施例中,服务器相对于终端来说计算能力强,运算速度快,通过服务器完成视频划分为独立情节单元以及确定对应情节单元的倍速的过程,不仅能够节约终端播放视频的缓冲时间,而且能够减小终端的计算资源。

下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。

参见图5,图5是本申请实施例提供的视频的播放控制方法的整体流程图,首先,响应于用户针对某个视频的点击操作,进入对应点击操作的所选择视频的视频播放页面,进入视频播放页面后,默认以正常倍速(即倍速为1)播放视频,例如,视频的原始播放时间是10秒,则利用10秒时间播放该视频,若用户希望进行倍速播放,则可以选择点击倍速选项,即响应于用户针对倍速播放功能触发操作,呈现动态倍速控件以及固定倍速控件,响应于针对固定倍速控件的触发操作,例如,1.5倍速播放、2倍速播放,确定播放视频所采取的固定倍速,基于固定倍速控件中被设置的固定播放倍速播放视频,响应于针对动态倍速控件的触发操作,确定将执行在情节单元的播放时间段中应用与情节单元对应的播放倍速的操作,并从服务器获取动态倍速数据作为视频播放速度数据,动态倍速数据可以理解为针对不同播放时间段采取不同的播放速度,动态倍速数据可以经过离线计算得到,并存储在服务器,响应于上述用户的操作,生成视频播放速度数据,运行在终端的视频客户端基于视频播放速度数据进行动态倍速播放,若用户对于当前的播放倍速不满意,可以响应于用户针对固定倍速控件的触发操作,重新确定播放视频所采取的固定倍速。

在一些实施例中,可以对视频基于不同维度进行划分处理,得到多个独立的情节单元,以及每个情节单元的播放时间段,每个情节单元的播放速度是基于海量用户的行为数据进行决策得到的,假设很多用户在观看视频的某个情节单元时存在快进操作,可以确定该情节单元对应的播放倍速,参见图6,图6是本申请实施例提供的视频的播放控制方法的速度决策示意图,例如,有三个用户观看了视频A,并且这三个用户(用户1、用户2以及用户3)均对视频A存在快进操作,可以预先过滤未产生快进操作的用户,视频播放时间轴T中存在多个情节单元,例如情节单元Q1和情节单元Q2,确定视频中每个情节单元的产生快进操作的次数,若相同用户针对情节单元产生有多次操作,可以客观记录多次操作的次数,也可以仅记录为一次操作,即相当于记录产生快进操作的用户的数目。

在一些实施例中,播放倍速可以被分为四个档位(例如,3倍速、2倍速、1.5倍速、1倍速),若选择快进的用户的数目对于用户总数目而言占比大于80%,可以确定需要按照3倍速播放该情节单元,倍速与用户数目占比的对应表参见下表:

人数比例 视频倍速值
[80%,100%] 3倍
[50%,80%) 2倍
[20%,50%) 1.5倍
[0,20%) 1倍

例如,图6中情节单元Q1的用户数目占比为2/3,2/3在[50%,80%)这个区间内,因此确定将按照2倍速播放情节单元Q1,而情节单元Q2的人数占比为1,1在[80%,100%]这个区间内,因此确定将按照3倍速播放情节单元Q2。基于上述实施方式,将生成的视频的视频播放速度数据存储在服务器,为了节约数据存储资源,可以只存储大于1倍速的数据,存储格式如下,视频A:[情节单元Q1:2倍,情节单元Q2:3倍]。

参见图7,图7是本申请实施例提供的视频的播放控制方法的应用示意图,在视频播放页面601中呈现倍速播放功能控件602,响应于针对倍速播放功能控件602的点击操作,呈现动态倍速控件603,响应于针对动态倍速控件603的触发操作,可以使视频在不同情节下具有不同的播放倍速,例如,广告阶段对应的情节单元能够以较快的播放速度(倍速大于1)进行跳跃播放,视频精彩部分对应的情节单元能够以原速播放(倍速为1),具体是利用海量用户行为数据确定视频中各个情节单元的播放倍速,客户端(视频客户端)可以通过网络请求获取不同播放时间段的倍速数据来实现客户端的动态倍速播放功能,视频的动态倍速播放功能可以减少用户手动控制播放倍速的次数,从而可以提高用户观看视频的人机交互效率,进而提升用户观看视频的观看体验。

通过本申请实施例将视频按照情节单元进行划分,并针对不同情节单元采取不同的播放倍速,因此在视频的播放过程中,在不需要接收用户任何操作的情况下,即以不同的播放倍速播放不同的情节,降低了用户的播放控制操作的次数,从而提高了人机交互效率,又因为是按照不同情节单元进行倍速,使得对应同一情节单元的内容采取相同倍速播放,既确保了用户的连贯性观看体验,又提高了视频播放效率。

下面继续说明本申请实施例提供的视频的播放控制装置455的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器450的视频的播放控制装置455中的软件模块可以包括:播放模块4551,用于响应于视频播放操作,播放视频;倍速模块4552,用于获取与当前情节单元对应的属性信息,以根据所述属性信息获取与所述当前情节单元对应的播放倍速;播放模块4551,用于根据所述播放倍速播放所述当前情节单元。

在一些实施例中,获取模块4553,还用于:在获取与当前情节单元对应的属性信息之前,通过以下方式之一将视频划分为多个情节单元:按照场景对视频进行划分处理;按照对话对视频进行划分处理;按照内容来源对视频进行划分处理,其中,内容来源的类型包括视频的原生内容、在视频中插入的推荐信息。

在一些实施例中,获取模块4553,还用于:对视频中的每个视频帧进行场景识别处理,得到每个视频帧所属的场景;将属于相同场景且播放时间接续的多个视频帧确定为属于同一个情节单元,并将多个视频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段。

在一些实施例中,获取模块4553,还用于:对视频中的每个音频帧的发声对象进行身份识别处理;将属于相同发声对象且播放时间连续的多个音频帧确定为属于同一个情节单元,并将多个音频帧具有的最小时间戳和最大时间戳之间的时间段,确定为情节单元的播放时间段。

在一些实施例中,视频中还包括过渡单元;获取模块4553,还用于:通过以下方式至少之一确定视频中的过渡单元:确定每个情节单元的信息量,将小于信息量阈值的情节单元作为过渡单元;将多个情节单元中用于衔接不同场景的情节单元确定为过渡单元;将多个情节单元中用于衔接不同对话的情节单元确定为过渡单元。

在一些实施例中,获取模块4553,还用于:当视频的播放进度处于视频中任一个过渡单元的播放时间段时,在过渡单元的播放时间段中应用与过渡单元对应的播放倍速;其中,与过渡单元对应的播放倍速是以下播放倍速中的任意一个:固定播放倍速、与过渡单元衔接且位于过渡单元之前的情节单元的播放倍速、根据过渡单元的属性信息获取的播放倍速。

在一些实施例中,倍速模块4552,还用于:获取对应情节单元的历史积极互动操作的次数以及历史消极互动操作的次数,作为与当前情节单元对应的属性信息;确定与历史积极互动操作的次数负相关,且与历史消极互动操作的次数正相关的播放倍速。

在一些实施例中,倍速模块4552,还用于:获取与目标用户具有社交关系的多个用户针对当前情节单元采取的历史播放倍速,作为与当前情节单元对应的属性信息;其中,目标用户是提交视频播放操作的用户;获取多个用户的画像与用户的画像之间的相似度;将多个用户各自对应的相似度作为权重,对多个用户的历史播放倍速进行加权处理,并将加权处理结果确定为当前情节单元的播放倍速。

在一些实施例中,倍速模块4552,还用于:获取当前情节单元的特征向量,作为与当前情节单元对应的属性信息;从目标用户的历史播放数据中获取针对目标用户观看的历史情节单元采取的历史播放倍速;其中,目标用户是提交视频播放操作的用户;确定每个历史情节单元的特征向量与当前情节单元的特征向量之间的相似度;将针对最大相似度的历史情节单元采取的历史播放倍速,作为当前情节单元的播放倍速。

在一些实施例中,倍速模块4552,还用于:响应于针对当期情节单元的倍速设定操作,确定对应当前情节单元的更新播放倍速,以在当前情节单元的播放时间段结束之前应用与当前情节单元对应的更新播放倍速;根据更新播放倍速,对视频中的后续情节单元的播放倍速进行更新;其中,后续情节单元的播放时间段位于当前情节单元的播放时间段之后。

在一些实施例中,倍速模块4552,还用于:确定后续情节单元的特征向量与当前情节单元的特征向量之间的相似度;当相似度大于相似度阈值时,将当前情节单元采取的更新播放倍速,作为后续情节单元的播放倍速。

在一些实施例中,在根据播放倍速播放当前情节单元之前,装置还包括:控制模块4554,用于:响应于倍速播放功能触发操作,呈现动态倍速控件;响应于针对动态倍速控件的触发操作,确定将执行根据播放倍速播放当前情节单元的操作。

在一些实施例中,当呈现动态倍速控件时,控制模块4554,还用于:呈现固定倍速控件;响应于针对固定倍速控件的触发操作,基于固定倍速控件中被设置的固定播放倍速播放视频。

本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的视频的播放控制方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的视频的播放控制方法,例如,如图3或图4A-4D示出的视频的播放控制方法。

在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。

作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述,通过本申请实施例将视频按照情节单元进行划分,并针对不同情节单元采取不同的播放倍速,因此在视频的播放过程中,在不需要接收用户任何操作的情况下,即以不同的播放倍速播放不同的情节,降低了用户的播放控制操作的次数,从而提高了人机交互效率,又因为是按照不同情节单元进行倍速,使得对应同一情节单元的内容采取相同倍速播放,既确保了用户的连贯性观看体验,又提高了视频播放效率。

以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

30页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种视频播放控制方法、装置、电子设备和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类