一种富媒体文件处理方法、装置、计算机设备及存储介质

文档序号:410562 发布日期:2021-12-17 浏览:16次 >En<

阅读说明:本技术 一种富媒体文件处理方法、装置、计算机设备及存储介质 (Rich media file processing method and device, computer equipment and storage medium ) 是由 钟雨 于 2020-06-15 设计创作,主要内容包括:本申请涉及计算机技术领域,提供了一种富媒体文件处理方法、装置、计算机设备及存储介质,用于提高视频编码效率。该方法包括:响应富媒体文件的分割请求,从所述富媒体文件中分割出待进行特效处理的候选文件片段;响应特效处理请求,对所述候选文件片段进行特效处理,获得目标文件片段;响应文件拼接请求,将所述目标文件片段拼接到所述富媒体文件中,生成处理后的富媒体文件;其中,所述目标文件片段在所述富媒体文件中的拼接位置为所述候选文件片段在所述富媒体文件中的位置。(The application relates to the technical field of computers, and provides a rich media file processing method, a rich media file processing device, computer equipment and a storage medium, which are used for improving video coding efficiency. The method comprises the following steps: responding to a segmentation request of the rich media file, and segmenting candidate file segments to be subjected to special effect processing from the rich media file; responding to a special effect processing request, and carrying out special effect processing on the candidate file fragment to obtain a target file fragment; responding to a file splicing request, splicing the target file segments into the rich media file, and generating a processed rich media file; wherein the splicing position of the target file segment in the rich media file is the position of the candidate file segment in the rich media file.)

一种富媒体文件处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域,尤其涉及视频处理技术领域,提供一种富媒体文件处理方法、装置、计算机设备及存储介质。

背景技术

随着视频技术的不断发展,目前的技术可以支持对视频进行重编码,比如在视频中添加特效等。在对视频进行重编码过程中,往往要对整个视频进行重编码,由于需要重编码的视频帧较多,这样会造成重编码过程消耗大量时间,处理效率较低。

发明内容

本申请实施例提供一种富媒体文件处理方法、装置、计算机设备及存储介质,用于提高视频编码效率。

一方面,提供一种富媒体文件处理方法,包括:

响应富媒体文件的分割请求,从所述富媒体文件中分割出待进行特效处理的候选文件片段;

响应特效处理请求,对所述候选文件片段进行特效处理,获得目标文件片段;

响应文件拼接请求,将所述目标文件片段拼接到所述富媒体文件中,生成处理后的富媒体文件;其中,所述目标文件片段在所述富媒体文件中的拼接位置为所述候选文件片段在所述富媒体文件中的位置。

另一方面,提供一种富媒体文件处理装置,包括:

分割模块,用于响应富媒体文件的分割请求,从所述富媒体文件中分割出待进行特效处理的候选文件片段;

特效处理模块,用于响应特效处理请求,对所述候选文件片段进行特效处理,获得目标文件片段;

拼接模块,用于响应文件拼接请求,将所述目标文件片段拼接到所述富媒体文件中,生成处理后的富媒体文件;其中,所述目标文件片段在所述富媒体文件中的拼接位置为所述候选文件片段在所述富媒体文件中的位置。

在一种可能的实施例中,所述分割模块,还用于在从所述富媒体文件中分割出待进行特效处理的候选文件片段时,获得候选文件片段的片段标识,以及未经过特效处理的文件片段的片段标识;其中,片段标识用于指示文件片段在所述富媒体文件中的顺序;

所述拼接模块,用于响应文件拼接请求,按照所述候选文件片段的片段标识以及所述未经过特效处理的文件片段的片段标识,对目标文件片段,以及所述未经过特效处理的文件片段依次进行拼接,获得由所述目标文件片段和未经过特效处理的文件片段拼接成的富媒体文件。

又一方面,提供一种计算机设备,包括:

至少一个处理器,以及

与所述至少一个处理器通信连接的存储器;

其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如前文论述的任一富媒体文件处理方法。

又一方面,提供一种存储介质,所述存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如前文论述的任一富媒体文件处理方法。

由于本申请实施例采用上述技术方案,至少具有如下技术效果:

在本申请实施例中,在对富媒体文件进行特效处理过程中,分割出该富媒体文件中需要进行特效处理的候选文件片段,对分割出的候选文件片段进行特效处理,再对处理后的候选文件片段以及其他未处理的文件片段进行拼接,由于处理过程中只需对需要处理的文件片段进行重编码,无需对整个富媒体文件进行重编码,减少了对富媒体文件进行特效处理量,提高了富媒体文件处理的效率。且,由于没有对富媒体文件中的部分文件片段进行处理,因此这部分的富媒体文件质量较好。用户也能更快地看到处理结果,提升用户的使用体验。另外,本申请实施例中是对除了GOP为单位之外的富媒体文件进行处理,也就是说,富媒体文件的组成单位是比GOP更小的组成单位,因此在对富媒体文件处理过程中,能够更精确地定位富媒体文件中需要处理的文件片段,提高处理富媒体文件的精确度。

附图说明

图1为本申请实施例提供的一种富媒体文件的时间轴的示例图;

图2为本申请实施例提供的富媒体文件处理设备的结构示意图;

图3为本申请实施例提供的富媒体文件处理方法的应用场景示意图;

图4为本申请实施例提供的富媒体文件处理方法的流程图;

图5为本申请实施例提供的特效模式展示界面的示例图;

图6为本申请实施例提供的特效模式创建界面的示例图;

图7为本申请实施例提供的分割确认界面的示例图;

图8为本申请实施例提供的分割参数输入界面的示例图;

图9为本申请实施例提供的调整处理时长过程的界面示例图;

图10为本申请实施例提供的分割后的富媒体文件的示例图一;

图11为本申请实施例提供的分割后的富媒体文件的示例图二;

图12为本申请实施例提供的特效处理确认界面的示例图;

图13为本申请实施例提供的客户端与服务器之间的交互过程图;

图14为本申请实施例提供的富媒体文件处理方法的过程示意图;

图15为按照图14方法对富媒体文件进行处理的过程示例图;

图16为本申请实施例提供的富媒体文件处理装置的结构示意图;

图17为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为了更好的理解本申请实施例提供的技术方案,下面将结合说明书附图以及具体的实施方式进行详细的说明。

为了本领域技术人员更好地理解本申请实施例中的技术方案,下面对本申请实施例涉及的专有名词进行介绍。

(1)富媒体(Rich Media)文件:泛指各类媒体文件,比如动图、视频、或音频中的一种或几种的组合。本申请实施例中的技术方案涉及的富媒体文件可以是任意的富媒体文件,或者可以是除了图像组(Group Of Pictures,GOP)为单位构成的富媒体文件,以GOP为单位构成的富媒体文件比如采用H265压缩方法压缩的视频。本申请实施例中的富媒体文件比如动图、音频或动图与音频的组合。

(2)文件片段:本申请实施例中泛指对富媒体文件进行分割后得到的部分富媒体文件,比如可以沿富媒体文件1的时间轴分割为文件片段2和文件片段3等。

(3)动图:泛指由一帧一帧图像组成的动态图像,动图的格式比如图形交换格式(Graphics Interchange Format,GIF)格式、PNG的位图动画格式(Animated PortableNetwork Graphics,APNG)格式或WEBP格式。

(4)音频:泛指由比特数依次组成的音频,音频的格式比如可以是AAC格式或MP3格式等。

(5)分割参数:是指在富媒体文件分割过程中涉及的参数,分割参数可以是设备默认的,或用户设定的。分割参数包括但不限于:对富媒体文件进行分割的处理时长、对富媒体文件进行分割的分割起始位置、对富媒体文件进行分割的分割结束位置中的两种或两种以上的组合。处理时长可以理解为待进行特效处理的文件片段的时长。比如,请参照图1,表示动图的时间轴,用户设定在动图的时间轴的a点与b点之间的多帧图像进行特效处理,a点可以理解为富媒体文件的分割起始位置,b点为该富媒体文件的分割结束位置。

(6)特效模式:泛指任一特效效果,比如淡入、淡出、添加表情、添加滤镜等中的一种或多种。

(7)目标特效模式:是指对富媒体文件进行处理的特效模式。目标特效模式可以是设备默认的特效模式,或者用户从多个特效模式中选择的一个或多个特效模式。当目标特效模式有多个时,每两个目标特效模式可以作用于不同的文件片段上,或者每两个目标特效模式可以作用在一个文件片段上。

(8)候选文件片段:是指富媒体文件中需要进行特效处理的文件片段,一个富媒体文件可能包括一个或多个候选文件片段。候选文件片段可以是设备基于默认的分割参数确定的,也可以是根据用户输入的分割参数确定的。

(9)目标文件片段:是指对候选文件片段进行特效处理后得到的文件片段。

应当说明的是,本申请实施例中的“至少一个”表示一个或多个,“多个”表示两个或两个以上。

下面对本申请实施例进行详细说明。

在相关技术中,在对视频进行特效处理时,一般会在视频特效处理后,对视频进行重编码,获得特效处理后的视频。此种对视频进行无差别化的重编码,无论对视频进行哪种特效处理,都需要对整个视频全部进行重编码,导致视频处理量较大,处理时间较长,即处理视频的效率较低。

为此,本申请实施例提供一种富媒体文件处理方法,该方法能够对富媒体文件如视频进行处理,例如对以图像组GOP为单位构成的富媒体文件,或对以除了图像组GOP为单位构成的富媒体文件之外的富媒体文件进行处理。本申请实施例以除了以图像组GOP为单位构成的富媒体文件为例进行说明,该方法的技术思路是:对富媒体文件进行分割,分割出待进行特效处理的候选文件片段,在进行特效处理时,对候选文件片段进行处理,拼接特效处理后的文件片段和富媒体文件中没有经过特效处理过的文件片段,获得处理后的富媒体文件。

其一,该方法对富媒体文件进行特效处理时,会分割出待进行特效处理的候选文件片段,对候选文件片段进行特效处理,不需要对整个富媒体文件进行重编码,相较于相关技术,在同样能够实现对富媒体文件进行特效处理的情况下,本申请实施例能够减少处理量,提升富媒体文件的处理效率。

其二,由于能够更快地处理富媒体文件,自然也就能更快地生成用户所需的处理结果,即无需用户长时间等待,节省处理时间,提升用户体验。

进一步地,GOP具有一定的时长,因此在针对GOP为单位的富媒体文件进行处理时,只能处理时长为GOP对应的整数倍时长的文件片段,导致无法对富媒体文件进行精确处理。而该本申请实施例的方法可以处理除了以GOP为单元构成的富媒体文件之外的富媒体文件,即处理构成单位更小的富媒体文件,因此本申请实施例的处理方法能够更精确地定位富媒体文件中需要处理的文件片段,实现对富媒体文件更精确地处理。

比如富媒体文件的基本组成单位为GOP,一个GOP的时长为5S,用户指定需要对富媒体文件中3S的内容进行特效处理,在处理时最少只能处理一个GOP,也就是说实际处理的文件片段的时长与用户指定的时长不相同。而本申请实施例中,富媒体文件的基本组成单位为一帧一帧图像,每帧图像的时长比如为0.03S,当用户指定3S时,确定处理该富媒体文件中的100帧图像,即实际处理的时长与用户指定的时长相同,实现对富媒体文件更为精确地处理。

进一步地,考虑到有时用户可能想在富媒体文件添加多个特效模式,当用户设定多个目标特效模式时,且任意两个目标特效模式作用在不同的文件片段上时,用户设定的多个目标特效模式的总时长可能会超过该富媒体文件的总时长,因此可以对各目标特效模式的处理时长进行调整,直到调整后的多个目标特效模式的总时长小于该富媒体文件的总时长,实现了自动调整用户设定的分割参数。

进一步地,考虑到在后续拼接各文件片段的过程中,涉及到具体如何按次序拼接,因此,本申请实施例中在分割富媒体文件的同时,获得各个文件片段的片段标识,在拼接过程中可以利用各文件片段的片段标识,迅速对特效处理后的目标文件片段,以及没有进行特效处理的文件片段进行拼接,获得处理后的视频。

本申请实施例中的富媒体文件处理方法的应用场景介绍如下。

本申请实施例中的富媒体文件处理方法可以通过富媒体文件处理设备执行。请参照图2,表示富媒体文件处理设备的结构示意图,该富媒体文件处理设备200包括至少一个输入设备201、至少一个处理器202、至少一个存储器203和至少一个输出设备204。

输入设备201用于提供输入接口,以获取外界设备/用户输入的富媒体文件等。在获得富媒体文件之后,输入设备201将该富媒体文件发送给处理器202,处理器202利用存储器203中存储的程序指令,对富媒体文件进行分割,获得候选文件片段,并对候选文件片段进行特效处理,获得目标文件片段。拼接目标文件片段以及未经过特效处理的文件片段,获得处理后的富媒体文件。输出设备204输出处理后的富媒体文件。

其中,输入设备201可以包括但不限于物理键盘、功能键、轨迹球、鼠标、触摸屏、操作杆等中的一种或多种。处理器202可以是中央处理单元(central processing unit,CPU),或者数字处理单元等。存储器203可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器203也可以是非易失性存储器(non-volatile memory),例如只读存储器,快闪存储器(flash memory),硬盘(hard diskdrive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器203是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器203可以是上述存储器的组合。输出设备204例如显示器、扬声器或打印机等。

在一种可能的实施例中,富媒体文件处理设备200可以是用户端设备,也可以是服务端设备。用户端设备可以是移动终端、固定终端或便携式终端,例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合,包括这些设备的配件、外设或者其任意组合。还可预见到的是,富媒体文件处理设备200能够支持任意类型的针对用户的接口设备(例如可穿戴设备等)。服务端设备可以是各种服务提供的服务器、大型计算设备等。服务器可以是一个或多个服务器。服务器也可以是实体服务器或虚拟服务器等。

下面对富媒体文件处理设备200的具体实现方式,以及该设备的具体部署进行示例介绍。

第一种可能的应用场景:

富媒体文件处理设备200通过终端设备实现,具体可以通过终端设备中的客户端实现。

请参照图3,表示一种应用场景示例图,图3也可以理解为富媒体文件处理设备200的一种可能的部署示意图。该应用场景包括终端设备310、服务器320、以及终端设备310中的客户端311。本申请实施例中客户端311泛指具有视频处理功能的客户端,具体可以是预装在终端设备310中的客户端,或者是网页版的客户端,或者是嵌入在第三方应用中的客户端。用户通过客户端311选择或输入富媒体文件,客户端311根据用户的操作,对富媒体文件进行特效处理,获得处理后的富媒体文件,并显示处理后的富媒体文件。客户端311进行的特效处理过程在下文中进行具体介绍,此处不再赘述。

获得处理后的富媒体文件之后,客户端311可以根据用户的分享操作,通过服务器320将处理后的富媒体文件分享给其它客户端。

第二种可能的应用场景:

富媒体文件处理设备200通过服务器实现。

请继续参照图3,该应用场景中,用户通过客户端311输入或选择富媒体文件,客户端311根据用户的操作,生成对应的处理请求并发送给服务器320,服务器320对富媒体文件进行特效处理,获得处理后的富媒体文件,并将处理后的富媒体文件发送给客户端311,客户端311显示该处理后的富媒体文件。

客户端311可以根据用户的分享操作,通过服务器320将处理后的富媒体文件分享给其它客户端。

下面基于上述应用场景中的第一种可能的应用场景,对本申请实施例涉及的富媒体文件处理方法进行介绍。

请参照图4,为终端设备310执行富媒体文件处理方法的过程示意图,该方法包括:

S401,终端设备310获取富媒体文件。

在用户想要对富媒体文件进行处理时,可以开启终端设备310的特效处理功能。用户可以从网络资源中获得需要处理的富媒体文件,上传到终端设备310,或者终端设备310中预存有多个富媒体文件,用户选择其中一个或多个富媒体文件作为待处理的富媒体文件。该富媒体文件可以是任意的富媒体文件,或者该富媒体文件可以是除了GOP为单位的富媒体文件之外的富媒体文件。

作为一种实施例,在获取富媒体文件之后,终端设备310根据用户针对特效模式的选择操作,获得目标特效模式。

具体的,在终端设备310获取富媒体文件之后,终端设备310可以显示多个特效模式,用户可以在终端设备310中进行多个特效模式的选择操作,选择操作具体比如点击需要的特效模式,终端设备310根据用户的选择操作,获得目标特效模式。如果该选择操作对应的是一个特效模式,那么终端设备310获得一个目标特效模式。如果该选择操作对应的是多个特效模式,那么终端设备310获得多个目标特效模式。

比如,请参照图5,表示终端设备310显示的一种特效模式展示界面,终端设备310上显示有多个特效模式501,用户在特效模式展示界面中进行选择操作,终端设备310响应于该选择操作,获得目标特效模式。图5中的多个特效模式501例如图5中的淡入、淡出、滤镜等。

作为一种实施例,终端设备310对富媒体文件进行默认的特效模式进行处理。比如终端设备310默认利用淡入淡出对富媒体文件进行处理,淡入和淡出即为终端设备310获得的两种目标特效模式。在本申请实施例中,终端设备310可以基于默认的特效模式对富媒体文件进行处理,无需用户手动选择目标特效模式,简化用户操作。

在有些情况下,用户可能并不喜欢终端设备310中已有的各种特效模式,在本申请实施例中,终端设备310可以支持用户创建自定义的特效模式。

具体的,终端设备310可以根据用户输入的特效模式设置信息,获得自定义的目标特效模式。特效模式设置信息比如特效模式的名称,特效模式的处理对象,以及特效模式的处理规则。处理对象是指特效模式对应处理的文件类型,比如是处理视频、处理音频或处理动图等。处理规则是指特效模式对富媒体文件的处理方式,处理规则比如包括对文件的哪部分进行处理,例如,淡入可以对富媒体文件的开始部分进行处理,处理规则如对富媒体文件进行处理的内容,例如,在富媒体文件中添加某些图像,或者修改富媒体文件的特定参数等,特定参数比如富媒体文件中图像的透明度。

其中,在支持用户创建自定义的特效模式时,涉及到终端设备310如何根据用户输入的特效模式设置信息转换生成对应的特效模式。终端设备310可以支持识别代码形式的特效模式设置信息,比如用户在输入特效模式设置信息时,可以输入代码形式的特效模式设置信息,终端设备310根据代码形式的特效模式设置信息,获得特效模式。

或者,终端设备310可以存储对应关系,该对应关系包括各类关键词与关键词关联的编译代码,在用户输入文字形式的特效模式设置信息之后,终端设备310提取特效模式设置信息中的目标关键词,基于对应关系,确定出目标关键词对应的编译代码,基于目标关键词的编译代码,生成特效模式。在本申请实施例中,终端设备310可以基于存储的对应关系,实现对用户输入的特效模式设置信息进行自动编译。

比如,请继续参照图5,该特效展示界面上还包括自定义按键502,终端设备310响应于用户对该自定义按键502进行的点击操作,显示如图6所示的特效模式创建界面,该特效模式创建界面中包括特效模式信息定义框600,特效模式信息定义框600具体包括特效模式的名称输入框601、特效模式的处理对象输入框602和特效模式的处理规则输入框603等。终端设备310根据用户在名称输入框601进行的输入操作、根据用户在处理对象输入框602进行的输入操作、以及根据用户在处理规则输入框603进行的输入操作,获得特效模式的名称、处理对象以及处理规则,终端设备310获得这些特效模式设置信息之后,生成该用户自定义的特效模式。

S402,终端设备310响应富媒体文件的分割请求,从富媒体文件中分割出候选文件片段。

在终端设备310获取富媒体文件之后,用户可以在终端设备310上进行分割操作,也就相当于用户发出了分割请求,终端设备310根据分割请求,从富媒体文件中分割出候选文件片段。其中,终端设备310分割富媒体文件以获得候选文件片段的方式有多种,具体示例如下:

一,终端设备310可以根据默认的分割参数,如分割富媒体文件的分割起始点、分割结束点和处理时长中的一种或多种的组合,显示分割确认界面。该分割确认界面用于提示用户是否分割富媒体文件对应的文件片段。当用户在分割确认界面中进行分割富媒体文件的确认操作,相当于终端设备310获得了分割请求,终端设备310根据该分割请求,从富媒体文件中分割出候选文件片段。

在显示分割确认界面之后,用户可以进行分割富媒体文件的取消操作,终端设备310相当于获得了取消分割请求,并响应该取消分割请求,不对该富媒体文件继续进行处理。

比如,参照图7的分割确认界面,该分割确认界面包括确认分割操作按键701和取消分割操作按键702,用户对确认分割操作按键701进行点击操作,终端设备310根据该点击操作,按照默认的分割参数,对富媒体文件进行分割。或者终端设备310接收取消分割操作按键702的点击操作,取消对该富媒体文件进行分割。

另外,图7中的分割确认界面还包括该富媒体文件的时间轴703,用户可以根据该富媒体文件的时间轴,了解到该富媒体文件的时长为10秒。

二,终端设备310响应富媒体文件的分割请求,显示富媒体文件的分割参数输入界面;响应在分割参数输入界面上的输入操作,获取对富媒体文件进行分割的分割参数;根据分割参数,对富媒体文件进行分割,获得候选文件片段。

终端设备310在获取富媒体文件之后,可以确定下一步需要对富媒体文件执行分割,接收对所显示的分割按键的点击操作,即获得分割请求,终端设备310根据该分割请求,显示富媒体文件的分割参数输入界面。终端设备310可以通过分割参数输入界面接收输入的分割参数。其中,终端设备310可以根据用户针对各类分割参数进行对应的输入操作,获取对应的分割参数。其中,输入操作可以包括如下的一种或几种的组合:

A1:在分割参数输入界面上的时长输入操作。

终端设备310可以根据该时长输入操作,获得对富媒体文件进行分割的处理时长。处理时长的定义可以参照前文论述的内容,此处不再赘述。

A2:在分割参数输入界面上的分割起始位置输入操作。

终端设备310可以根据该分割起始位置输入操作,获得对富媒体文件进行分割的分割起始位置。

A3:在分割参数输入界面上的分割结束位置输入操作。

终端设备310可以根据该分割结束位置输入操作,获得对富媒体文件进行分割的分割结束位置。

比如,请继续参照图7,用户点击图7中的确认分割操作按键701之后,终端设备310接收针对该确认分割操作按键701的点击操作,显示图8所示的分割参数输入界面,终端设备310根据该根据针对时长输入框801的输入操作,以及针对分割起始位置输入框802的输入操作,针对分割结束位置输入框803的输入操作,获得输入时长、输入分割起始位置、以及输入分割结束位置等分割参数。

作为一种实施例,当存在多个目标特效模式时,终端设备310在获得每个目标特效模式对应的处理时长之后,且任意两个目标特效模式作用在不同的文件片段上,如果确定多个目标特效模式的处理时长的总和大于富媒体文件的总时长,则对各目标特效模式的处理时长进行调整,获得调整后的目标特效模式的处理时长,多个目标特效模式调整后的处理时长的总和小于富媒体文件的总时长。

在调整各目标特效模式的处理时长时,可以按照各目标特效模式的原处理时长进行等比例减少各目标特效模式的处理时长,或者可以在各个目标特效模式的处理时长的基础上减少相同的时长,或者可以减少多个目标特效模式中部分的目标特效模式的处理时长等。

进一步的,在终端设备310获得调整后的目标特效模式的处理时长之后,可以显示确认界面,终端设备310可以响应针对在确认界面上的确认操作,确定调整后的特效模式的处理时长。或者,终端设备310根据针对调整后的目标特效模式的处理时长进行的修改操作,再次调整各目标特效模式的处理时长。

例如,请参照图9,表示调整各目标特效模式对应的处理时长过程中的界面变化示例图。如图9中(1)所示用户输入的淡入的处理时长为10S,淡出的处理时长为5S,终端设备310确定这两种目标特效模式的处理时长总和大于富媒体文件的总时长,终端设备310可以等比例减少淡入和淡出的处理时长,获得淡入的处理时长为5S以及淡出的特效处理时长为2.5S,终端设备310显示如图9中(2)所示的确认界面,终端设备310根据针对在确认界面的确认按键901的点击操作,确认各目标特效模式的处理时长。或者终端设备310根据针对在确认界面的修改按键902的点击操作,根据用户针对各处理时长的修改信息,再次调整各目标特效模式的处理时长。

作为一种实施例,当目标特效模式包括多个目标特效模式时,且存在两个目标特效模式作用于不同的文件片段。针对作用在不同的文件片段的两个目标特效模式中任一目标特效模式,终端设备310可以执行上述过程,获得每个目标特效模式对应的候选文件片段。不同的两个文件片段是指两个文件片段在富媒体文件的时间轴上没有重叠。在这种情况下,针对每一个目标特效模式,分割出一个候选文件片段,如果有多个目标特效模式,终端设备310对应获得多个候选文件片段。

比如,请参照图10,表示按照分割参数对富媒体文件进行分割后的界面示意图。继续以图9的例子,淡入用于处理富媒体文件的前5S,淡出用于处理富媒体文件的后2.5S,终端设备310图9中调整后的分割参数,对富媒体文件进行分割,获得如图10所示的三个文件片段,具体为图10中ab片段、cd片段和ef片段。ab片段为淡入对应的候选文件片段,cd片段为无需处理的文件片段,ef片段为淡出对应的候选文件片段。

当目标特效模式包括多个目标特效模式时,可能会存在两个目标特效模式作用在具有部分相同的两个文件片段的情况,也就是说,一个目标特效模式作用的文件片段,与另一个目标特效模式作用的文件片段在时间轴上具有部分重叠。这种情况下,终端设备310可以按照目标特效模式对应的处理时长从短到长的顺序,对各目标特效模式对进行排序,按照排序后的目标特效模式,分割各目标特效模式对应的候选文件片段。

比如,目标特效模式A作用在富媒体文件的第1S至第5S的文件片段a上,目标特效模式B作用在富媒体文件的第2S至第5S的文件片段b上,该目标特效模式A和B作用的两个文件片段是在富媒体文件的时间轴上部分重叠。终端设备310确定目标特效模式A的处理时长比目标特效模式B更长,因此可以先分割出标特效模式B对应的候选文件片段b,再根据目标特效模式A,分割出富媒体文件中的候选文件片段c,具体为第1S至第2S的文件片段。

具体比如,请参照图11,表示按照分割参数对富媒体文件进行分割后的示意图。用户选择淡入和滤镜两个目标特效模式处理富媒体文件,淡入的处理时长小于滤镜的处理时长。终端设备310确定两个目标特效模式作用的两个文件片段具有部分相同的片段,终端设备310确定淡入的处理时长更短,因此可以分割出淡入对应的候选文件片段,获得候选文件片段ab。终端设备310根据滤镜关联的分割参数,从富媒体文件中剩余的文件片段bc中分割出需要进行滤镜处理的文件片段,获得另一个候选文件片段be,以及无需经过特效处理的文件片段ec。终端设备310在后续处理时,对候选文件片段ab需进行淡入处理以及复古滤镜处理,对候选文件片段be需要进行滤镜处理。

应当说明的是,当目标特效模式包括多个目标特效模式时,可能存在两个目标特效模式作用在具有部分相同的两个文件片段的情况,可能存在两个目标特效模式作用在不同的两个文件片段的情况,在实际应用过程中可能这两种情况都不出现,或者可能出现其中的一种或两种。如果出现,则按照上述对应的方式处理即可。

进一步的,当目标特效模式包括多个目标特效模式时,终端设备310可以获得各目标特效模式的特效标识,比如终端设备310为各目标特效模式生成特效标识,并将目标特效模式的特效标识与对应的候选文件片段进行关联,这样一来,每个候选文件片段关联有对应的特效标识,终端设备310可以根据候选文件片段的特效标识,确定采用哪种目标特效模式对候选文件片段进行处理。

请继续参照图11的例子,淡入的特效标识为10,滤镜的特效标识11,候选文件片段ab关联的特效标识为10和11,候选文件片段be关联的特效标识为11。

在对富媒体文件进行分割时,除了为各个文件片段生成特效标识之后,本申请实施例中,终端设备310可以为各个文件片段生成对应的片段标识,该片段标识用于表示文件片段在富媒体文件中的顺序。

具体的,文件片段在富媒体文件中的顺序是指该文件片段在多个文件片段中以富媒体文件的时间轴为参考的先后顺序,终端设备310无论采用哪一种分割方式分割富媒体文件,获得的各个文件片段在富媒体文件均具有相应的先后顺序,在分割的同时,终端设备310可以根据各文件片段以富媒体文件的时间轴为参考的先后顺序,生成各个文件片段的片段标识。

下面以富媒体文件包括动图或音频中的一种或两种为例,对终端设备310分割富媒体文件获得候选文件片段的过程进行说明。

B1、当富媒体文件包括动图时,终端设备310根据分割参数,确定富媒体文件中需要进行特效处理的多帧图像,从富媒体文件中分割出多帧图像,获得候选文件片段。

具体的,由于动图是由一帧一帧图像依次构成,终端设备310可以根据这些分割参数,确定富媒体文件中需要进行特效处理的图像,从富媒体文件中分割出这些图像,获得候选文件片段。

B2、当富媒体文件包括音频时,终端设备310根据分割参数,确定富媒体文件中需要进行特效处理的多个比特数,从富媒体文件中分割出多个比特数,获得候选文件片段。

具体的,由于音频是由一个比特数一个比特数依次构成,终端设备310可以根据这些分割参数,确定富媒体文件中需要进行分割的多个比特数,获得候选文件片段。

B3、当富媒体文件包括动图和音频时,确定富媒体文件中需要进行特效处理的多帧图像以及多个比特数,获得该富媒体文件需要进行处理的候选文件片段。

S403,终端设备310响应特效处理请求,对候选文件片段进行特效处理,获得目标文件片段。

在终端设备310获得候选文件片段之后,可以显示特效处理确认界面,终端设备310接收通过特效处理确认界面确认进行的特效处理确认操作,相当于获得了特效处理请求,终端设备310响应于该特效处理请求,对候选文件片段进行特效处理,获得目标文件片段。

或者,终端设备310接收通过特效处理确认界面确认进行的特效处理取消操作,相当于获得了取消特效处理请求,终端设备310响应于该取消特效处理请求,取消对候选文件片段进行特效处理。

当候选文件片段的数量不止一个时,终端设备310响应于对所有候选文件片段进行的特效处理确认操作,终端设备310根据该特效处理确认操作,根据候选文件片段关联的目标特效模式,对候选文件片段进行特效处理,获得目标文件片段。

或者,终端设备310可以针对部分候选文件片段进行的特效处理取消操作,终端设备310可以根据该特效处理取消操作,取消对所选择的候选文件片段进行特效处理,对其它的候选文件片段进行特效处理,获得其它的候选文件片段对应的目标文件片段。

应当说明的是,候选文件片段关联多个目标特效模式时,当对候选文件片段进行特效处理时,可以根据该候选文件片段关联的所有目标特效模式对该候选文件片段进行处理,比如终端设备310可以根据该候选文件片段关联的特效标识,确定对该候选文件片段需要处理的目标特效模式。

或者,在取消对候选文件片段进行特效处理时,终端设备310可以根据针对候选文件片段的一种目标特效模式的取消操作,取消对候选文件片段进行该目标特效模式的处理,仍会对该候选文件片段进行其它目标特效模式的处理。

对候选文件片段具体进行特效处理的方式与目标特效模式的处理规则有关,比如当目标特效模式的处理规则为增加图层时,终端设备310对候选文件片段进行特效处理的方式,具体是在候选文件片段中各图像中均添加该图层。

请参照图12,为一种特效处理确认界面的示例图,该特效处理确认界面上包括确认按键1201和取消按键1202,终端设备310接收针对该确认按键1201进行的点击操作,终端设备310对各候选文件片段ab和候选文件片段be进行特效处理。

或者,终端设备310接收针对该取消按键进行的点击操作,取消对候选文件片段ab进行滤镜操作,但仍会对候选文件片段ab进行淡入操作,获得目标文件片段a1b1,终端设备310对候选文件片段be进行滤镜操作,获得目标文件片段b1e1。

S404,终端设备310响应文件拼接请求,将目标文件片段拼接到富媒体文件中,获得处理后的富媒体文件。

在获得目标文件片段之后,终端设备310可以显示拼接确认界面,该拼接确认界面显示有各个需要拼接的文件片段,终端设备310针对在拼接确认界面上进行的拼接所有的文件片段的确认操作,拼接所有的文件片段,获得处理后的富媒体文件。

或者,终端设备310针对在拼接确认界面上进行的选择拼接部分文件片段的确认操作,终端设备310拼接所选择的部分文件频段,获得处理后的富媒体文件。

在对文件片段进行拼接时,终端设备310可以根据各个文件片段的片段标识,依次拼接各个文件片段。

在对文件片段进行拼接时,目标文件片段在富媒体文件中的位置对应为该目标文件片段对应的候选文件片段在富媒体文件中的位置。也就是说,在拼接的时候,将目标文件片段拼接到候选文件片段在富媒体文件中的位置,获得目标文件片段和未经过特效处理的文件片段拼接成的富媒体文件。

例如,继续参照图12的例子,终端设备310依次拼接目标文件片段a1b1、目标片段b1e1以及未经过特效处理的文件片段ec,获得处理后的富媒体文件。

作为一种实施例,S401为可选的步骤,比如在终端设备310本身存储有该富媒体文件时,则无需执行S401。

图4所示的实施例中,由终端设备310执行富媒体处理文件,能相对减少服务器和终端设备310之间的交互,减少网络传输负担。只需对待进行特效处理的文件片段进行重编码,无需对整个富媒体文件进行处理,节省处理富媒体文件的时间,提高富媒体文件的处理效率。下面对本申请实施例处理富媒体文件的所需时长,以及相关技术中处理富媒体文件的所需时长进行比较:

例如,富媒体文件的时长为D,淡入时长D1,淡出时长D2秒,重编码1秒该富媒体文件的耗时为t、分割和拼接的耗时为T,其中(D1+D2)<D。相关技术方案的耗时为D*t,本申请实施例的耗时:D1*t+D2*t+T。

通过此公式可以看出,富媒体文件的长度越长,本申请实施例更能节省处理富媒体文件的时间。且,由于本申请实施例中没有对富媒体文件中的部分片段,即富媒体文件中除了淡入和淡出处理之外的片段进行重编码,因此这部分片段和原富媒体文件的质量相同,因此相比于相关技术,本申请实施例中处理后的富媒体文件的质量更好。

基于上述应用场景中的第二种可能的应用场景,下面对本申请实施例涉及的富媒体文件处理方法进行介绍。

请参照图13,表示客户端311与服务器320之间的交互示意图,交互过程具体包括:

S1301,客户端311获取富媒体文件。

获取富媒体文件的方式,富媒体文件的含义可以参照前文论述的内容,此处不再赘述。

S1302,客户端311向服务器320发送富媒体文件。

S1303,客户端311响应于用户进行的分割操作,生成分割请求。

分割操作、分割请求等可以参照前文论述的内容,此处不再赘述。

S1304,客户端311将分割请求发送给服务器320。

S1305,服务器320响应富媒体文件的分割请求,从富媒体文件中分割出需要进行特效处理的候选文件片段。

分割富媒体文件以获得候选文件片段的内容可以参照前文论述的内容,此处不再赘述。

S1306,客户端311响应于用户进行的特效处理操作,生成特效处理请求.

S1307,客户端311将特效处理请求发送给服务器320。

S1308,服务器320响应该特效处理请求,对候选文件片段进行特效处理,获得目标文件片段。

获得目标文件片段的内容可以参照前文论述的内容,此处不再赘述。

S1309,客户端311响应用户进行的拼接操作,生成拼接请求。

拼接操作、拼接请求可以参照前文论述的内容,此处不再赘述。

S1310,客户端311将该拼接请求发送给服务器320。

S1311,服务器320根据拼接请求,将目标文件片段拼接到富媒体文件,获得处理后的富媒体文件。

服务器320拼接的方式可以参照前文论述的内容,此处不再赘述。

图13所示的实施例中,由服务器320执行富媒体处理文件,相对能减少终端设备的处理量。由于无需对整个富媒体文件进行重编码,能减少处理富媒体文件的处理量,节省处理富媒体文件的时间。

为了更清楚地说明本申请实施例中的技术方案,下面结合图14,对本申请实施例涉及的富媒体文件处理方法进行示例介绍。图14中是以终端设备310执行富媒体文件方法为例,以目标特效模式为淡入和淡出为例进行说明。

S1401,终端设备310获取富媒体文件。

S1402,终端设备310根据用户选择特效模式的操作,确定目标特效模式为淡入以及淡出。

S1403,终端设备310获取淡入的处理时长,以及淡出的处理时长。

S1404,终端设备310确定淡入的处理时长和淡出的处理时长之和是否大于富媒体文件的总时长。

S1405,终端设备310如果确定淡入的处理时长和淡出的处理时长之和大于富媒体文件的总时长,则对淡入的处理时长,以及淡出的处理时长进行调整。

比如可以等比例减少淡入的处理时长,以及淡出的处理时长等。

应当说明的是,S1405为可选的步骤,比如当淡入的处理时长和淡出的处理时长之和小于富媒体文件的总时长,则无需执行S1405。

S1406,终端设备310获得分割参数。

分割参数包括调整后的淡入时长和淡出时长等。

S1407,终端设备310根据分割参数,获得富媒体文件中的候选文件片段。

S1408,终端设备310对候选文件片段进行特效处理,获得目标文件片段。

S1409,终端设备310对目标文件片段以及未经过特效处理的文件片段进行拼接,获得处理后的富媒体文件。

例如,请参照图15,为对富媒体文件进行处理的过程示意图,终端设备310对富媒体文件S进行分割,获得图15中的各个文件片段1502,获得的文件片段包括待进行淡入处理的候选文件片段S1、待进行淡出处理的候选文件片段S2、以及不进行特效处理的文件片段S3,终端设备310可以对候选文件片段S1进行特效处理,以及对S2所示的候选文件片段进行特效处理,处理后的各个片段包括目标文件片段S4、目标文件片段S5。终端设备310对目标文件片段S4、不进行特效处理的文件片段S3和目标文件片段S5进行拼接,获得处理后的富媒体文件。

基于同一发明构思,本申请实施例提供一种富媒体文件处理装置,请参照图16,该装置1600包括:

分割模块1601,用于响应富媒体文件的分割请求,从富媒体文件中分割出待进行特效处理的候选文件片段;

特效处理模块1602,用于响应特效处理请求,对候选文件片段进行特效处理,获得目标文件片段;

拼接模块1603,用于响应文件拼接请求,将目标文件片段拼接到富媒体文件中,生成处理后的富媒体文件;其中,目标文件片段在富媒体文件中的拼接位置为候选文件片段在富媒体文件中的位置。

在一种可能的实施例中,分割模块1601用于:

响应富媒体文件的分割请求,显示富媒体文件的分割参数输入界面;

响应在分割参数输入界面上的输入操作,获取对富媒体文件进行分割的分割参数;

根据分割参数,对富媒体文件进行分割,获得候选文件片段。

在一种可能的实施例中,分割模块1601用于执行如下两种或两种以上的组合:

响应于在分割参数输入界面上的时长输入操作,获得对富媒体文件进行分割的处理时长;或,

响应于在分割参数输入界面上的分割起始位置输入操作,获得对富媒体文件进行分割的分割起始位置;或,

响应于在分割参数输入界面上的分割结束位置输入操作,获得对富媒体文件进行分割的分割结束位置。

在一种可能的实施例中,分割参数包括对富媒体文件进行特效处理的处理时长、分割起始位置和分割结束位置中的任意两种或多种,以及,

分割模块1601用于执行如下一种或多种的组合:

当富媒体文件包括动图时,根据分割参数,确定富媒体文件中待进行特效处理的多帧图像,从富媒体文件中分割出多帧图像,获得候选文件片段;或,

当富媒体文件包括音频时,根据分割参数,确定富媒体文件中待进行特效处理的多个比特数,从富媒体文件中分割出多个比特数,获得候选文件片段。

在一种可能的实施例中,候选文件片段包括多个候选文件片段;以及,特效处理模块1602用于:

响应于特效处理请求,针对每个候选文件片段,根据候选文件片段关联的目标特效模式,对候选文件片段进行特效处理,获得目标文件片段;或,

获得每个候选文件片段关联的目标特效模式,并根据对多个候选文件片段中选择的候选文件片段进行的取消特效处理操作,以取消对所选择的候选文件片段进行特效处理;

针对多个候选文件片段中除了所选择的候选文件片段之外的每个候选文件片段,根据候选文件片段关联的目标特效模式,对候选文件片段进行特效处理,获得目标文件片段。

在一种可能的实施例中,分割模块1601还用于:

媒体文件进行分割的分割参数之前,从多个特效模式中选择多个目标特效模式;其中,任意两个目标特效模式作用在不同的两个文件片段上,每个目标特效模式存在对应的处理时长;以及,

若多个目标特效模式的处理时长的总和大于富媒体文件的总时长,则分别调整各目标特效模式的处理时长,获得每个目标特效模式对应的调整后的处理时长;其中,多个目标特效模式调整后的特效时长的总和小于富媒体文件的总时长。

在一种可能的实施例中,分割模块1601,还用于在从富媒体文件中分割出待进行特效处理的候选文件片段时,获得候选文件片段的片段标识,以及未经过特效处理的文件片段的片段标识;其中,片段标识用于指示文件片段在富媒体文件中的顺序;

拼接模块1603,用于响应文件拼接请求,按照候选文件片段的片段标识,以及未经过特效处理的文件片段的片段标识,对目标文件片段以及未经过特效处理的文件片段依次进行拼接,获得由目标文件片段和未经过特效处理的文件片段拼接成的富媒体文件。

应当说明的是,图16中所示的富媒体文件处理装置1600可以执行前文论述的任一富媒体文件处理方法,此处不再赘述。

基于同一发明构思,本申请实施例还提供了一种计算机设备,该计算机设备相当于前文论述的富媒体文件处理设备200,具体例如前文论述的终端设备310,或者例如前文论述的服务器320。

请参照图17,该计算机设备1700包括处理器1780以及存储器1720。

处理器1780用于读取计算机程序,然后执行计算机程序定义的方法,例如处理器1780读取富媒体文件处理应用程序,从而在该计算机设备1700上运行应用,在显示单元1740上显示应用的界面。处理器1780可以包括一个或多个通用处理器,还可包括一个或多个数字信号处理器(Digital Signal Processor,DSP),用于执行相关操作,以实现本申请实施例所提供的技术方案。

存储器1720一般包括内存和外存,内存可以为随机存储器(RAM),只读存储器(ROM),以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器1720用于存储计算机程序和其他数据,该计算机程序包括客户端对应的应用程序等,其他数据可包括操作系统或应用程序被运行后产生的数据,该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器1720中,处理器1780执行存储器1720中的程序指令,实现前文论述的任一富媒体文件处理方法。该处理器1780还可以实现前文图16的富媒体文件处理装置的功能。

此外,计算机设备1700还可以包括显示单元1740,用于显示由用户输入的信息或提供给用户的信息以及计算机设备1700的各种操作界面等,在本申请实施例中主要用于显示计算机设备1700中已安装的客户端的界面、快捷窗口等。可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1741。显示面板1741例如触摸屏,可收集用户在其上或附近的触摸操作(比如玩家使用手指、触笔等任何适合的物体或附件在显示面板1741上或在显示面板1741的操作),并根据预先设定的程式驱动相应的连接装置。

可选的,显示面板1741可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测玩家的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1780,并能接收处理器1780发来的命令并加以执行。在本申请实施例中,若用户进行特效处理的操作,则在显示面板1741中的触摸检测装置检测到触摸操作,则将检测到的触摸操作对应的信号发送的触摸控制器,触摸控制器将信号转换成触点坐标发送给处理器1780,处理器1780根据接收到的触点坐标确定对富媒体文件进行特效处理。

其中,显示面板1741可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元1740,计算机设备1700还可以包括输入单元1730,输入单元1730可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。输入单元1730例如图像输入设备1731和其他输入设备1732。

除以上之外,计算机设备1700还可以包括用于给其他模块供电的电源1790、音频电路1760、近场通信模块1770和RF电路1710。计算机设备1700还可以包括一个或多个传感器1750,例如加速度传感器、光传感器、压力传感器等。音频电路1760具体包括扬声器1761和麦克风1762等,例如用户不使用触摸屏的情况下,计算机设备1700可以通过麦克风1762采集用户的声音,将用户的声音作为控制指令,解析该声音,获得用户对应的操作。用户可以通过扬声器1761进行播放富媒体文件。

基于同一发明构思,本申请实施例提供一种存储介质,所述存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行前文论述的富媒体文件处理方法。本申请实施例中的存储介质泛指计算机可读存储介质。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

29页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于高湿度环境的网络交换机

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类