具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；提取所述视频帧中的共性元素；根据所述视频帧中的共性元素生成所述共性元素与所述视频文件的视频帧的关联信息；将所述共性元素、提取所述共性元素后的所述视频文件以及所述关联信息发送至用户端，以供所述用户端在显示所述视频文件时根据所述关联信息调用所述共性元素。

由于云游戏视频中有大量重复元素，因此采用现有的视频压缩方式存在大量重复元素多次被重复调用的问题，无法达到最优化的压缩方式，如此，会导致云游戏的启动时间比较长，从而影响用户的体验。而本申请通过获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；提取视频帧中的共性元素；根据视频帧中的共性元素生成共性元素与视频文件的视频帧的关联信息；将共性元素、提取共性元素后的视频文件以及关联信息发送至用户端，以供用户端在显示视频文件时根据关联信息调用共性元素。如此，通过提取视频文件中具有相同音效的共性元素，在传输视频流时，无需重复传输共性元素，从而节省传输的视频体积，缩短云应用的启动时间。

如图1所示，图1为本申请实施例方案涉及的硬件运行环境的终端设备结构示意图。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括视频处理程序。

在图1所示的终端设备中，网络接口1004主要用于与后台服务器进行数据通信；用户接口1003主要用于与客户端(用户端)进行数据通信；在终端为服务器时，处理器1001可以用于调用存储器1005中视频处理程序，并执行以下操作：

获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；

提取所述视频帧中的共性元素；

根据所述视频帧中的共性元素生成所述共性元素与所述视频文件的视频帧的关联信息；

将所述共性元素、提取所述共性元素后的所述视频文件以及所述关联信息发送至用户端，以供所述用户端在显示所述视频文件时根据所述关联信息调用所述共性元素。

在终端为用户端时，处理器1001可以用于调用存储器1005中视频处理程序，并执行以下操作：

获取待显示视频帧；

根据所述待显示视频帧的关联信息调用所述待显示视频帧中的共性元素；

将所述共性元素添加至所述待显示视频帧，并显示添加所述共性元素后的所述待显示视频帧。

参考图2，图2为本申请视频处理方法第一实施例的流程示意图。

本申请实施例提供了一种视频处理方法，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例的视频处理方法应用于服务器，包括以下步骤：

步骤S10，获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；

需要说明的是，本申请的目标应用可以为云应用，也可以为普通应用，其中，云应用是指终端与服务(云)端互动的应用，终端操作同步云端，而占用本地空间也通过云端备份保留终端数据。本申请以云游戏应用对视频处理方法进行解析说明。

在游戏中，特定音效和画面元素是一一对应绑定的，因此只需要找出相同声音的部分，就有可能找到相同的画面元素。一实施例中，在同一个游戏中，根据玩家的游戏进度，选取相同或不同的关卡进度的视频，基于该视频获取具有相同音效的视频片段(即视频帧)，在每个视频片段中抽取n个关键帧数(n＝1，2，3....n)进行图像差异化对比得到视频片段中的差异化元素，例如，使用结构相似性指数(SSIM)，或者使用图像差异化比较等方法，分别把图像帧与其它图像帧进行对比，然后做减法，以减掉视频片段中的差异化元素后得到共性元素(即重复元素)。

进一步地，将获取到的共性元素输入物体识别模型中进行分类识别训练，以识别出一个连续的动作，例如，游戏人物的打拳动作是一个连续的动作，先打出，再收回。采用物体识别模型可以识别出在音效发生阶段该共性元素的所有动作。一实施例中，由于声音是一段一段的连续性的，因此，动作也是连续性的，根据声音把不同的视频进行对齐处理，即按照声音进行对齐，由于声音和画面绑定，因此画面也就对齐了。然后，使用边缘检测方式检测对齐后的画面中的元素，例如，先对两个不同画面进行检测(可以使用图片相似度比较，找到差异较大的两个视频画面)，并使用图像对比把画面中的对象进行交叉比较，找到相似度较高(可以设定一个阈值，如100％)的对象。获取相似度较高的对象后，再与下一张图片中的元素进行比较，依次类推，直到连续n张图片比较后，其相似度较高的对象数量不再减少，则该对象为共性元素。如此，通过物体识别方式，可以圈定在音效发生时间段内，该共性元素发生的变化过程。

步骤S20，提取所述视频帧中的共性元素；

在获取到视频帧的共性元素后，需要将这些共性元素从视频帧中提取出来，也即将这些共性元素从视频帧中抠出来，如此，在传输视频流时，不需要传输共性元素，从而节省传输的视频体积。为加快视频流的传输效率，需要对提取的共性元素进行压缩，其中，可将共性元素分为不同的压缩类型。例如，由于在游戏中，设置有不同的关卡，每个关卡的元素大多是不一样的，但是部分元素是贯穿所有关卡的，例如UI部分(比分、人名、头像等)，因此，对于贯穿所有关卡的共性元素，在压缩时，可以将该类共性元素作为单独压缩的分类，以使这类共性元素在所有游戏关卡均有效。而对于关卡特有的共性元素，可以采用另外的压缩类型进行压缩。一实施例中，可通过获取共性元素出现在图像帧的次数来确定该共性元素的压缩类型，例如，判断被提取的共性元素对应的图像帧数量是否大于N，如果大于N，说明该共性元素在N个视频片段中出现，此时，可认为该共性元素为贯穿所有关卡的共性元素，并按照单独压缩类型对此类共性元素进行压缩。其中，在获取到多个单独压缩的分类后，需要对单独压缩的分类进行去重处理，得到非重复的部分。进一步将共性元素压缩包存储至共性元素压缩库中，其中，服务器中建立了不同游戏类型对应的共性元素压缩库，在用户在玩游戏时，可以从该共性元素压缩库中加载对应的共性元素压缩包。在云游戏视频编码时，使用物体查找的能力，在发现关键帧中包括共性元素压缩库的内容，将该共性元素设置特定标记，并提醒用户进行下载，同时服务端也对被下载的共性元素进行记录。

步骤S30，根据所述视频帧中的共性元素生成所述共性元素与所述视频文件的视频帧的关联信息；

在本实施例中，在提取共性元素时，获取游戏的进度顺序，按照游戏的进度顺序对共性元素进行编号，并记录共性元素首次出现时，对应的游戏进度，其中，按照顺序以及记录共性元素出现时的游戏进度，是为了方便共性元素的调用。在对共性元素编号的同时，还需要记录共性元素所在图像帧的位置信息，如坐标，如此，用户端可根据共性元素的编号+坐标调用视频帧中的共性元素，方便快捷。

步骤S40，将所述共性元素、提取所述共性元素后的所述视频文件以及所述关联信息发送至用户端，以供所述用户端在显示所述视频文件时根据所述关联信息调用所述共性元素。

服务器通过无线方式将共性元素、提取共性元素后的视频文件以及关联信息发送至用户端，以使用户端在显示视频文件时根据关联信息调用共性元素，例如，用户端根据共性元素的编号+坐标调用视频文件所需的共性元素。

本实施例通过获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；提取视频帧中的共性元素；根据视频帧中的共性元素生成共性元素与视频文件的视频帧的关联信息；将共性元素、提取共性元素后的视频文件以及关联信息发送至用户端，以供用户端在显示视频文件时根据关联信息调用共性元素。如此，通过提取视频文件中具有相同音效的共性元素，在传输视频流时，无需重复传输共性元素，从而节省传输的视频体积，缩短云应用的启动时间。

进一步地，参考图3，提出本申请视频处理方法第二实施例。

所述视频处理方法应用于服务器，所述视频处理方法第二实施例与第一实施例的区别在于，所述获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素的步骤之前，包括：

步骤S11，获取所述目标应用的视频文件中各个独立音效文件的调用次数；

步骤S12，将所述调用次数大于预设次数阈值的独立音效文件对应的视频帧作为所述视频文件中具有相同音效的视频帧。

在本实施例中，采用深度学习对视频文件中的音频进行音效分离得到各个独立音效文件，由于分离出来的独立音效文件可能在还原上会有差异，其中，最显著特点是其音频指纹不一致。此时，可以使用语音相似度打分，然后将高相似的独立音效文件归并，例如，采用MFCC+GMM(声纹提取及识别)进行音频特征提取(即声纹提取)，然后使用分类模型，如使用SVM(Support Vector Machine，支持向量机)对声纹进行分类或打分，得到得分相似的独立音效文件，也即语音相似。其中，也可以直接对比两段语音之间的特征向量相似度获取相似度高的独立音效文件。进一步地，对所有分离出来的独立音效文件进行编号，其中，将高相似度的独立音效文件归并至同一个编号。例如，独立音效文件A与独立音效文件B的相似度大于95％，则将独立音效文件A与独立音效文件B标注同一个编号。在游戏的过程中，可以实时的使用音频指纹去检测被分离出来的独立音效文件，如果检测到独立音效文件被调用，则在对应的编号上进行+1，表示被调用1次，如此，根据各个编号被调用的次数即可获取该编号对应的独立音效文件的调用次数，然后获取调用次数大于预设次数阈值的独立音效文件对应的视频帧，并将该视频帧作为视频文件中具有相同音效的视频帧，其中，对于调用次数少的独立音频文件进行过滤处理。

由于游戏中的声音与画面元素是一一对应的，因此找到大量被重复调用的音频后，即可以找到视频中大量重复可进行压缩的画面元素。其中，被调用次数少的独立音效文件，说明该画面元素出现的次数少，那么压缩的价值不大。可以理解的是，声音出现的次数越频繁，那么被压缩的价值也就越大。

本实施例通过独立音效文件的编号统计各个独立音效文件的调用次数，将调用次数大于预设次数阈值的视频片段确定为游戏视频中具有相同音效的视频片段，如此，可快速，准确地获取游戏视频中具有相同音效的视频片段。

进一步地，在游戏中会有各种类型的声音，如：动作音效、特效音效、事件音效、地图音效(包括BGM)、语音等，这些声音与画面中的部分元素(如人物，动物)是一一绑定的，当声音重复时，画面中的部分元素也会是重复出现。同时，这些音效可能会同时被触发，输出成混音，因此，需要将这些混音分离出来，以获取各个独立的音效文件。

一实施例中，可以使用深度学习进行音轨分离，其中，以使用spleeter(音轨分离软件)为例进行解析说明。

基于Unet神经网络对模型进行训练：

a、训练时使用一组语音数据(如：混音、地图声音、动作声音、特效声音、事件声音)在时间轴上进行对齐，并提取该语音数据的频谱，然后基于频谱计算幅度谱。

b、将混音幅度谱分别输入到地图声音Unet、动作声音Unet、特效声音Unet、事件声音Unet，得到预测的地图声音Unet、动作声音Unet、特效声音Unet、事件声音Unet，分别计算预测结果和标准结果的距离并取均值，作为损失函数，其中地图声音Unet、动作声音Unet、特效声音Unet、事件声音Unet内部参数会随着数据输入不断更新。

c、预测出地图声、动作声、特效声、事件声的幅度谱后，spleeter将它们分别进行平方，分别得到地图声能量m_eng，动作声能量v_eng，特效声能力s_eng，事件声e_eng。然后使用m_mask＝m_eng/(m_eng+v_eng+s_eng+e_eng)计算出每个时刻地图声在混音的每个频带上的占比，同理，计算出动作声、特效声、事件声每个频带上的占比。最后利用输入的混音频谱分别乘以m_mask、v_mask、s_mask、e_mask得到地图声、动作声、特效声、事件声频谱，使用逆STFT(短时傅里叶变换)得到地图声、动作声、特效声、事件声的语音，也即各个独立音效文件。

其中，通过音轨分离得到的独立音效文件并不是100％还原的，会存在一些差异，因此，可通过语音相似度算法把音效归一化。例如，当云游戏视频中的声音播出时，使用语音相似度算法，匹配播放的音效与被提取的音效，当匹配度>n时，说明播放的音效与被提取的音效是同一个声音，如此，可以确定被提取的独立音效文件是否正确。

一实施例中，由于大部分游戏是使用公有的游戏引擎开发，而通过游戏引擎打包出来的游戏，其音效、音乐文件通常是按照常规路径进行保存的，因此，可直接在游戏文件中提取各个独立的音效文件。其中，在游戏目录下，已打包的音频文件资源通常是被加密的，但是可以通过特定工具对这些文件解包，从而获取游戏中的各个独立音效文件。例如，游戏的音乐、音效等音频文件，位于游戏应用的安装游戏目录中，对于常规的音频文件，可以通过扩展名搜索的方式获取。对于部分游戏，会通过引擎打包等方式，把音频文件打包成其它格式，如此，可以通过文件夹命名的规则查找其目录。例如，以Android游戏说明其提取方法：

a、修改其后缀名为.zip或.rar，并解压得到一个文件夹。

b、在其目录中，查找包含：audio、music、sound、BGM等名称的子目录，通过记事本，查看文件中的头部名称，判断其文件封装格式，例如，如果头部名称UnityFS，说明其是由unity封装的，除了UnityFS外，常见的封装还有RIFF、BKHD等。

c、获取音频数据：被封装后的音频文件无法直接使用音频播放器进行播放，需要把音频数据提取出来。例如，针对Unity文件，可以使用Unity Studio类的调试工具进行提取。如果是针对其它类型的文件，可以在16进制编辑器中(如：UltraEdit)，删除FSB5之前的部分，然后保存为fsb文件，再通过第3方工具转为ogg音频格式，如此，即可得到游戏中的各个独立音效文件。

本实施例通过深度学习方式对视频文件中的音频进行音轨分离得到各个独立音效文件，如此，可准确地提取视频文件中的独立音效文件。

进一步地，参考图4，提出本申请视频处理方法第三实施例。

所述视频处理方法应用于用户端，所述方法包括：

步骤S50，获取待显示视频帧；

步骤S60，根据所述待显示视频帧的关联信息调用所述待显示视频帧中的共性元素；

步骤S70，将所述共性元素添加至所述待显示视频帧，并显示添加所述共性元素后的所述待显示视频帧。

在本实施例中，获取当前的游戏类型，根据该游戏类型获取带显示视频帧，其中，不同的游戏类型与其对应的待显示视频帧设有相同的ID，该ID用于将游戏类型与待显示视频帧关联。在用户进入游戏后，获取当前的游戏进度(可以用图像识别、对比等方式确认游戏进度)，然后根据游戏进度，预加载共性元素压缩包，在本地端对共性元素压缩包进行解码得到共性元素对应的编号+坐标。此时，获取待显示视频帧中的编号+坐标，根据待显示视频帧中的编号+坐标调用解码后的共性元素，例如，将待显示视频帧中的编号+坐标与解码后的共性元素的编号+坐标进行匹配，将匹配成功的共性元素按照其坐标添加至待显示视频帧中，并显示添加共性元素后的待显示视频帧。其中，视频文件在编码时，需要把编码帧图像与共性元素进行元素比较，找出重复部分，然后把重复部分扣除，替换为特定标记(即：编号)，并且把其坐标一同进行编码。

在获取到待显示视频帧中的编号+坐标时，根据编号+坐标从本地查询是否预存储匹配的共性元素，如果本地没有预存储匹配的共性元素，则向服务器发送共性元素的下载请求，根据下载请求从服务器中下载对应的共性元素，如此，将共性元素存储至服务器，可节省本地的存储空间，提高本地的运行效率。

其中，对于非云游戏，而是关于云游戏的视频，可以把服务端的共性元素打包，附加至视频尾端。在视频播放的时，把数据解压至内存，然后在内存中进行调用。其原理与上述原理一致，区别在于前者是基于服务端与本地的交互，而后者是完全是基于本地处理。

本实施例通过待显示视频帧的关联信息调用共性元素，然后将共性元素添加至待显示视频帧中，并显示添加共性元素后的待显示视频帧，如此，避免在传输视频流时，重复传输共性元素，导致云应用启动时间长。

此外，本申请还提供一种视频处理装置，所述装置包括存储器、处理器及存储在存储器上并在所述处理器上运行视频处理程序，所述处理器执行所述视频处理程序时实现如上所述视频处理方法的步骤。

参考图5，所述视频处理装置100包括第一获取模块10、压缩模块20、处理模块30以及发送模块40，其中：

所述第一获取模块10，用于获取目标应用的视频文件的各个视频帧中具有相同音效的共性元素；

所述压缩模块20，用于提取所述视频帧中的共性元素；

所述处理模块30，用于根据所述视频帧中的共性元素生成所述共性元素与所述视频文件的视频帧的关联信息；

所述发送模块40，用于将所述共性元素、提取所述共性元素后的所述视频文件以及所述关联信息发送至用户端，以供所述用户端在显示所述视频文件时根据所述关联信息调用所述共性元素；

进一步地，所述第一获取模块10包括第一获取单元；

所述第一获取单元，用于从所述视频文件的具有相同音效的视频帧中抽取n帧图像进行图像比对，得到所述共性元素。

进一步地，所述第一获取单元，还用于获取所述目标应用的视频文件中各个独立音效文件的调用次数；

所述第一获取单元，还用于将所述调用次数大于预设次数阈值的独立音效文件对应的视频帧作为所述视频文件中具有相同音效的视频帧。

进一步地，所述第一获取单元包括第一获取子单元；

所述第一获取子单元，用于获取所述目标应用的视频文件中各个所述独立音效文件的语音相似度；

所述第一获取子单元，还用于将所述语音相似度大于预设值的独立音效文件作为同一个目标音效文件；

所述第一获取子单元，还用于获取各个所述目标音效文件的调用次数得到各个所述独立音效文件的调用次数。

参考图6，所述视频处理装置100包括第二获取模块50、调用模块60以及显示模块70，其中：

所述第二获取模块50，用于获取待显示视频帧；

所述调用模块60，用于根据所述待显示视频帧的关联信息调用所述待显示视频帧中的共性元素；

所述显示模块70，用于将所述共性元素添加至所述待显示视频帧，并显示添加所述共性元素后的所述待显示视频帧。

进一步地，所述调用模块60包括判断单元、发送单元以及下载单元；

所述判断单元，用于根据所述待显示视频帧的关联信息判断本地是否预存储所述共性元素；

所述发送单元，用于在所述本地未预存储所述共性元素时，向服务器发送所述共性元素的下载请求；

所述下载单元，用于根据所述下载请求从所述服务器中下载所述待显示视频帧中的共性元素。

上述的视频处理装置各个模块功能的实现与上述方法实施例中的过程相似，在此不再一一赘述。

此外，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有视频处理方法程序，视频处理方法程序被处理器执行时实现如上视频处理方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。