阅读说明：本技术 自动生成足球比赛射门集锦的方法、装置及设备及计算机可读存储介质 (Method, device and equipment for automatically generating goal shooting highlights of football match and computer readable storage medium ) 是由 合敏慈 于 2019-12-25 设计创作，主要内容包括：本发明公开了一种自动生成足球比赛射门集锦的方法、装置及设备及计算机可读存储介质,获取历史足球比赛的录像数据,根据所述历史足球比赛的录像数据进行训练得到足球比赛录像处理模型；根据所述足球比赛录像处理模型对所述目标足球比赛录像进行处理,得到所述目标足球比赛录像的视频数据和解说员音频数据；从所述视频数据中提取包括出现球门的连续图像帧形成待选视频片段；对所述解说员音频数据进行识别处理得到在所述目标足球比赛录像中出现预设射门相关词语的关键词出现时间；根据所述待选视频片段和所述关键词出现时间生成所述目标足球比赛的射门集锦。本发明可以自动快速地根据足球比赛录像生成相应的射门集锦。(The invention discloses a method, a device and equipment for automatically generating a goal shooting collection of a football match and a computer readable storage medium, wherein video data of a historical football match are obtained, and a football match video processing model is obtained by training according to the video data of the historical football match; processing the target football match video according to the football match video processing model to obtain video data of the target football match video and audio data of a commentator; extracting continuous image frames including the appeared goals from the video data to form a video clip to be selected; identifying and processing the commentator audio data to obtain the occurrence time of keywords of preset shooting related words in the target football match video; and generating a goal shooting collection of the target football game according to the video clip to be selected and the occurrence time of the keywords. The invention can automatically and quickly generate corresponding shoot highlights according to the football match video.)

自动生成足球比赛射门集锦的方法、装置及设备及计算机可 读存储介质

技术领域

本发明涉及信息处理领域，具体涉及一种自动生成足球比赛射门集锦的方法、装置及设备及计算机可读存储介质。

背景技术

传统的足球比赛射门集锦剪辑大多采用人工的方法，由视频编辑自行判断一场比赛中的进球部分，并进行剪辑。人工剪辑的方法通常要求编辑对所剪辑的体育比赛有一定的了解，知道如何判断一场比赛中的射门镜头，同时需要查看完整场比赛，以保证不会漏掉其中的射门部分。随着现阶段足球比赛越来越丰富，人工剪辑的方法显得效率低下，不足以满足对大量比赛进行专业化的剪辑的需求。

发明内容

本发明实施例的目的在于提供一种自动生成足球比赛射门集锦的方法、装置及设备，用以解决现有人工剪辑足球视频录像效率低的问题。

为实现上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种自动生成足球比赛射门集锦的方法，包括：获取历史足球比赛的录像数据，根据所述历史足球比赛的录像数据进行训练得到足球比赛录像处理模型，具体方法为：对历史足球比赛的录像数据标注出球门在录像中时间位置后作为图像训练数据，使用从视频中截取出的图像作为训练集，运用随机梯度下降算法训练生成足球比赛录像处理模型；根据所述足球比赛录像处理模型对所述目标足球比赛录像进行处理，得到所述目标足球比赛录像的视频数据和解说员音频数据；从所述视频数据中提取包括出现球门的连续图像帧生成待选视频片段；对所述解说员音频数据进行识别处理得到在所述目标足球比赛录像中出现预设射门相关词语的关键词出现时间；根据所述待选视频片段和所述关键词出现时间生成所述目标足球比赛的射门集锦。包括：根据所述关键词出现时间从所述待选视频片段中选择目标视频片段；获取所述目标视频片段的开始时间和结束时间；以所述目标视频片段的开始时间向前推预设时间作为射门开始时间；在所述目标足球比赛录像中，根据所述射门开始时间和所述结束时间生成射门视频片段；根据所述射门视频片段生成所述目标足球比赛的射门集锦。

进一步地，所述对所述解说员音频数据进行识别处理得到在所述目标足球比赛录像中出现预设射门相关词语的关键词出现时间，包括：获取所述解说员音频数据中情绪高涨的待选音频片段；对所述待选音频片段进行识别处理得到待选文本片段；在所述待选文本片段中获取所述关键词出现时间。

进一步地，所述足球比赛录像处理模型包括解说员语音声纹模型；所述根据所述足球比赛录像处理模型对所述目标足球比赛录像进行处理，得到所述目标足球比赛录像的解说员音频数据，包括：从所述目标足球比赛录像提取全部音频数据；根据所述全部音频数据和所述解说员语音声纹模型得到匹配音频数据，根据所述匹配音频数据得到所述解说员音频数据。

进一步地，所述解说员语音声纹模型是将所述历史足球比赛的录像数据通过DNN-HMM模型训练得到的。

第二方面，本发明还提供一种自动生成足球比赛射门集锦的装置，包括：模型训练模块，用于获取历史足球比赛的录像数据，对历史足球比赛的录像数据标注出球门在录像中时间位置后作为图像训练数据，使用从视频中截取出的图像作为训练集，运用随机梯度下降算法训练生成足球比赛录像处理模型；处理模块，用于根据所述足球比赛录像处理模型对所述目标足球比赛录像进行处理，得到所述目标足球比赛录像的视频数据和解说员音频数据；所述处理模块还用于从所述视频数据中提取包括出现球门的连续图像帧生成待选视频片段，并对所述解说员音频数据进行识别处理得到在所述目标足球比赛录像中出现预设射门相关词语的关键词出现时间；所述处理模块还用于根据所述待选视频片段和所述关键词出现时间生成所述目标足球比赛的射门集锦。

进一步地，所述处理模块具体用于根据所述关键词出现时间从所述待选视频片段中选择目标视频片段，进而获取所述目标视频片段的开始时间和结束时间；所述处理模块还用于以所述目标视频片段的开始时间向前推预设时间作为射门开始时间，并在所述目标足球比赛录像中，根据所述射门开始时间和所述结束时间生成射门视频片段，进而根据所述射门视频片段生成所述目标足球比赛的射门集锦。

进一步地，所述处理模块具体用于获取所述解说员音频数据中情绪高涨的待选音频片段，并对所述待选音频片段进行识别处理得到待选文本片段，进而在所述待选文本片段中获取所述关键词出现时间。

进一步地，所述足球比赛录像处理模型包括解说员语音声纹模型；所述处理模块具体用于从所述目标足球比赛录像提取全部音频数据；根据所述全部音频数据和所述解说员语音声纹模型得到匹配音频数据，根据所述匹配音频数据得到所述解说员音频数据。

进一步地，所述模型训练模块具体用于将所述历史足球比赛的录像数据通过DNN-HMM模型训练得到所述解说员语音声纹模型。

第三方面，本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上述的自动生成足球比赛射门集锦的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于执行如上述的自动生成足球比赛射门集锦的方法。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例提供的自动生成足球比赛射门集锦的方法、装置及设备，根据历史足球比赛的录像数据建立可以对足球比赛录像进行分析处理的足球比赛录像处理模型，然后基于足球比赛录像处理模型、基于球门在录像中出现的时间位置，和射门相关词语在录像中出现的时间位置自动快速生成射门集锦；从而提高足球比赛剪辑的效率，以满足对大量比赛进行专业化的剪辑的需求。

附图说明

图1为本发明实施例的自动生成足球比赛射门集锦的方法的流程图；

图2为本发明实施例的自动生成足球比赛射门集锦的装置的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

图1为本发明实施例的自动生成足球比赛射门集锦的方法的流程图。如图1所示，本发明实施例的自动生成足球比赛射门集锦的方法，包括：

S1：获取历史足球比赛的录像数据，根据历史足球比赛的录像数据进行训练得到足球比赛录像处理模型。

在本发明的一个实施例中，可以在选择国内足球比赛（例如中超）的录像视频数据作为历史足球比赛的录像数据的一部分，再选在国外足球比赛（例如德甲、意甲、等等）的录像视频数据作为历史足球比赛的录像数据的另一部分。

对历史足球比赛的录像数据标注出球门在录像中时间位置后作为图像训练数据，使用从视频中截取出的图像作为训练集（从视频中截取出的图像既有带球门的图像，也有其它图像），运用随机梯度下降（SGD）算法训练生成分析模型，然后通过测试数据检验分析模型是否可以准确识别出图像帧中的球门；如果不能准确识别出图像帧的球门，则需要继续训练直至可以准确识别出图像帧的球门为止得到视频处理模型。

足球比赛录像处理模型包括解说员语音声纹模型，由于不管是国内足球比赛还是国外足球比赛，解说员基本固定，都是由几个固定的解说员进行解说。因此本发明将历史足球比赛录像的解说音频分离出来，将音频对应的解说文本作为声纹训练数据，使用DNN-based算法对分离出的音频和文本进行训练生成解说员语音声纹模型，由解说员语音声纹模型得到解说员的语音特征，作为该解说员的声纹标识，这样在之后的音频处理中可以去除非解说员的音频干扰数据。

由视频处理模型和解说员语音声纹模型组成足球比赛录像处理模型。

S2：根据足球比赛录像处理模型对目标足球比赛录像进行处理，得到目标足球比赛录像的视频数据和解说员音频数据。

具体地，通过足球比赛录像处理模型对目标足球比赛录像的视频数据和音频数据进行分离得到目标足球比赛录像的视频数据和全部音频数据，然后根据全部音频数据和解说员语音声纹模型得到匹配音频数据，作为解说员音频数据。

S3：从视频数据中提取包括出现球门的连续图像帧形成待选视频片段。

具体地，基于足球比赛录像处理模型将视频数据中每帧图像进行识别，提取出现球门的连续图像帧生成待选视频片段。

S4：对解说员音频数据进行识别处理得到在目标足球比赛录像中出现预设射门相关词语的关键词出现时间。

在本发明一个实施例中，步骤S4具体包括：获取解说员音频数据中情绪高涨的待选音频片段；对待选音频片段进行识别处理得到待选文本片段；在待选文本片段中获取关键词出现时间。

具体地，由于在足球比赛中，选手射门通常会引起解说员的情绪高涨。因此本发明将解说员音频数据中情绪高涨的待选音频片段，然后对待选音频片段进行音频识别处理得到对应待选音频片段的待选文本片段，进而在待选文本片段中获取关键词出现时间。其中，预设射门相关词语包括射门、打门、进球等等。本实施例通过这样方式在目标足球比赛录像中可以快速找到出现预设射门相关词语的时间位置。

需要说明的是，本发明并不限定步骤S3和S4的先后执行关系，可以是先执行S3后执行S4，也可以是先执行S4后执行S3，还可以是同时执行S3和S4。

S5：根据待选视频片段和关键词出现时间生成目标足球比赛的射门集锦。

在本发明一个实施例中，步骤S5具体包括：根据关键词出现时间从待选视频片段中选择目标视频片段；获取目标视频片段的开始时间和结束时间；以目标视频片段的开始时间向前推预设时间作为射门开始时间；在目标足球比赛录像中，根据射门开始时间和结束时间生成射门视频片段；根据射门视频片段生成目标足球比赛的射门集锦。

具体地，获取在待选视频片段中，选择对应录像时间内解说员音频数据的识别处理结果中出现预设射门相关词语的视频片段作为目标视频片段。

接着获取目标视频片段的在目标足球比赛录像的开始时间和结束时间，例如目标视频片段为目标足球比赛录像中的第15分8秒到15分12秒。

然后以目标视频片段的开始时间向前推预设时间作为射门开始时间，这样是为了当出现例如远距离射门时，如果以出现球门的时间作为射门视频片段开始时间的话会导致射门视频片段开始时，足球可能正处于飞行状态，无法展示射门的起始状态，降低观众的观看体验。因此，本实施例通过将目标视频片段的开始时间以录像播放方向向前推预设时间可以有效避免目标视频片段无法展示射门起始状态的问题。在本发明一个示例中，预设时间为3-10秒，优选为5秒。

例如目标视频片段为目标足球比赛录像中的第15分8秒到15分12秒，则射门视频片段可以是目标足球比赛录像中的第15分3秒到15分12秒。

截取所有的射门视频片段在目标足球比赛录像中的时间位置生成目标足球比赛录像的射门集锦。

本发明实施例提供的自动生成足球比赛射门集锦的方法，根据历史足球比赛的录像数据建立可以对足球比赛录像进行分析处理的足球比赛录像处理模型，然后基于足球比赛录像处理模型基于球门在录像中出现的时间位置，和射门相关词语在录像中出现的时间位置自动快速生成射门集锦；从而提高足球比赛剪辑的效率，以满足对大量比赛进行专业化的剪辑的需求。

图2为本发明实施例的自动生成足球比赛射门集锦的装置的结构框图。如图2所示，本发明实施例的自动生成足球比赛射门集锦的装置，包括：模型训练模块100和处理模块200。

其中，模型训练模块100用于获取历史足球比赛的录像数据，并根据历史足球比赛的录像数据进行训练得到足球比赛录像处理模型，具体来说，模型训练模块100对历史足球比赛的录像数据标注出球门在录像中时间位置后作为图像训练数据，使用从视频中截取出的图像作为训练集，运用随机梯度下降算法训练生成足球比赛录像处理模型。

处理模块200用于根据足球比赛录像处理模型对目标足球比赛录像进行处理，得到目标足球比赛录像的视频数据和解说员音频数据。处理模块200还用于从视频数据中提取包括出现球门的连续图像帧生成待选视频片段，并对解说员音频数据进行识别处理得到在目标足球比赛录像中出现预设射门相关词语的关键词出现时间。处理模块200还用于根据待选视频片段和关键词出现时间生成目标足球比赛的射门集锦。

在本发明的一个实施例中，处理模块200具体用于根据关键词出现时间从待选视频片段中选择目标视频片段，进而获取目标视频片段的开始时间和结束时间。处理模块200还用于以目标视频片段的开始时间向前推预设时间作为射门开始时间，并在目标足球比赛录像中，根据射门开始时间和结束时间生成射门视频片段，进而根据射门视频片段生成目标足球比赛的射门集锦。

在本发明的一个实施例中，处理模块200具体用于获取解说员音频数据中情绪高涨的待选音频片段，并对待选音频片段进行识别处理得到待选文本片段，进而在待选文本片段中获取关键词出现时间。

在本发明的一个实施例中，足球比赛录像处理模型包括解说员语音声纹模型。处理模块200具体用于从目标足球比赛录像提取全部音频数据；根据全部音频数据和解说员语音声纹模型得到匹配音频数据，根据匹配音频数据得到解说员音频数据。

在本发明的一个实施例中，模型训练模块100具体用于将历史足球比赛的录像数据通过DNN-HMM模型训练得到解说员语音声纹模型。

需要说明的是，本发明实施例的自动生成足球比赛射门集锦的系统的具体实施方式与本发明实施例的自动生成足球比赛射门集锦的方法的具体实施方式类似，具体参见自动生成足球比赛射门集锦的方法部分的描述，为了减少冗余，不做赘述。

本发明的实施例还公开电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上述的自动生成足球比赛射门集锦的方法。

本发明的实施例还公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的自动生成足球比赛射门集锦的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。

易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，简称ESDRAM）、同步链接动态随机存取存储器（SynchronousLink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。