具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

现有技术中，基于特征的视频检索传统的视频搜索方式是通过对视频帧图像进行人工文本标注。它利用文本标注的方式跟据视频中帧图像的内容对视频数据进行描述，从而形成描述视频内容的关键词。这种方式主要是以人工手动标注方式为主，进行检索时，用户根据自己的兴趣提供关键字，数据库通过匹配视频标签和关键字来返冋查询结果。这种搜索方式易于实现，而且在由人工标注的时候，查询的准确率很高，

但是它的缺点很明显：第一是标注的主要方式是通过人工处理的，因此受标注者的主观因素的影响很大，不同的标注人员的观察水平不同，这可能会造成对同一个视频有不同的描述。第二是文字描述是一种对视频场景内容的固定的抽象，所以特定的标签只适合特定的查询。第三是视频数据量很大，用手工方式添加注释工作量很大，尤其是对于今天日益增长的视频数量，成本很高而且效率很低。

为了改善文本标注方法的缺点，基于特征的视频检索应运而生。有别于人工标注的方法，基于特征的视频检索是一种模糊查询技术，

它建立在对视频内容分析的基础上，对非结构化的视频进行结构化处理。它主要将视频结构分为场景、镜头、关键帧。通过分割视频的场景、镜头进而提取出视频关键帧，再进行后续处理，但是，它使用单一特征并不能够足够准确地表达图像内容。

目前，基于视频表示学习的视频检索已经成为新的研究热点。同时，现有技术难以提取到有效的视频时空特征表示，也难以满足业务应用的高实时性需求。

实施例1：

基于此，本实施例提供了一种视频快速检索方法。图1是根据本申请实施例的视频快速检索方法的流程图，如图1所示，该流程包括如下步骤：

视频特征抽取模型训练步骤S1，利用爬虫获取视频，将经过预处理的所述视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；

视频特征提取步骤S2，将业务相关视频逐一输入至所述视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；

视频检索步骤S3，获得待检索视频并依据所述视频特征抽取模型获得所述待检索视频对应的待检索视频特征向量，将所述待检索视频特征向量与所述视频服务器检索库中的所述视频特征向量进行相似度比较，获取相似度满足一定预设条件的所述业务相关视频。

上述一定预设条件可以搜索的范围进行调整，例如可以设定为相似度排名前五。

通过上述步骤，基于无监督视频表示学习技术训练视频特征抽取模型，获得视频的视频特征向量，并对视频特征向量进行比较获得检索结果，能有效提升视频时空特征表示能力，同时进行向量对比极大地提高了检索效率。

利用表示学习技术对每个视频学习到一个有鉴别力的特征，然后利用特征向量的相似性来进行快速的检索。

在其中一些实施例中，图2是根据本申请实施例的视频特征抽取模型训练步骤的流程图，如图2所示，从所述训练数据集中随机加载一个批次的视频数据输入至无监督视频对比学习框架进行迭代训练，具体包括以下步骤：

样例增强步骤S11，针对该批次中的视频数据中的每一个视频，随机从所述视频中抽取两个长度均为一预设时长的片段，对着两个所述片段以每一帧的速率各抽取出预设帧数图像，得到两个包含所述预设帧数图像的图像序列，对两个所述图像序列进行相同处理并获得对应两个增强样例；

特征嵌入步骤S12，将所述增强样例输入至特征嵌入网络，并输出编码后的对应特征表达；

目标损失步骤S13，依据以下公式计算对比损失L，更新所述视频特征抽取模型的网络参数θ；

L＝∑_i(1-C_ii)²+0.001∑_i∑_j≠1C_ij ²,

且

其中z₁和z₂代表增强样例的特征表达，C代表z₁和z₂自相关矩阵，b表示该批次中的各样例对，i和j分别表示z₁和z₂的各维度分量。

上述样例增强步骤S11中对所述图像序列的处理至少包括包括随机裁剪、调整大小、随机水平翻转、随机颜色抖动、灰度化以及高斯模糊变换。

在其中一些实施例中，本申请实施例提出的视频快速检索方法还包括自定义业务数据模型微调步骤S14，依据自定义业务数据集对经过所述目标损失步骤的所述视频特征抽取模型微调训练一预定范围的epoch。

在其中一些实施例中，视频检索步骤S3中还可以通过哈希检索方法对所述视频特征向量进行对比。

基于以上方法，下面聚焦销售服务支持场景，对本申请实施例进行描述和说明。

实现基于内容相似性的视频交互提示，帮助销售人员快速过滤和检索潜在感兴趣视频，以期提高销售转化率及提升用户体验。应用场景比如销售人员使用企业微信和客户沟通过程中，当销售人员选择一个视频欲发送给客户时，系统能自动从库中检索出最相似的多个相关视频并提示销售人员进行选择，帮助销售人员进行营销

图3是根据本申请优选实施例的视频快速检索方法的流程图。

本发明系统采用C/S架构，由客户端用户手动选择一个视频时触发交互提示请求并发送当前选择的视频ID给服务器，服务器接收到请求后利用下面技术方案提取该视频特征，并与视频库中的视频进行特征相似性比较、输出前5个最相似的视频路径返回给客户端。

S301，基于无监督对比学习的时空一致性特征抽取

时空一致性特征抽取阶段基于无监督对比学习范式训练一个视频特征抽取神经网络模型，训练完成后，输入单个视频，输出一个表达输入视频的4096维的特征向量。其主要包含以下步骤：

1、从搜索引擎、社交网络、视频分享平台爬取大量视频(5万-50万段)并进行简单预处理(去除开头结尾与视频内容无关的广告信息)作为训练数据集。

2、自监督对比学习训练。从数据集中随机加载一个批次的视频数据输入如图5所示的无监督视频对比学习框架进行训练(设批次大小为n，本方案中n＝512)，一次迭代的训练过程如下：

针对该批次数据中的每个视频v，首先做时空一致的样例增强生成两个增强样例v₁和v₂。样例增强具体步骤如下：

随机从视频v中抽取两个长度均为32秒的片段，对这两个32秒的视频片段以每秒一帧(1fps)的速率各抽取出32帧图像，得到两个包含32帧图像的图像序列s₁和s₂。

对s₁和s₂均应用相同的随机裁剪、Resize到224x224大小,随机水平翻转、随机颜色抖动、灰度化和高斯模糊变换，得到增强样例v₁和v₂。

以上过程可以公式化为

v₁,v₂＝aug(v),aug(v) (1)

将这n对增强样例分别输入到网络的两个路径中，经过如图6所示的特征嵌入网络后编码的特征表达为

z₁,z₂＝f(v₁),f(v₂) (2)

最后，依据以下公式(3)计算对比损失L，更新网络参数θ。其中C代表z₁和z₂自相关矩阵，b表示该批次中的各样例对，i和j分别表示z₁和z₂的各维度分量。

L＝∑_i(1-C_ii)²+0.001∑_i∑_j≠1C_ij ²,

且

3、自定义业务数据模型微调。未来更好的将上述训练的模型更好的泛化到自定义业务数据上，还需要使用自定义业务数据集对上述模型进行微调训练5-10个epoch。

4、视频时空特征抽取。当使用自定义业务数据进行时空特征抽取时，直接输入视频到步骤3中训练过的编码器，输出4096维的视频特征。

5、视频服务器检索库构建。收集业务相关视频，利用步骤4中的特征抽取方法，逐一抽取特征并存储在视频特征库中。

S302，基于特征相似性的视频检索

视频检索及提示，当服务器接收到客户端请求时，利用步骤4中方法抽取视频特征，并与视频检索库中的特征进行余弦相似度计算，排序出最相似的5个视频路径返回给客户端。

通过上述步骤，由于只是向量之间的计算，可以在毫秒级响应。视频检索召回率高，检索速度快，进而提升用户体验，提高销售转化率。可以在保持高速率响应的情况下提高准确率。

上述利用相似度比较完成最后的检索可以替换为哈希检索方法，同样可以实现快速检索的目的，但准确率较余弦相似度比较略低。

本实施例还提供了一种视频快速检索系统，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本申请实施例的视频快速检索系统的结构框图，如图6所示，该视频快速检索系统包括：

终端设备1、传输设备2以及服务器设备3；其中，终端设备1通过传输设备2连接服务器设备3；

终端设备1用于用户选择触发视频并接收返回的检索视频；

服务器设备3用于执行如上述的视频快速检索方法。

在其中一些实施例中，服务器设备3包括：

视频特征抽取模型训练模块31，利用爬虫获取视频，将经过预处理的所述视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；

视频特征提取模块32，将业务相关视频逐一输入至所述视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；

视频检索模块33，接收客户端返回的视频信息，依据所述视频特征抽取模型获得所述视频信息对应的触发视频特征向量，将所述触发视频特征向量与所述视频服务器检索库中的所述视频特征向量进行相似度比较，返回所述相似度满足一定预设条件的所述业务相关视频至所述客户端。

在其中一些实施例中，视频特征抽取模型训练模块31还包括：

样例增强单元311，针对该批次中的视频数据中的每一个视频，随机从所述视频中抽取两个长度均为一预设时长的片段，对着两个所述片段以每一帧的速率各抽取出预设帧数图像，得到两个包含所述预设帧数图像的图像序列，对两个所述图像序列进行相同处理并获得对应两个增强样例；

特征嵌入单元312，将所述增强样例输入至特征嵌入网络，并输出编码后的对应特征表达；

目标损失单元313，依据以下公式计算对比损失L，更新所述视频特征抽取模型的网络参数θ；

且

其中z₁和z₂代表增强样例的特征表达，C代表z₁和z₂自相关矩阵，b表示该批次中的各样例对，i和j分别表示z₁和z₂的各维度分量。

本系统还包括包括自定义业务数据模型微调模块314，依据自定义业务数据集对经过所述目标损失步骤的所述视频特征抽取模型微调训练一预定范围的epoch。

同时，视频检索模块33还可以根据视频的特征向量依据哈希检索方法获得检索结果。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

实施例2：

本实施例提供了一种视频快速推荐方法。图7是根据本申请实施例的视频快速推荐方法的流程图，如图7所示，该流程包括如下步骤：

S701，接收客户端返回的视频信息；

S702，采用实施例2中的视频快速检索方法对视频信息对应的视频进行检索，并将检索结果返回至客户端。

通过上述步骤，设计一个视频快速推荐方法，可以帮助销售人员快速过滤和检索潜在感兴趣视频，以提高销售转化率及提升用户体验。

本实施例还提供了一种视频快速推荐系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是根据本申请实施例的视频快速推荐系统的结构框图，如图8所示，该视频快速推荐系统包括：

客户端801，用于接收并返回用户点击的视频的相关信息；

视频快速检索模块802，根据视频的相关信息提取视频特征向量，并与视频检索库中的众多视频特征向量进行比较，获得检索结果；

推荐模块803，依据检索结果，返回并显示于客户端。

另外，结合图1描述的本申请实施例视频快速推荐方法可以由计算机设备来实现。图9为根据本申请实施例的计算机设备的硬件结构示意图。

计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种视频快速检索方法。

在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图9所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(Infini Band)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该计算机设备可以基于获取到的视频特征向量，执行本申请实施例中的视频检索步骤，从而实现结合图1描述的视频快速检索方法。

另外，结合上述实施例中的视频快速检索方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种视频快速检索方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。