阅读说明：本技术 一种媒体特征的比对方法及装置 (Media feature comparison method and device ) 是由 何轶 李磊 杨成 李�根 李亦锬 于 2018-03-29 设计创作，主要内容包括：本公开涉及一种媒体特征的比对方法及装置,该方法包括：获取第一媒体对象的第一媒体特征序列和第二媒体对象的第二媒体特征序列,所述第一媒体特征序列包含顺序排列的多个第一媒体特征单体,所述第二媒体特征序列包含顺序排列的多个第二媒体特征单体；确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度；根据所述单体相似度确定所述第一媒体特征序列与所述第二媒体特征序列之间的相似度矩阵；根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况。(The disclosure relates to a media feature comparison method and a device, wherein the method comprises the following steps: acquiring a first media characteristic sequence of a first media object and a second media characteristic sequence of a second media object, wherein the first media characteristic sequence comprises a plurality of first media characteristic monomers which are sequentially arranged, and the second media characteristic sequence comprises a plurality of second media characteristic monomers which are sequentially arranged; determining a monomer similarity between the first media feature monomer and the second media feature monomer; determining a similarity matrix between the first media feature sequence and the second media feature sequence according to the single similarity; and determining the similarity of the first media object and the second media object according to the similarity matrix.)

一种媒体特征的比对方法及装置

技术领域

本公开涉及媒体处理技术领域，特别是涉及一种媒体特征的比对方法及装置。

背景技术

视频特征、音频特征等媒体特征(或者称为媒体指纹)以及媒体特征比对、媒体特征检索在如今的“多媒体信息社会”中具有广泛的应用。利用媒体特征比对，能够避免视频、音频的重复上传，进而防止媒体的盗用、优化媒体的存储，另外，利用媒体特征比对还能进行媒体内容监控，进行版权检测等等。

现有的媒体特征比对方法存在准确性差、效率慢的问题，这对运算资源和存储资源都会产生巨大消耗。

发明内容

本公开的目的在于，提供一种新的媒体特征的比对方法及装置。

本公开的目的是采用以下的技术方案来实现的。依据本公开提出的媒体特征的比对方法，包括以下步骤：获取第一媒体对象的第一媒体特征序列和第二媒体对象的第二媒体特征序列，所述第一媒体特征序列包含顺序排列的多个第一媒体特征单体，所述第二媒体特征序列包含顺序排列的多个第二媒体特征单体；确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度；根据所述单体相似度确定所述第一媒体特征序列与所述第二媒体特征序列之间的相似度矩阵；根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况。

本公开的目的还可以采用以下的技术措施来进一步实现。

前述的媒体特征的比对方法，其中，所述第一媒体特征单体和所述第二媒体特征单体为浮点数特征；所述的确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度包括：根据所述第一媒体特征单体与所述第二媒体特征单体之间的余弦距离，确定所述单体相似度。

前述的媒体特征的比对方法，其中，所述第一媒体特征单体和所述第二媒体特征单体为二值化特征，且具有相同的特征单体长度；所述的确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度包括：根据所述第一媒体特征单体与所述第二媒体特征单体之间的汉明距离，确定所述单体相似度。

前述的媒体特征的比对方法，其中，所述的获取第一媒体对象的第一媒体特征序列和第二媒体对象的第二媒体特征序列包括，获取第一媒体对象的多种类型的所述第一媒体特征序列，并获取第二媒体对象的多种类型的所述第二媒体特征序列；所述的确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度包括，分别确定同种类型的所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度，以得到多种所述单体相似度；所述的根据所述单体相似度确定所述第一媒体特征序列与所述第二媒体特征序列之间的相似度矩阵包括，确定所述多种单体相似度的平均值或最小值，根据所述的多种单体相似度的平均值或最小值确定所述相似度矩阵。

前述的媒体特征的比对方法，其中，所述多个第一媒体特征单体在所述第一媒体特征序列中按时间顺序排列，所述多个第二媒体特征单体在所述第二媒体特征序列中按时间顺序排列。

前述的媒体特征的比对方法，其中所述相似度矩阵中的一个点对应一个所述单体相似度；所述相似度矩阵的点在横向上按照各个所述第一媒体特征单体在所述第一媒体特征序列中的先后顺序排列，且在纵向上按照各个所述第二媒体特征单体在所述第二媒体特征序列中的先后顺序排列。

前述的媒体特征的比对方法，其中，所述根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况包括：根据所述相似度矩阵中的直线确定所述第一媒体对象与所述第二媒体对象的相似程度和匹配片段。

前述的媒体特征的比对方法，其中，所述的根据所述相似度矩阵中的直线确定所述第一媒体对象与所述第二媒体对象的相似情况包括：将斜率为预设的斜率设定值的多条直线定义为备选直线，根据每条所述备选直线所包含的单体相似度的平均值或总和值，确定所述备选直线的直线相似度；在多条所述备选直线中，选取一条使得所述直线相似度最大的备选直线，并定义为第一匹配直线；根据所述第一匹配直线的所述直线相似度确定所述第一媒体对象与所述第二媒体对象的相似程度；根据所述第一匹配直线的起点和终点确定所述第一媒体对象与所述第二媒体对象的匹配片段的起止时间。

前述的媒体特征的比对方法，其中，所述斜率设定值为多个，所述备选直线为斜率为所述多个斜率设定值中任意一个的直线。

前述的媒体特征的比对方法，其中，所述的根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况包括：在所述相似度矩阵中选取使得所述单体相似度最大的多个点作为相似度极值点；基于所述多个相似度极值点，在所述相似度矩阵中拟合出一条直线作为第二匹配直线；根据所述第二匹配直线所包含的所述单体相似度的平均值或总和值确定所述第一媒体对象与所述第二媒体对象的相似程度；根据所述第二匹配直线的起点和终点确定所述第一媒体对象与所述第二媒体对象的匹配片段的起止时间。

前述的媒体特征的比对方法，其中，所述的基于所述多个相似度极值点，在所述相似度矩阵中拟合出一条直线作为第二匹配直线包括：利用随机抽样一致法，在所述相似度矩阵中拟合出一条斜率为预设的斜率设定值或斜率接近预设的斜率设定值的直线作为第二匹配直线。

前述的媒体特征的比对方法，其中，所述的根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况还包括：判断所述第一匹配直线或所述第二匹配直线的开头和结尾的点是否达到预设的单体相似度设定值，去掉所述开头和所述结尾的未达到所述单体相似度设定值的部分，保留中间一段直线并定义为第三匹配直线；根据所述第三匹配直线的所述直线相似度确定所述第一媒体对象与所述第二媒体对象的相似程度，根据所述第三匹配直线的起点和终点确定匹配片段的起止时间。

本公开的目的还采用以下技术方案来实现。依据本公开提出的媒体特征的比对装置，包括：媒体特征序列获取模块，用于获取第一媒体对象的第一媒体特征序列和第二媒体对象的第二媒体特征序列，所述第一媒体特征序列包含顺序排列的多个第一媒体特征单体，所述第二媒体特征序列包含顺序排列的多个第二媒体特征单体；单体相似度确定模块，用于确定所述第一媒体特征单体与所述第二媒体特征单体之间的单体相似度；相似度矩阵确定模块，用于根据所述单体相似度确定所述第一媒体特征序列与所述第二媒体特征序列之间的相似度矩阵；相似情况确定模块，用于根据所述相似度矩阵确定所述第一媒体对象与所述第二媒体对象的相似情况。

本公开的目的还可以采用以下的技术措施来进一步实现。

前述的媒体特征的比对装置，其还包括执行前述任一媒体特征的比对方法步骤的模块。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种媒体特征比对硬件装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现前述任意一种媒体特征的比对方法。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种终端设备，包括前述任意一种媒体特征比对装置。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行前述任意一种媒体特征的比对方法。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1是本公开一个实施例的媒体特征的比对方法的流程框图。

图2是本公开一个实施例提供的相似度矩阵所对应的灰度示意图。

图3是本公开一个实施例提供的利用动态规划法进行比对的流程框图。

图4是本公开一个实施例提供的利用匀速媒体法进行比对的流程框图。

图5是本公开一个实施例提供的基于多种类型的媒体特征序列确定相似度矩阵的流程框图。

图6是本公开一个实施例的媒体特征的比对装置的结构框图。

图7是本公开一个实施例提供的相似情况确定模块的结构框图。

图8是本公开另一实施例提供的相似情况确定模块的结构框图。

图9是本公开一个实施例的基于多种类型媒体特征序列确定相似度矩阵的媒体特征比对装置的结构框图。

图10是本公开一个实施例的媒体特征比对硬件装置的硬件框图。

图11是本公开一个实施例的计算机可读存储介质的示意图。

图12是本公开一个实施例的终端设备的结构框图。

具体实施方式

为更进一步阐述本公开为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本公开提出的媒体特征的比对方法及装置的具体实施方式、结构、特征及其功效，详细说明如后。

图1为本公开的媒体特征的比对方法一个实施例的示意性流程框图。请参阅图1，本公开示例的媒体特征的比对方法，主要包括以下步骤：

步骤S10，获取第一媒体对象的媒体特征序列作为第一媒体特征序列，获取第二媒体对象的媒体特征序列作为第二媒体特征序列。其中的第一媒体对象、第二媒体对象为待比对的两个媒体，例如可以是音频、视频、多张连拍的照片等各种类型的媒体。其中的媒体特征序列可以是音频特征、视频特征或图像特征等等，事实上可以按照本公开的方法通过获取视频对象的音频特征来比对视频对象。

具体地，第一媒体特征序列包含顺序排列的多个第一媒体特征单体，第二媒体特征序列包括顺序排列的多个第二媒体特征单体，不妨假设第一媒体特征序列、第二媒体特征序列的长度分别为M₁和M₂，其中的M₁和M₂为正整数，也就是说第一媒体特征序列包含M₁个第一媒体特征单体，第二媒体特征序列包含M₂个第二媒体特征单体。此后，处理进到步骤S20。

进一步地，在一些实施例中，这里所说的顺序排列为，在第一/第二媒体特征序列中该多个第一/第二媒体特征单体是按时间的先后顺序排列的：例如，在预先的提取媒体特征的过程中，先对媒体对象进行抽帧，再根据每一帧生成一个媒体特征单体，从而各个媒体特征单体与媒体对象的各个帧相对应，然后将各个媒体特征单体按照各个帧在媒体对象中的时间顺序进行排列得到媒体特征序列。因此也可以将前述的媒体特征单体称为帧特征，并将前述的媒体特征序列称为媒体特征。

值得注意的是，对媒体特征序列的提取方法以及媒体特征序列的类型不做限制，但第一媒体特征序列与第二媒体特征序列应该是通过同种特征提取方法得到的同种类型的媒体特征。在本公开的一种示例中，可以同时获取第一媒体对象和第二媒体对象的浮点数特征序列作为第一媒体特征序列和第二媒体特征序列，浮点数特征序列中的每个媒体特征单体是一个浮点数。而在另一种示例中，也可以同时获取第一媒体对象和第二媒体对象的二值数特征序列，或者将获得的它种类型的媒体特征进行二值化，以得到二值数特征序列。其中，二值数特征序列中的每个特征单体是一段由0/1组成的比特串，而通过同种方法提取得到的媒体特征单体具有相同的长度(或称为比特数)。

步骤S20，确定每个第一媒体特征单体与每个第二媒体特征单体之间的单体相似度，得到M₁×M₂个单体相似度。每个单体相似度用于表示两个媒体特征单体之间的相似程度，具体可以是，单体相似度越大表示越相似。此后，处理进到步骤S30。

具体地，可以根据媒体特征的类型，选择能够判断两个媒体特征的相似程度的距离或度量作为该单体相似度。

在本公开的实施例中，当第一媒体特征序列与第二媒体特征序列同时为浮点数特征时，可根据第一媒体特征单体与第二媒体特征单体之间的余弦距离(或者，称为余弦相似度)确定该单体相似度；一般可直接将该余弦距离确定为单体相似度。

在本公开的实施例中，当第一媒体特征序列与第二媒体特征序列同时为二值数特征时，可根据第一媒体特征单体与第二媒体特征单体之间的汉明距离(Hamming距离)确定该单体相似度。具体地，先计算第一媒体特征单体与第二媒体特征单体之间的汉明距离(Hamming距离)，再计算特征单体长度(比特数)与该汉明距离的差值，并将该差值与该特征单体长度的比值确定为单体相似度，用以表示两个二值化特征中的相同比特所占的比例。其中的汉明距离是一种信息论领域中常用的度量，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。在实际计算汉明距离时，可以对两个字符串进行异或运算，并统计结果为1的个数，而这个数就是汉明距离。

值得注意的是，不限于利用余弦距离或汉明距离表示该单体相似度，而是可以利用任何可以判断两个媒体特征单体的相似程度的距离或度量。

需要说明的是，如果各个媒体特征单体与媒体对象的各个帧相对应则也可将单体相似度称为帧间相似度。

步骤S30，根据各个单体相似度，确定第一媒体特征序列与第二媒体特征序列之间的相似度矩阵(Similarity Matrix)。

具体地，该相似度矩阵中的每个点对应一个单体相似度，使得该相似度矩阵记录有各个第一媒体特征单体与各个第二媒体特征单体之间的单体相似度。并且，该相似度矩阵的各个点：在横向上按照各个第一媒体特征单体在第一媒体特征序列中的先后顺序排列，且在纵向上按照各个第二媒体特征单体在第二媒体特征序列中的先后顺序排列。从而位于第i行第j列的点表示第一媒体对象的第i个第一媒体特征单体与第二媒体对象的第j个第二媒体特征单体之间的单体相似度，进而该相似度矩阵为一个M₁×M₂矩阵。此后，处理进到步骤S40。

为了便于直观，可以将该相似度矩阵转化为如图2所示的灰度示意图，在图2中，利用每个点的灰度来表示相似度矩阵中对应位置的单体相似度的大小。具体地，如果一个点的灰度越接近白色，则表示该点对应的单体相似度越高，例如图2中标出的I处的点；而如果一个点的灰度越接近黑色，则表示该点对应的单体相似度越低，例如图2中标出的II处的点。

需要说明的是，在实际操作中，并非一定先进行步骤S20的计算各个单体相似度，再进行步骤S30的确定相似度矩阵，而是可以直接确定相似度矩阵，在确定该相似度矩阵的各个点的过程中计算对应的单体相似度。

步骤S40，根据该相似度矩阵，确定第一媒体对象与第二媒体对象的相似情况。具体地，所谓的确定相似情况包括：根据该相似度矩阵来确定第一媒体对象与第二媒体对象的相似程度并可以利用比对评分来表现该相似程度，和/或根据该相似度矩阵来确定第一媒体对象和第二媒体对象的匹配片段的起止时间。其中，比对评分可以是一个0到1之间的分数，数字越大表示两段媒体对象越相似。

本公开实施例的媒体特征的比对方法，基于两个媒体对象之间的相似度矩阵来确定媒体对象之间的相似情况，能够提高媒体比对的效率和准确率。

在本公开的一些实施例中，步骤S40包括：根据相似度矩阵中的直线来确定第一媒体对象与第二媒体对象的相似情况。

需注意，由于媒体特征序列一般包含有穷的多个媒体特征单体，从而相似度矩阵为有穷矩阵，因此实际上所谓的“直线”是相似度矩阵中的多个点组成的有穷长的线段。该直线具有斜率，该斜率为直线所包括的多个点的连线的斜率。另外，该直线的起点和终点可以是相似度矩阵中的任意的点，不必是位于边缘的点。

本公开所说的直线包括相似度矩阵中的对角线、与该对角线相平行的各条线段这些在相似度矩阵中从左上到右下的斜率为1的直线(如图2中标出的直线III)，还包括斜率不为1的直线。例如，可以是的斜率近似于1的直线，以提高媒体比对的鲁棒性；可以是斜率为2、3、...或1/2、1/3、...等的直线，以应对经过调速的媒体对象的比对；甚至可以是斜率为负数的直线(在相似度矩阵中从左下到右上的直线)，以应对经过反向播放处理的媒体对象。其中的对角线为由位于(1,1)、(2,2)、(3,3)...的点组成的线段(事实上就是以左上角的点为起点且斜率为1的一条直线)。

事实上，相似度矩阵中的每条直线均由顺序排列的多个单体相似度构成，因此由于每条直线表现了多个顺序排列的媒体特征单体对的相似情况，从而能够表现一段第一媒体对象片段与一段第二媒体对象片段的相似程度。其中每个媒体特征单体对包括一个第一媒体特征单体和一个第二媒体特征单体。也就是说，每条直线表现了多个顺序排列的第一媒体特征单体与多个顺序排列的第二媒体特征单体之间的相似程度。而直线的斜率、起点终点表现了两段媒体片段的长度、位置。例如，由(1,1)、(2,3)、(3,5)、(4,7)构成的直线，由于表现了序数为1的第一媒体特征单体与序数为1第二媒体特征单体之间的相似情况、序数为2的第一媒体特征单体与序数为3第二媒体特征单体之间的相似情况、...，从而该直线能够反应序数为1、2、3、4的第一媒体特征单体所对应的一段第一媒体对象的片段与序数为1、3、5、7的第二媒体特征单体所对应的一段第二媒体对象的片段之间的相似情况。

因此，可以根据相似度矩阵中的直线来确定两个媒体对象的相似情况：不妨将一个直线所包含的各个单体相似度的平均情况(或总体情况)定义为该直线的直线相似度，该直线相似度能够体现对应的多个第一媒体特征单体与多个第二媒体特征单体之间的相似情况；在相似度矩阵中确定一条直线相似度最高的直线，不妨称为匹配直线；将匹配直线的直线相似度确定为第一媒体对象与第二媒体对象的相似程度，和/或根据匹配直线所对应的多个第一媒体特征单体和多个第二媒体特征单体来确定第一媒体对象与第二媒体对象的匹配片段。

其中的根据相似度矩阵中的直线(例如匹配直线)来确定匹配片段的具体方法可以是：根据直线的起点所对应的第一媒体特征单体的序数(或者说，相似度矩阵中的横坐标)确定第一媒体对象中的匹配片段的开始时间，而根据该起点所对应的第二媒体特征单体的序数(或者说，相似度矩阵中的纵坐标)确定第二媒体对象中的匹配片段的开始时间；类似地，根据直线的终点的横坐标确定第一媒体对象中的匹配片段的结束时间，而根据该终点的纵坐标确定第二媒体对象中的匹配片段的结束时间。

需要注意的是，在确定匹配直线的过程中，可以是从预设的多条直线中确定一条直线相似度最高的直线，例如该预设的多条直线为所有的斜率为预设的斜率设定值(比如斜率为1)的直线，或者，也可以是先从相似度矩阵中选取使得单体相似度的大小排名靠前的多个点，再根据这些点拟合出一条直线，以生成一条使得直线相似度相对最高的直线。

本公开实施例的媒体特征的比对方法，根据相似度矩阵中的直线确定两个媒体对象的相似程度和/或匹配片段，能够大大提高媒体比对的效率和准确率。

在本公开的一个具体实施例中，可以利用动态规划法来根据相似度矩阵确定两个媒体对象的相似情况。图3为本公开一个实施例提供的利用动态规划法进行比对的示意性流程框图。请参阅图3，在一种实施例中，本公开的步骤S40包括以下具体步骤：

步骤S41a，将相似度矩阵中的斜率为预设的斜率设定值的多条直线定义为备选直线，根据每条备选直线所包含的各个单体相似度确定该备选直线的直线相似度。具体地，一条直线的直线相似度可以设置为该直线所包含的各个单体相似度的平均值，或者可以设置为该直线所包含的各个单体相似度的总和值。在一种具体示例中，可以将斜率设定值取为1，即前述的备选直线为：相似度矩阵中的对角线以及与该对角线平行的直线。此后，处理进到步骤S41b。

需要注意的是，在本公开的一种实施例中，步骤S41a还包括：先从备选直线中排除那些包含的单体相似度的数量少于预设的直线长度设定值的直线，然后再进到步骤S41b。或者说，在本实施例中，备选直线还须满足：包含的单体相似度的数量达到预设的直线长度设定值。通过排除单体相似度过少的直线，可以排除当直线包含的单体相似度过少而影响最终得到的比对结果的准确性的问题。

步骤S41b，从该多条备选直线中，确定一条使得该直线相似度最大的备选直线，并定义为第一匹配直线。此后，处理进到步骤S41c。

步骤S41c，将该第一匹配直线的直线相似度确定为比对评分，用以表现第一媒体对象与第二媒体对象的相似程度；根据该第一匹配直线的起点和终点确定两个媒体对象中的匹配片段的起止时间。

需要注意的是，在本公开的一些实施例中，步骤S41a中的预设的斜率设定值可以为多个，即备选直线为斜率与多个斜率设定值中任意一个相等的直线，例如备选直线可以为斜率为1、-1、2、1/2等的直线，并且在步骤S41b中，从斜率为多个斜率设定值中任意一个的多条备选直线中确定一条第一匹配直线。

本公开提出的媒体特征比对方法，通过利用动态规划法来确定比对评分和/或确定相匹配的媒体片段，能够提高比对的准确性和比对的速度。

在本公开的另一个具体实施例中，也可以利用匀速媒体法来根据相似度矩阵确定两个媒体对象的相似情况。图4为本公开一个实施例提供的利用匀速媒体法进行比对的示意性流程框图。请参阅图4，在一种实施例中，本公开的步骤S40包括以下具体步骤：

步骤S42a，在相似度矩阵中选取单体相似度最大的多个点，并定义为相似度极值点。所取的相似度极值点的具体数量可以是预设的。此后，处理进到步骤S42b。

步骤S42b，基于该多个相似度极值点，在该相似度矩阵中拟合出一条直线作为第二匹配直线。在一些具体示例中，基于该多个相似度极值点拟合出一条具有预设的斜率设定值或接近预设的斜率设定值的直线作为第二匹配直线，例如，拟合出一条斜率接近1的直线。具体地，可以利用随机抽样一致法(Random Sample Consensus法，简称为RANSAC法)在该相似度矩阵中拟合出一条斜率接近斜率设定值的直线。其中的RANSAC法是一种常用的根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，以得到有效样本数据的方法。此后，处理进到步骤S42c。

步骤S42c，根据该第二匹配直线所包含的多个单体相似度来确定比对评分，用以表现第一媒体对象与第二媒体对象的相似程度。具体地，可以将该第二匹配直线上的各个单体相似度的平均值确定为该比对评分。另外，可以根据该第二匹配直线的起点和终点确定两个媒体对象中的匹配片段的起止时间。

本公开提出的媒体特征比对方法，通过利用匀速媒体法来确定比对评分和/或确定相匹配的媒体片段，能够提高比对的准确性和比对的速度。

在本公开的一些实施例中(例如前述的图3和图4所示的实施例)，步骤S40还包括：检测所得到的第一匹配直线或第二匹配直线的开头部分和结尾部分，判断该第一匹配直线/第二匹配直线的开头部分和结尾部分的点(单体相似度)是否达到预设的单体相似度设定值，去掉第一匹配直线/第二匹配直线的开头和结尾的未达到该单体相似度设定值(即单体相似度不高)的部分，保留中间一段直线并定义为第三匹配直线；根据该第三匹配直线的直线相似度来确定第一媒体对象与第二媒体对象的相似程度，和/或根据该第三匹配直线的起点和终点确定第一媒体对象与第二媒体对象的匹配片段的起止时间。通过去掉匹配直线开头结尾的相似度不高的部分、保留中间一段相似度较高的直线之后，再确定第一媒体对象与第二媒体对象的相似情况，能够提高比对的准确性，能够更准确地得到匹配片段的起止时间。

其中的去掉匹配直线开头/结尾的未达到该单体相似度设定值的部分的具体方法可以是：从匹配直线的起点/终点向中间依次检查，判断是否达到该单体相似度设定值，在找到第一个达到该单体相似度设定值的点后，去掉该点到起点/终点之间的多个点。

需要注意的是，该单体相似度设定值可以是一个单体相似度的具体数值，在检查时判断一个点是否达到该数值；也可以是一个比例值，在检查时判断一个点与第一匹配直线/第二匹配直线所包含的所有点的平均值或最大值相比，是否达到该比例值。

进一步地，其中相似度矩阵可以是由多种媒体相似度综合考量得到的。具体地，在本公开的实施例中，可以同时获取利用多种提取方法得到的第一媒体对象的多种类型的第一媒体特征序列和第二媒体对象的多种类型的第二媒体特征序列，根据多种类型的第一媒体特征序列和多种类型的第二媒体特征序列确定相似度矩阵。然后利用基于多种类型媒体特征序列的相似度矩阵来确定两个媒体对象的相似情况。

图5为本公开一个实施例的基于多种类型的第一媒体特征序列和第二媒体特征序列来确定相似度矩阵以进行媒体特征比对的示意性流程框图。请参阅图5，本公开的一个实施例的媒体特征的比对方法具体包括：

步骤S51，同时获取利用多种提取方法得到的第一媒体对象的多种类型的第一媒体特征序列和第二媒体对象的多种类型的第二媒体特征序列，每种第一媒体特征序列包含多个第一媒体特征单体，每种第二媒体特征序列包含多个第二媒体特征单体。例如，同时获取第一媒体对象和第二媒体对象的前述的浮点数特征序列和二值化特征序列。此后，处理进到步骤S52。

步骤S52，针对多种第一媒体特征序列和多种第二媒体特征序列，分别计算同种类型的第一媒体特征单体与第二媒体特征单体之间的单体相似度，具体可以利用前述实施例中的步骤S20所示过程来确定各个单体相似度。从而对应多种类型的媒体特征序列，得到多种单体相似度。此后，处理进到步骤S53。

步骤S53，确定该多种单体相似度的平均值，根据该多种单体相似度的平均值来确定第一媒体特征序列与第二媒体特征序列之间的相似度矩阵；或者，确定多种单体相似度的最小值，根据该多种单体相似度的最小值来确定该相似度矩阵，具体可以利用前述实施例中的步骤S30所示过程来确定相似度矩阵。

此后，处理进到前述示例的步骤S40，并在步骤S40中利用该基于多种类型单体相似度得到的相似度矩阵来确定第一媒体对象与第二媒体对象的相似情况。

利用多种相似度的平均值或最小值确定相似度矩阵的效果在于：利用单种媒体特征得到相似度(例如前述的相似度矩阵、直线相似度等)进行媒体特征比对可能存在误匹配的情况，通过取多种媒体特征的相似度的平均值或取最小值，能够减少或排除该误匹配问题，进而提高媒体特征比对的准确性。

需要说明的是，在取多种单体相似度的平均值或最小值之前，需要确保各种单体相似度具有一致的取值范围，例如可以预先将所有类型的单体相似度的取值范围均设置为0到1，事实上，前述的根据余弦距离确定的单体相似度的示例以及根据汉明距离确定的单体相似度的示例，均已将所确定的单体相似度的取值范围设置为0到1。

图6为本公开的媒体特征的比对装置100一个实施例的示意性结构图。请参阅图6，本公开示例的媒体特征的比对装置100，主要包括：媒体特征序列获取模块110、单体相似度确定模块120、相似度矩阵确定模块130以及相似情况确定模块140。

该媒体特征序列获取模块110用于获取第一媒体对象的媒体特征序列作为第一媒体特征序列，获取第二媒体对象的媒体特征序列作为第二媒体特征序列。其中的第一媒体对象、第二媒体对象为待比对的两个媒体。具体地，第一媒体特征序列包含顺序排列的多个第一媒体特征单体，第二媒体特征序列包括顺序排列的多个第二媒体特征单体。

该单体相似度确定模块120用于确定各个第一媒体特征单体与各个第二媒体特征单体之间的单体相似度。每个单体相似度用于表示两个媒体特征单体之间的相似程度，具体可以是，单体相似度越大表示越相似。

在本公开的实施例中，当媒体特征序列获取模块110获取的第一媒体特征序列与第二媒体特征序列同时为浮点数特征时，该单体相似度确定模块120包括一个子模块，用于根据第一媒体特征单体与第二媒体特征单体之间的余弦距离(或者，称为余弦相似度)确定该单体相似度。

在本公开的实施例中，当媒体特征序列获取模块110获取的第一媒体特征序列与第二媒体特征序列同时为二值化特征时，该单体相似度确定模块120包括一个子模块，用于根据第一媒体特征单体与第二媒体特征单体之间的汉明距离(Hamming距离)确定该单体相似度。

该相似度矩阵确定模块130用于根据各个单体相似度，确定第一媒体特征序列与第二媒体特征序列之间的相似度矩阵。

需要说明的是，在实际操作中，单体相似度确定模块120与相似度矩阵确定模块130并非一定是独立的，而是单体相似度确定模块120可以是相似度矩阵确定模块130的一个子模块，该相似度矩阵确定模块130用于确定相似度矩阵，并在确定该相似度矩阵的各个点的过程中计算对应的单体相似度。

该相似情况确定模块140用于根据该相似度矩阵，确定第一媒体对象与第二媒体对象的相似情况。具体地，相似情况确定模块140用于根据该相似度矩阵来确定第一媒体对象与第二媒体对象的相似程度并可以利用比对评分来表现该相似程度，和/或根据该相似度矩阵来确定第一媒体对象和第二媒体对象的匹配片段的起止时间。

在本公开的一些实施例中，相似情况确定模块140包括一个子模块，用于基于相似度矩阵中的直线来确定第一媒体对象与第二媒体对象的相似情况。具体地，该子模块用于：在相似度矩阵中确定一条直线相似度最高的直线，不妨称为匹配直线；将匹配直线的直线相似度的确定为第一媒体对象与第二媒体对象的相似程度，和/或根据匹配直线所对应的多个第一媒体特征单体和多个第二媒体特征单体来确定第一媒体对象与第二媒体对象的匹配片段。

在本公开的一个具体实施例中，该相似情况确定模块140可以包括动态规划比对子模块(图中未示出)，用于利用动态规划法来根据相似度矩阵确定两个媒体对象的相似情况。图7为本公开一个实施例提供的包含动态规划比对子模块的各个单元的相似情况确定模块140的示意性结构图。请参阅图7，在一个实施例中，本公开示例的相似情况确定模块140包括：

直线相似度确定单元141，用于根据每条备选直线所包含的各个单体相似度确定该备选直线的直线相似度。其中备选直线为相似度矩阵中的斜率为预设的斜率设定值的多条直线。具体地，一条直线的直线相似度可以设置为该直线所包含的各个单体相似度的平均值，或者可以设置为该直线所包含的各个单体相似度的总和值。

需要注意的是，在本公开的一种实施例中，直线相似度确定单元141还包括一个子单元，用于从备选直线中排除那些包含的单体相似度的数量少于预设的直线长度设定值的直线。或者，直线相似度确定单元141所利用的备选直线还须满足：包含的单体相似度的数量达到预设的直线长度设定值。

第一匹配直线确定单元142，用于从该多条备选直线中，确定一条使得该直线相似度最大的备选直线，并定义为第一匹配直线。

第一比对单元143，用于将该第一匹配直线的直线相似度确定为比对评分，用以表现第一媒体对象与第二媒体对象的相似程度，和/或用于根据该第一匹配直线的起点和终点确定两个媒体对象中的匹配片段的起止时间。

在本公开的一个具体实施例中，该相似情况确定模块140可以包括匀速媒体比对子模块(图中未示出)，用于利用匀速媒体法来根据相似度矩阵确定两个媒体对象的相似情况。图8为本公开一个实施例提供的包含匀速媒体比对子模块的各个单元的相似情况确定模块140的示意性结构图。请参阅图8，在一个实施例中，本公开示例的相似情况确定模块140包括：

极值点确定单元144，用于在相似度矩阵中选取单体相似度最大的多个点，并定义为相似度极值点。

第二匹配直线确定单元145，用于基于该多个相似度极值点，在该相似度矩阵中拟合出一条直线作为第二匹配直线。在一些示例中，该第二匹配直线确定单元145具体用于基于该多个相似度极值点拟合出一条具有预设的斜率设定值或接近预设的斜率设定值的直线作为第二匹配直线。具体地，该第二匹配直线确定单元145可以用于利用随机抽样一致法在该相似度矩阵中拟合出一条斜率接近斜率设定值的直线。

第二比对单元146，用于根据该第二匹配直线所包含的多个单体相似度来确定比对评分(例如，可将该第二匹配直线上的各个单体相似度的平均值确定为该比对评分)，用以表现第一媒体对象与第二媒体对象的相似程度，和/或用于根据该第二匹配直线的起点和终点确定两个媒体对象中的匹配片段的起止时间。

在本公开的一些实施例中，该相似情况确定模块140还包括：第三匹配直线确定单元(图中未示出)用于检测前述的第一匹配直线或第二匹配直线的开头部分和结尾部分，判断该第一匹配直线/第二匹配直线的开头部分和结尾部分的点(单体相似度)是否达到预设的单体相似度设定值，去掉第一匹配直线/第二匹配直线的开头和结尾的未达到该单体相似度设定值(即单体相似度不高)的部分，保留中间一段直线并定义为第三匹配直线；以及，第三比对单元(图中未示出)，用于根据该第三匹配直线的直线相似度确定该比对评分，并且根据该第三匹配直线的起点和终点确定匹配片段的起止时间。

进一步地，其中相似度矩阵可以是由多种媒体相似度综合考量得到的。图9为本公开一个实施例的基于多种类型的第一媒体特征序列、第二媒体特征序列来确定相似度矩阵的媒体特征比对装置100的结构框图。请参阅图9，本公开的一个实施例的媒体特征的比对装置100具体包括：

多类型媒体特征序列子模块111，用于同时获取利用多种提取方法得到的第一媒体对象的多种类型的第一媒体特征序列和第二媒体对象的多种类型的第二媒体特征序列，每种第一媒体特征序列包含多个第一媒体特征单体，每种第二媒体特征序列包含多个第二媒体特征单体。

多类型单体相似度确定子模块121，用于针对多种第一媒体特征序列和多种第二媒体特征序列，分别计算同种类型的第一媒体特征单体与第二媒体特征单体之间的单体相似度，得到多种单体相似度。

基于多类型媒体特征的相似度矩阵确定子模块131，用于确定该多种单体相似度的平均值或最小值，根据该多种单体相似度的平均值或最小值来确定第一媒体特征序列与第二媒体特征序列之间的相似度矩阵。

并且，相似情况确定模块140具体用于利用该基于多种类型单体相似度得到的相似度矩阵来确定第一媒体对象与第二媒体对象的相似情况。

图10是图示根据本公开的实施例的媒体特征比对硬件装置的硬件框图。如图10所示，根据本公开实施例的媒体特征比对硬件装置200包括存储器201和处理器202。媒体特征比对硬件装置200中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

该存储器201用于存储非暂时性计算机可读指令。具体地，存储器201可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器202可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以***体特征比对硬件装置200中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器202用于运行该存储器201中存储的该计算机可读指令，使得该媒体特征比对硬件装置200执行前述的本公开各实施例的媒体特征的比对方法的全部或部分步骤。

图11是图示根据本公开的实施例的计算机可读存储介质的示意图。如图11所示，根据本公开实施例的计算机可读存储介质300，其上存储有非暂时性计算机可读指令301。当该非暂时性计算机可读指令301由处理器运行时，执行前述的本公开各实施例的媒体特征的比对方法的全部或部分步骤。

图12是图示根据本公开实施例的终端设备的硬件结构示意图。终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

如图12所示，终端设备1100可以包括无线通信单元1110、A/V(音频/视频)输入单元1120、用户输入单元1130、感测单元1140、输出单元1150、存储器1160、接口单元1170、控制器1180和电源单元1190等等。图12示出了具有各种组件的终端设备，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。

其中，无线通信单元1110允许终端设备1100与无线通信系统或网络之间的无线电通信。A/V输入单元1120用于接收音频或视频信号。用户输入单元1130可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元1140检测终端设备1100的当前状态、终端设备1100的位置、用户对于终端设备1100的触摸输入的有无、终端设备1100的取向、终端设备1100的加速或减速移动和方向等等，并且生成用于控制终端设备1100的操作的命令或信号。接口单元1170用作至少一个外部装置与终端设备1100连接可以通过的接口。输出单元1150被构造为以视觉、音频和/或触觉方式提供输出信号。存储器1160可以存储由控制器1180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储器1160可以包括至少一种类型的存储介质。而且，终端设备1100可以与通过网络连接执行存储器1160的存储功能的网络存储装置协作。控制器1180通常控制终端设备的总体操作。另外，控制器1180可以包括用于再现或回放多媒体数据的多媒体模块。控制器1180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元1190在控制器1180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

本公开提出的媒体特征的比对方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的媒体特征的比对方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的媒体特征的比对方法的各种实施方式可以在控制器1180中实施。对于软件实施，本公开提出的媒体特征的比对方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器1160中并且由控制器1180执行。

以上，根据本公开实施例的媒体特征的比对方法、装置、硬件装置、计算机可读存储介质以及终端设备，基于两个媒体对象之间的相似度矩阵确定媒体对象之间的相似情况，能够提高媒体比对的效率和准确率。进一步地，根据相似度矩阵中的直线确定两个媒体对象的相似程度和/或匹配片段，能够大大提高媒体比对的效率和准确率；另外，通过基于多种类型的媒体特征序列进行媒体特征比对，能够大大提高媒体比对的准确率。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。