阅读说明：本技术 图像搜索方法、图像搜索设备和计算机可读存储介质 (Image search method, image search apparatus, and computer-readable storage medium ) 是由 黄耀海 陶训强 彭健腾 邓伟洪 胡佳妮 于 2019-02-22 设计创作，主要内容包括：本公开涉及一种图像搜索方法、图像搜索设备和计算机可读存储介质。该图像搜索方法包括：获得图像集合,计算图像集合中任何两个对象之间的相似度,根据所计算的相似度和给定的相似度阈值来构建图像集合中的对象的连通子图,至少使用连通子图的边的信息来计算各个连通子图的置信度,对连通子图进行排序以获得排序信息,使用置信度和排序信息来搜索图像集合中的图像。(The present disclosure relates to an image search method, an image search apparatus, and a computer-readable storage medium. The image searching method comprises the following steps: obtaining an image set, calculating the similarity between any two objects in the image set, constructing connected subgraphs of the objects in the image set according to the calculated similarity and a given similarity threshold, calculating the confidence of each connected subgraph by using at least the information of the edges of the connected subgraphs, sorting the connected subgraphs to obtain sorting information, and searching the images in the image set by using the confidence and the sorting information.)

图像搜索方法、图像搜索设备和计算机可读存储介质

技术领域

本公开总地涉及图像搜索，具体地涉及基于连通子图的对象识别和图像搜索领域。

背景技术

近年来，大数据技术的革新使得能够更加容易地从互联网收集现实世界的数据，并且构建大的对象数据集。得益于此，例如脸部识别(FR)等方面的研究得以蓬勃发展。但是，所收集的原始数据中一般会包含噪声，因此需要进行组织和清洗后才能使用。因此，构建大的数据集仍然是一项耗时又费力的工作。

因此，需要一种自动或者半自动的图像搜索方法，来找出目标对象或者去除噪声，以便提高所收集到的数据集的质量。

发明内容

根据本发明的一方面，提供了一种图像搜索方法。该方法包括：获得图像集合，计算图像集合中任何两个对象之间的相似度，根据所计算的相似度和给定的相似度阈值来构建图像集合中的对象的连通子图，至少使用连通子图的边的信息来计算各个连通子图的置信度，对连通子图进行排序以获得排序信息，使用置信度和排序信息来搜索图像集合中的图像。

现有技术中图像搜索的结果中可能存在合影图像，由于合影图像中的对象分辨率低、尺寸相对小等原因，在一幅合影图像中的多个对象可能被误识别为目标对象。通过至少使用连通子图的边的信息来计算置信度，并且根据置信度来执行图像搜索，可以例如在存在合影图像的情况下提高对象搜索/清洗的精度。

根据本发明的又一方面，提供了一种图像搜索方法，包括：根据标签将图像集合划分为多个组，其中每个组中的图像具有相同的标签；使用前述方法来进行图像搜索。

根据本发明的另一方面，提供了一种图像搜索设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序当被处理器执行时使处理器执行前述图像搜索方法的步骤。

根据本发明的又一方面，提供了一种图像搜索设备，其特征在于，所述图像搜索设备包括被配置为执行前述图像搜索方法的步骤的装置。

根据本发明的又一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使处理器执行前述图像搜索方法的步骤。

附图说明

下面结合具体的实施例，并参照附图，对本公开的实施方式的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1A示出了现有技术中图像搜索方法的示意性流程图。

图1B示出根据第一实施例的图像搜索方法的流程图。

图2示出根据第一实施例的构建连通子图的方法的流程图。

图3示出根据第二实施例的根据边得分计算置信度的方法的示例的流程图。

图4示出根据第三实施例的根据节点得分和边得分的组合计算置信度的方法的示例的流程图。

图5示出根据第四实施例的使用相似度矩阵来计算连通子图的节点得分的方法的示例的流程图。

图6示出根据第四实施例的使用相似度矩阵计算连通子图的节点得分的示意图。

图7示出根据第五实施例的使用图像排名得分来计算连通子图的节点得分的方法的示例的流程图。

图8示出根据第五实施例的使用图像排名得分计算连通子图的节点得分的示意图。

图9示出根据第六实施例的根据相似度矩阵和图像排名得分的组合计算节点得分的方法的示例的流程图。

图10示出根据第七实施例的根据连通子图中的节点数对连通子图进行排序的方法的示例的流程图。

图11A描述根据第八实施例的通过对相似度求和进行连通子图排序的示例的流程图。

图11B示出根据第八实施例的在考虑节点的权值的情况下对连通子图进行排序的方法的示例的流程图。

图12A示出根据第九实施例的根据置信度和排序信息来进行图像搜索的方法的示例的流程图。

图12B示出根据十三实施例的根据置信度和排序信息来进行图像搜索的另一方法的示例的流程图。

图12C示出根据第十三实施例的根据节点得分和边得分将图像集合划分成的四个类别的示意图。

图13示出根据第十实施例的后处理的一个示例的流程图。

图14示出根据第十一实施例的后处理的另一示例的流程图。

图15示出根据第十二实施例的后处理的又一示例的流程图。

图16示出根据第十四实施例的图像搜索方法的示例的流程图。

图17示出根据第十五实施例的一种图像搜索设备的框图。

图18示出根据第十六实施例的示出能够实施本公开的实施例的计算机系统的硬件配置的框图。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实施例的所有特征。然而，应该了解，在对实施例进行实施的过程中必须做出很多特定于实施方式的设置，以便实现开发人员的具体目标，例如，符合与设备及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还应当注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或系统结构，而省略了与本公开关系不大的其他细节。

接下来，将对本公开的各个方面进行描述。

在公开号为CN105512638A、发明名称为“基于最大连通子图的人脸识别数据清洗方法”的专利文献中，公开了一种基于最大连通子图的人脸识别数据清洗方法。图1A示出了该清洗方法的示意性的流程图。

如图1A所示，在步骤S101中获得图像集合。

在步骤S102中，计算图像集合中的任何两个人脸之间的相似度，获得相似度矩阵。

随后，在步骤S103中，根据所计算的相似度和给定的相似度阈值来构建人脸的连通子图。

随后，在步骤S104中，在所有连通子图中找到最大连通子图，即包含最多数量的节点的连通子图。

随后，在步骤S105中，将最大连通子图中的图像保存为搜索结果。

这种方法能够在一定程度上对图像集合中的数据进行清洗。但是，该方法存在一个问题，即有时最大连通子图是不可靠的。比如长距离拍摄的合影图像中，由于低分辨率和均匀场景等，有些脸部看起来非常相似，导致不同的人的人脸会被错误的匹配。这样得到的最大连通子图会包含来自不同人的人脸图像噪声。由于来自于合影的噪声人脸图像一般不会和单个图像里面的人脸图像匹配上，因此，包含这样的噪声人脸的连通子图的边的连通性相对稀疏。，所以，与现有的方法不同，我们不直接使用最大连通子图(具有最多节点数目的连通子图，这里每个人脸图像被认为是一个节点)作为人脸搜索结果，而是至少使用连通子图的边的信息来定义一个置信度，使用置信度来判断通过排序算法获得的排名最高的连通子图中是否包含噪声。如果有噪声，则使用后处理来降低噪声。

第一实施例

图1B示出了根据本实施例的图像搜索方法的流程图。

如图1B所示，在步骤S111中，获得图像集合。该图像集合指的是来自于同一标识的包含一个或多个对象的图像的集合。其中，包含多于一个对象的图像被称为合影图像。这里的标识例如可以是对象的名称或者预先设定的对象的编号等。在一个实施例中，该图像集合通过在搜索引擎中使用关键词搜索而获得。可替代地或附加地，图像集合可以使用其他方法获得。在一个实施例中，图像中的对象例如可以是人脸。但是，对象也可以是动物或其他物体等。

随后，在步骤S112中，计算图像集合中任何两个对象之间的相似度。

在一个实施例中，计算两个对象之间的相似度可以通过对两个对象的特征进行比较来进行。例如，当对象是人脸时，相似度的计算例如可以使用现有技术中已经存在的人脸识别系统实现。人脸识别系统具体包括按顺序进行的如下步骤：人脸检测、人脸对齐、人脸特征提取以及人脸特征比对。其中，人脸特征比对是比较两个输入的人脸的特征的相似程度。人脸的特征例如可以是特定维度的向量，其维度取决于具体的人脸特征方法。相似度SIM的计算例如可以使用如下公式：

SIM(i,j)＝[s(v_i,v_j)],i,j＝1,2,...N1 (1)

其中，i，j是图像集中两个不同的输入人脸图像；v是特征向量；N1是图像集合中图像的总数；s()是比较两个向量的相似程度的方法，该方法例如可以是计算两个向量之间的欧式距离，余弦距离等。

随后，在步骤S113中，根据所计算的相似度和给定的相似度阈值来构建图像集合中的对象的连通子图。

在该步骤中，输入是计算得到的相似度SIM。根据相似度构建连通子图。如图2所示，在一个实施例中，构建连通子图包括：在步骤S201中，将图像集合中的每个对象视为一个节点，并且，在步骤S202中，用边来连接满足以下条件的任何两个节点：与这两个节点对应的对象之间的相似度大于给定的相似度阈值。由此，在连通子图中的任何两个节点可以通过由一条或多条边形成的路径连通。使用这种方式，根据节点的连接信息找到所有连通子图。

随后，在步骤S114中，至少使用连通子图的边的信息来计算各个连通子图的置信度。

在步骤S115中，对连通子图进行排序以获得排序信息。

随后，在步骤S116中，使用置信度和排序信息来搜索图像集合中的图像。

优选地，判断排序最高的连通子图的置信度是否大于置信度阈值，并根据判断结果对连通子图和/或图像集合进行处理。

对于置信度的计算、排序信息的获得以及图像搜索将在本公开的下文中详细描述。

注意，在图1B中，步骤S114和步骤S115被视为顺序执行，但并不限于此。例如，步骤S114和步骤S115的执行顺序可以改变，或者可以并行执行。

在该实施例中，通过使用置信度和排序信息来搜索图像集合中的图像，有效地抑制了图像集合中的合影图像的存在导致的搜索结果准确度下降的问题。

第二实施例

在本实施例以及后续实施例中，重点描述与之前实施例的不同之处并且不再重复描述与之前实施例重复的部分。

在该实施例中，在步骤S114中，仅使用连通子图的边得分来计算各个连通子图的置信度。边的信息例如可以是边得分。

图3示出了根据本公开的实施例的根据边得分计算置信度的方法的示例的流程图。

如图3所示，在步骤S301中，获得连通子图。

随后，在步骤S302中，计算连通子图的边得分。

随后，在步骤S303中，将边得分作为连通子图的置信度输出。

在计算边得分时，输入的是每个连通子图，输出为每个连通子图的置信度。使用“边得分ES”作为置信度。在一个实施例中，连通子图的“边得分ES”例如可以用以下公式来计算，但不限于此：

其中，N2表示的是连通子图的个数；C_k表示的是第k个连通子图；

表示的是第k个连通子图的边数；n_k表示的是第k个连通子图的节点的数量。

使用公式(2)来计算连通子图的置信度是由于，合影图像中的噪声对象(例如人脸)通常与单个对象的图像中的绝大多数对象无法匹配，因此，如果连通子图中包含较多合影图像的对象，那么该连通子图的边相对稀疏。而公式(2)中的ES(k)可以表征连通子图中的边的稠密程度。也就是说，当ES(k)的值较高时，连通子图的边的稠密度也较高，即连通子图中来自合影图像的对象较少，从而置信度较高。反之亦然。

使用连通子图的边得分作为置信度，可以有效地衡量连通子图中边的稀疏程度，从而有利于获得稠密的连通子图，进而提高图像搜索的准确度。

注意，公式(2)仅仅是使用边得分来计算置信度的方法的一个示例。在实际应用中，可以使用任何合适的方法，通过边的信息得到边得分来计算置信度。

第三实施例

与第二实施例不同，在本实施例中，在步骤S114中，使用连通子图的节点的信息和边的信息的组合来计算置信度。

在一个实施例中，该组合可以是带有权值的公式，例如w1*节点的信息+w2*边的信息，其中0≤w1≤1，并且w2＝1-w1。

在另一实施例中，该组合是通过分类器实现的，其中节点的信息和边的信息作为分类器的输入特征。

注意，该组合的实现方式不限于以上两种方式。在实际应用中，可以使用任何合适的方法来组合节点的信息和边的信息。

在一个实施例中，边的信息例如可以是边得分。在一个实施例中，节点的信息例如可以是节点得分。

图4示出了根据本公开的实施例的根据节点得分和边得分的组合计算置信度的方法的示例的流程图。

如图4所示，在步骤S401中，获得连通子图。

随后，在步骤S402中，计算连通子图的边得分和节点得分。

计算边得分的方法的示例已在本公开的第二实施例中详细描述，在此不再重复。

优选地，连通子图的节点得分可以是该连通子图的权重与所有连通子图中的最大权重的比率，但不限于此。在实际应用中，可以使用任何合适的方法来计算连通子图的节点得分。

在一个实施例中，可以使用相似度矩阵来计算连通子图的权重。在另一实施例中，可以使用由搜索引擎提供的图像排名得分来计算连通子图的权重。在又一实施例中，可以使用相似度矩阵和图像排名得分的组合来计算连通子图的权重。在实际应用中，可以使用任何合适的方法来计算连通子图的权重。

计算节点得分的具体方式将在本公开的下文中详细描述。

随后，在步骤S403中，将边得分和节点得分的组合作为连通子图的置信度输出。

在本实施例中，通过综合考虑边得分和节点得分，可以根据需要自由调整置信度计算方法，并且进一步提高了图像搜索的准确度和灵活性。

第四实施例

在本实施例中，例如使用相似度矩阵来计算连通子图的节点得分。

图5示出了根据本公开的实施例的使用相似度矩阵来计算连通子图的节点得分的方法的示例的流程图。

如图5所示，在S501中，获得连通子图和相似度矩阵。相似度矩阵例如可以使用第一实施例中的公式(1)来导出，但不限于此。

随后，在步骤S502中，通过对每个连通子图中任何两个连通的节点之间的相似度求和来计算连通子图的权重。

随后，在步骤S503中，通过将每个连通子图的权重与所有连通子图中的最大权重进行比较来计算节点得分。在一个实施例中，该比较可以是每个连通子图的权重与所有连通子图中的最大权重的比率，但不限于此。

图6示出了根据本实施例的使用相似度矩阵计算连通子图的节点得分的示意图。

如图6所示，连通子图SG 1具有四个节点ND 1～ND 4，连通子图SG 2具有三个节点ND’1、ND’2和ND’3，连通子图SG 3具有两个节点ND”1和ND”2。连通子图SG 1的节点之间的相似度矩阵如图所示。于是可以由此计算连通子图SG 1的权重等于各个节点的相似度之和，即W_SG1＝0.7+0.6+0.8+0.8+0.7+0.6＝4.2。

类似地，可以计算连通子图SG 2的权重W_SG2＝0.8+0.7+0.6＝2.1，以及SG 3的权重W_SG3＝0.6。

最后，可以将每个连通子图的权重与最大权重相除，得到该连通子图的节点得分。可以看出，连通子图SG 1的节点得分为4.2/4.2＝1，连通子图SG 2的节点得分为2.1/4.2＝0.5，而连通子图SG 3的节点得分为0.6/4.2＝0.14。

在本实施例中，根据节点之间的相似度来计算连通子图的节点得分，有效地反映了连通子图的置信度，有利于得到更准确的搜索结果。

第五实施例

与第四实施例不同，在本实施例中，使用由搜索引擎提供的图像排名得分来计算连通子图的节点得分。

图7示出了根据本公开的实施例的使用图像排名得分来计算连通子图的节点得分的方法的示例的流程图。

如图7所示，在S701中，获得连通子图和图像排名得分。

随后，在步骤S702中，通过对每个连通子图中任何一个节点所对应的图像排名进行求和来计算权重。

随后，在步骤S703中，通过将每个连通子图的权重与所有连通子图中的最大权重进行比较来计算节点得分。

图8示出了根据本实施例的使用图像排名得分计算连通子图的节点得分的示意图。

如图8所示，连通子图SG 1具有四个节点ND 1～ND 4，连通子图SG 2具有三个节点ND’1、ND’2和ND’3，连通子图SG 3具有两个节点ND”1和ND”2。各个节点的图像排名得分如图所示。由此计算连通子图SG 1的权重等于SG 1中各个节点的图像排名得分之和，即W_SG1＝100+90+80+70＝340。

类似地，可以计算连通子图SG 2的权重W_SG2＝60+50+40＝150，以及SG 3的权重W_SG3＝30+20＝50。

最后，可以将每个连通子图的权重与最大权重相除，得到该连通子图的节点得分。可以看出，连通子图SG 1的节点得分为340/340＝1，连通子图SG 2的节点得分为150/340＝0.44，而连通子图SG 3的节点得分为50/340＝0.15。

在本实施例中，使用图像排名得分来计算节点得分。图像排名得分代表了搜索引擎给出的这幅图像是给定标记的搜索结果的可信度。搜索列表顶部的图像具有较高的图像排名得分，也就是说是给定标记的搜索结果的可信度也很高。由此可以得到较准确的搜索结果。

第六实施例

与第四实施例和第五实施例不同，在本实施例中，例如通过连通子图中任何两个连通的节点之间的相似度之和与每个连通子图中的各个节点的图像排名得分之和的组合来计算节点得分。

图9是根据本公开的实施例的根据相似度矩阵和图像排名得分的组合计算节点得分的方法的示例的流程图。

如图9所示，在步骤S901中，获得连通子图、相似度和图像排名得分。

在步骤S902中，通过使用相似度和图像排名得分的组合来计算节点得分。优选地，可以使用相似度和图像排名得分的组合来计算连通子图的权重，然后使用例如与第四实施例和第五实施例类似的方法根据连通子图的权重来计算其节点得分。其中，所述组合例如可以是加权求和，但不限于此。

注意，在第四实施例至第六实施例的示例性描述中，对于每个连通子图计算节点得分，但不限于此。在一个实施例中，由于在图1的步骤S116中仅针对在步骤S115中排序最高(例如，具有最大的权重)的连通子图的置信度进行判断和处理，因此，可以仅计算排序最高的连通子图的节点得分。例如，可以使用以下公式来计算具有最大权重的连通子图的节点得分：

其中，W_max是最大权重，W_second是除W_max外最大的权重(即第二大权重)。

如表1中所示，连通子图C₄具有最大权重10.0，连通子图C₂具有第二大权重9.4，因此，可以仅计算连通子图C₄的节点得分：10.0/9.4＝1.06。

采用这种方式，可以有效地节省计算资源，缩短计算时间，提高搜索效率。

表1.只计算具有最大权重的连通子图的节点得分的示例

第七实施例

在本实施例中，将描述在步骤S115中对连通子图进行排序的方法的示例。

优选地，可以根据连通子图中的节点数对连通子图进行排序。

图10示出了根据本公开的实施例的根据连通子图中的节点数对连通子图进行排序的方法的示例的流程图。

在该过程中，输入是每个连通子图。输出为每个子图的排序信息。

如图10所示，在步骤S1001中，获得连通子图。

随后，在步骤S1002中，计算每个连通子图的节点数。

随后，在步骤S1003中，根据连通子图中的节点数对连通子图进行排序，获得排序信息。

优选地，在步骤S1003中，按照节点数从大到小的顺序对连通子图进行排序。

表2给出了一个具有4个连通子图的排序结果的示例。

表2.四个连通子图的排序结果

连通子图	节点数	排序结果
			C<sub>1</sub>	6	rank3
C<sub>2</sub>	12	rank2
			C<sub>3</sub>	5	rank4
C<sub>4</sub>	14	rank1

如表2所示，C₄具有最大节点数14，因此为第一候选连通子图。C₂具有第二大节点数12，因此为第二候选连通子图。以此类推。

第八实施例

与第七实施例不同，在本实施例中，根据连通子图中节点之间的相似度对连通子图进行排序。

优选地，可以通过对每个连通子图中任何两个连通节点之间的相似度进行求和来对连通子图进行排序。

图11A描述了通过对相似度求和进行排序的示例的流程图。

如图11A所示，在步骤S1101，获得连通子图和连通子图中任何两个节点之间的相似度。

随后，在步骤S1102，通过对每个连通子图中任何两个连通节点之间的相似度进行求和来计算连通子图的权重。

随后，在步骤S1103，根据连通子图的权重对连通子图进行排序，获得排序信息。

优选地，可以使用节点之间的相似度来计算每个节点的权值，然后根据节点的权值计算连通子图的权重，并根据权重排序。

图11B示出了根据本公开的实施例的在考虑节点的权值的情况下对连通子图进行排序的方法的示例的流程图。

如图11B所示，首先，在步骤S1111中，计算每个节点的权值。

随后，在步骤S1112中，根据节点的权值计算每个连通子图的权重。

随后，在步骤S1113，根据连通子图的权重，从大到小排序所有的连通子图。下面依次说明。

1.计算每个节点的权值

在一个实施例中，在步骤S1111中，对于任一给定节点a，可以使用以下公式来计算节点a的权值w(a)：

其中，b是和节点a有边直接相连的节点，N_NUM是所有和节点a有边直接相连的节点的总数。SIM(a,b)是节点a与b之间的相似度，例如节点a与b的特征的欧式距离。因此，w(a)表征节点a与和其连通的各个节点的平均相似程度。

在另一实施例中，图像集合来自图像搜索引擎，并记录搜索引擎给出的每个图像的图像排名得分。因此，在步骤S1111中，在计算节点的权值时可以考虑图像排名得分R。

优选地，节点a的权值w(a)就是图像排名得分R(a)。

可替代地，例如可以根据相似度SIM和图像排名得分R来确定节点a的权值w(a)。

根据相似度SIM和图像排名得分R来确定节点a的权值的方法的一个示例性描述如下：

对于一个连通子图的所有节点，首先使用核函数将每个节点的图像排名得分R映射到节点的初始权值wr。核函数

是有限正整数域中的单调性非负函数，例如可以是常数核，线性核，指数核和逆核等。对于任给定的节点a，映射公式例如可以表示如下：

其中，R(a)是节点a对应的图像的图像排名得分；N4是连通子图中节点的总数。

然后计算节点a的权值w(a)如下：

表示为矩阵的形式为：

w＝SIM·wr (8)

为了得到鲁棒的结果，例如可以进行权值迭代，一次迭代的流程如下：

首先，用w来更新权值wr；

随后，使用如下的公式对w进行归一化和迭代：

可以进行多次迭代，以得到节点的权值w。

2.计算连通子图的权重

在一个实施例中，在步骤S1112中，可以使用以下公式来根据节点的权值计算每个连通子图的权重：

其中，w_k,a表示的是第k个连通子图的第a个节点的权重；N_k表示的是第k个连通子图的总节点数。

3.根据连通子图的权重排序

表3给出了对4个连通子图进行排序的结果的示例。

从表3中可以看出，C₄的权重最大，因此排名最高，为第一候选。C₂的权重仅次于C₄，为第二候选，以此类推。

表3.根据权重对各个连通子图排序的示例

连通子图	权重	排序
			C<sub>1</sub>	3.2	rank3
C<sub>2</sub>	9.4	rank2
			C<sub>3</sub>	2.5	rank4
C<sub>4</sub>	10.0	rank1

应注意，在第七实施例和第八实施例中描述的对连通子图进行排序的方法仅仅是示例性的。在实际应用中，可以使用任何合适的方法对连通子图进行排序。例如，可以根据连通子图中节点之间的相似度和节点数的组合(例如加权求和)的结果对连通子图进行排序，或者使用任何其他方法。

第九实施例

在本实施例中，将详细描述在第一实施例的步骤S116中使用置信度和排序信息来搜索图像集合中的图像的方法。

图12A示出根据本实施例的根据置信度和排序信息来进行图像搜索的方法的示例的流程图。

如图12A所示，在步骤S1201中，获得排序的连通子图和置信度。

随后，在步骤S1202中，找到第一候选连通子图。

随后，在步骤S1203中，判断第一候选连通子图的置信度是否大于置信度阈值。如果是，则前进到步骤S1204；如果否，则前进到步骤S1205。置信度阈值例如可以通过经验或实验得到。

在步骤S1204中，将第一候选连通子图保存为搜索结果，并结束处理。

在步骤S1205中，对于置信度小于置信度阈值的连通子图进行后处理。

第十实施例

在本实施例中，将详细描述在第九实施例的步骤S1205中的后处理方法。

优选地，后处理包括，在连通子图中移除来自合影图像中的对象。

图13示出了根据本实施例的后处理的一个示例的流程图。

如图13所示，在步骤S1301，找到第一候选连通子图。

随后，在步骤S1302，判断连通子图中的节点所在的图像是否是合影图像。如果是，则前进到步骤S1303；如果不是，则结束处理。

在步骤S1303，移除合影图像。

随后，在步骤S1304，保存移除了合影图像之后的连通子图，即获得图像搜索的结果。

由此获得的连通子图由于没有合影图像中的对象，因此有效地提高了搜索准确度。

可替代地，在步骤S1303之后，不执行步骤S1304，而是可以根据需要，使用在本公开的各个实施例中所描述的方法重新进行图像搜索，以获得更加准确的搜索结果。

第十一实施例

与第十实施例中不同，在本实施例中，后处理包括：重新构建连通子图以执行搜索。例如，在第一实施例的步骤S112中，可以对于图像集合中的来自仅包含一个对象的图像的对象之间的相似度赋予较大的加权值。

图14示出了根据本公开的实施例的后处理的另一方法的示例。

如图14所示，在步骤S1401中，获得图像集合。

在步骤S1402中，计算图像中的任何两个对象之间的相似度，得到相似度矩阵。

在步骤S1403中，对于图像集合中的来自仅包含一个对象的图像的对象之间的相似度赋予较大的加权值(例如，1.1倍)以修改相似度矩阵。

随后，在步骤S1404中，将修改后的相似度与经过调整的较高的阈值(例如，1.1倍)比较，从而构建连通子图。

注意，阈值的调整方式可以与相似度加权值的调整方式相同或不同，或者可以根据需要使用任何合适的方法来调整阈值和加权值。

随后，在步骤S1405中，使用所构建的连通子图重新进行图像搜索。

附加地或可替代地，可以对于图像集合中的来自包含多于一个对象的图像(合影图像)的对象之间的相似度赋予较小的加权值(例如0.9倍)。

通过以上方法，可以有效地抑制图像集合中的合影图像中的误识别对搜索结果准确度的影响。

第十二实施例

与第十实施例和第十一实施例不同，在本实施例中，后处理包括断开排序最高的连通子图中的桥连接。

首先定义桥的概念。对于第一候选连通子图G，其边的集合定义为E。如果有边集E1，使图G中删除了E1中的所有边后的子图是不连通的，而删除了E1中的任一个真子集后得到的子图是连通的，则称E1是G的一个边割集。若某一个边构成了一个边割集，则称该边为桥。

图15示出了根据本公开的实施例的后处理的方法的又一示例的流程图。

如图15所示，在步骤S1501中，断开排序最高的连通子图中的桥连接，得到互不相通的多个连通子图。

在步骤S1502中，对在步骤S1501中所获得的多个连通子图进行排序，找到第一候选连通子图。

优选地，使用根据本公开的各个实施例中所描述的排序方法来对多个连通子图进行排序。

在步骤S1503中，将排序得到的第一候选连通子图(排序最高的连通子图)作为搜索结果保存。

通过这种方法，可以有效地减少噪声图像(例如合影图像)中的对象的干扰，得到更准确的搜索结果。

第十三实施例

在本实施例中，将详细描述在第一实施例的步骤S116中使用置信度和排序信息来搜索图像集合中的图像的另一方法。

与第九实施例不同，在本实施例中，根据排序信息获得第一候选连通子图，根据在置信度计算中所使用的边得分和/或节点得分对第一候选连通子图进行分类，使用分类结果进行图像搜索。

图12B示出根据本实施例的根据置信度和排序信息来进行图像搜索的另一方法的示例的流程图。

如图12B所示，在步骤S1211，获得排序的连通子图。

随后，在步骤S1212，根据对各个连通子图的排序结果，找到第一候选连通子图。

随后，在步骤S1213，计算第一候选连通子图的边得分和/或节点得分。

优选地，可以使用本公开的公式(2)来计算边得分，使用公式(3)来计算节点得分，但不限于此。

随后，在步骤S1214，使用分类器对图像集合进行分类。

在一个实施例中，可以根据第一候选连通子图的节点得分和边得分，把输入的图像集合分为四个类别，如图12C所示。

类别1(易分集合1221):在该类别的图像中，代表真实对象的节点能够通过边来稠密地相连，形成最大的连通子图，而代表噪声图片中的对象的节点则连接得相当稀疏(互相之间较少有连接)。

类别2(多重身份集合1222)：在该类别的图像中，可能形成两到三个主要的连通子图。该类别的一个典型的例子就是搜索乐队的一个成员，一般来说，乐队的全部成员很可能频繁地出现在同一张照片中。这样，可能出现很多相似的连通子图。

在这种情况下，优选地，可以采用本公开第十一实施例的方法进行去噪，也就是说，可以对于图像集合中的来自仅包含一个对象的图像的对象之间的相似度赋予较大的加权值。

类别3(弱连接集合1223)：在该类别的图像中，虽然只形成一个主要连通子图，但这个连通子图的节点并没有由边稠密地相连。导致这种情况的原因有两个。首先，节点可能来自合照照片，其中所有小面孔看起来都相似。其次，两个小的连通子图恰巧由一个“桥”连接，从而形成一个大的连通子图。在这种情况下，可以采用本公开第十实施例和第十二实施例的方法进行去噪。

类别4(分散集合1224)：在该类别的图像中，几乎所有节点都是分散的(互相之间较少有连接)。因此，可以直接移除该类别的图像。这里，类别1被称为干净(clear)集合；类别2、类别3以及类别4被统称为粗糙(rough)集合。

在另一实施例中，由于经过本公开的公式(9)的多次迭代后，绝大部分的类别2和类别3会转变成类别1或者转变成类别4。所以，优选地，可以使用分类器(如SVM)把输入的图像集合分为两类：类别1以及非类别1。这里，类别1被称为干净集合；非类别1被称为粗糙集合。

随后，在步骤S1215，根据分类结果进行搜索处理。

优选地，对于干净集合，选择第一候选连通子图作为搜索结果。对于粗糙集合，可以选择第一候选连通子图作为搜索结果，或者可以去除一定比例的数据(例如图像)后作为搜索结果。例如，可以去除分数最低的60％的图像。优选地，这里的分数可以是例如由公式(4)或公式(6)所确定的节点的权值，或者可以是由搜索引擎提供的图像排名得分，但不限于此。

在本实施例中，通过对连通子图进行分类，并且基于连通子图的类别进行不同的去噪处理和搜索处理，可以有效地去除各种噪声图像，得到非常准确的搜索结果。

第十四实施例

在本实施例中，将描述一种图像搜索方法。该图像搜索方法包括：根据标签将图像集合划分为多个组，其中每个组中的图像具有相同的标签；以及，使用根据本公开的实施例中的任何一个或任何组合的方法来进行图像搜索。

图16示出了根据本公开的实施例的图像搜索方法的示例的流程图。

如图16所示，在步骤S1601中，根据标签将图像集合划分为多个组。随后，在步骤S1602中，使用根据本公开的实施例中的任何一个或任何组合的方法来进行图像搜索。

应注意，根据本公开的各个实施例的方法的步骤不一定以示出的顺序执行，而是可以并行执行或以其他顺序执行。

第十五实施例

如图17所示，在本实施例中，描述了一种图像搜索设备1700。该设备1700包括：用于获得图像集合的图像获得装置1701，用于计算图像集合中任何两个对象之间的相似度的相似度计算装置1702，用于根据所计算的相似度和给定的相似度阈值来构建图像集合中的对象的连通子图的连通子图构建装置1703，用于至少使用连通子图的边的信息来计算各个连通子图的置信度的置信度计算装置1704，用于对连通子图进行排序以获得排序信息的排序装置1705，以及用于使用置信度和排序信息来搜索图像集合中的图像的搜索装置1706。

以上第十五实施例描述的设备是用于实施本公开中描述的方法的示例性和/或优选的设备。这些设备可以实现与对应方法类似的效果。这些设备可以是硬件单元(诸如场可编程门阵列、数字信号处理器、专用集成电路或计算机等)和/或软件装置(诸如计算机可读程序)。以上并未详尽地描述用于实施各个步骤的装置。然而，只要有执行某个处理的步骤，就可以有用于实施同一处理的对应的装置(由硬件和/或软件实施)。通过所描述的步骤以及与这些步骤对应的装置的所有组合限定的技术方案都被包括在本公开的公开内容中，只要它们构成的这些技术方案是完整并且可应用的。

此外，由各种装置构成的上述设备可以作为功能模块被并入到诸如计算机之类的硬件装置中。除了这些功能模块之外，计算机当然可以具有其他硬件或者软件部件。

第十六实施例

图18是示出能够实施本公开的实施例的计算机系统的硬件配置的框图。

如图18中所示，计算机系统包括经由系统总线1804连接的处理单元(处理器)1801、只读存储器1802、随机存取存储器1803和输入/输出接口1805，以及经由输入/输出接口1805连接的输入单元1806、输出单元1807、存储单元1808、通信单元1809和驱动器1810。程序可以预先记录在作为计算机中内置的记录介质的ROM(只读存储器)1802或者存储单元1808中。或者，程序可以存储(记录)在可移除介质1811中。在本文中，可移除介质1811包括例如软盘、CD-ROM(压缩光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等。

输入单元1806用于输入用户请求并被配置有键盘、鼠标、触摸屏、麦克风、摄像头等。另外，输出单元1807配置有LCD(液晶显示器)、扬声器等。

通信单元1809可以例如是无线通信单元，包括至少一个收发器模块和定位模块。收发器模块用于向远程服务器发送请求并从远程服务器接收响应。定位模块例如是GPS模块，用于获取位置。

存储单元1808或ROM 1802存储图像、音频等等。RAM 903可以存储临时状态信息和中间计算结果。

此外，除了通过驱动器1810从以上提到的可移除介质1811把程序安装到计算机系统的配置之外，可以通过通信网络或广播网络把程序下载到计算机系统以安装在内置存储单元1808中。换言之，可以例如以无线方式通过用于数字卫星广播的卫星从下载点向计算机系统或者以有线方式通过诸如LAN(局域网)或互联网等的网络向计算机系统传输程序。

如果通过对输入单元1806的用户操控等、经由输入/输出接口1805向计算机系统输入了命令，则CPU 1801根据命令来执行ROM 1802中存储的程序。或者，CPU 1801把存储单元1808中存储的程序加载在RAM 1803上以执行程序。

因此，CPU 1801执行根据以上提到的流程图的某些处理或者通过以上提到的框图的配置执行的处理。接下来，如果有必要，则CPU 1801允许处理的结果例如通过输入/输出接口1805从输出单元1807输出、从通信单元1809传输、在存储单元1808中记录等。

另外，程序可以由一个计算机(处理器)执行。另外，程序可以由多个计算机以分布式的方式处理。另外，可以把程序传输给远程计算机执行。

图18所示的计算机系统仅仅是说明性的并且决不意图对本公开、其应用或用途进行任何限制。图18所示的计算机系统可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理系统，可以移除一个或更多个不必要的组件，也可以向其添加一个或更多个附加的组件。

在一个示例中，计算机系统实施为用于图像搜索的设备。该设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序当被处理器执行时能够使所述设备执行根据本公开的实施例所述的方法。

可以通过许多方式来实施本公开的方法和设备。例如，可以通过软件、硬件、固件、或其任何组合来实施本公开的方法和设备。上述的方法步骤的次序仅是说明性的，本公开的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例中，本公开还可以被实施为存储在计算机可读存储介质中的计算机程序。计算机程序当被处理器1801执行时能够使处理器1801执行根据本公开的任何实施例或实施例的任何组合的方法。因而，本公开还覆盖存储用于实现根据本公开的方法的计算机程序的计算机可读存储介质。

虽然已通过示例详细描述了本公开的一些具体实施方式，但是本领域技术人员应当理解，上述示例仅是说明性的而不限制本公开的范围。本领域技术人员应该理解，上述实施例可以被修改而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。