具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请旨在提出一种通过全局搜索预筛第一相似图像集，并基于第一相似图像和待搜索图像的局部图像，利用局部搜索的方式获取待搜索图像和第一相似图像的相关性高的匹配特征关键点，基于匹配特征关键点的数量最终从第一相似图像集中确定相似度更高的第二相似图像的技术方案。在实现时，通过将待搜索图像利用改进的全局搜索网络进行初步的筛选，得到若干第一相似图像组成的第一相似图像集；再获取待搜索图像的局部图像，将局部图像和第一相似图像利用改进的局部特征提取网络进行局部搜索，并确定每一相似图像上代表匹配相关性的匹配特征关键点，最终基于匹配特征关键点的数量排序确定相似度更高的第二相似图像。

本申请实施例提供了一种以图搜图方法，结合全局搜索和局部搜索的方式获取和待搜索图像相似度高的相似图像，具体地，参考图1，所述方法包括：

获取待搜索图像；

获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合；

获取所述待搜索图像的局部图像，将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点；

依据每一所述第一相似图像的所述匹配特征关键点的数量确定至少一第二相似图像。

在本方案中，首先将待搜索图像和历史图像集合中的历史图像进行全局搜索后，从所述历史图像集合中预筛和所述待搜索图像相似度高的至少一历史图像作为第一相似图像；随后再利用所述待搜索图像的局部图像和所述第一相似图像进行局部搜索，获取每一所述第一相似图像的匹配特征关键点，再通过所述匹配特征关键点的数量，确认最后输出的第二相似图像。

“获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合”步骤包括：获取所述待搜索图像的第一特征向量；获取所述历史图像集合的每一历史图像的第二特征向量；比对第一特征向量和每一所述历史图像的所述第二特征向量的相似度，获取相似度高的至少一所述第二特征向量对应的所述历史图像作为所述第一相似图像。

值得一提的是，本方案的历史图像和待搜索图像进行全局特征的比对，在该步骤中通过基于全局特征的以图搜图方法进行第一相似图像集合的预筛。本方案中可利用常规的深度学习特征提取网络进行图像特征的提取，也可利用本方案改进的深度学习特征提取网络进行图像特征的提取。

本方案的改进的深度学习特征提取网络的改进要点在于：将传统深度学习特征提取网络在训练过程中的阶跃函数替换为双曲正切函数。这样的好处在于可使得深度学习特征提取网络在训练过程中可利用双曲正切函数不断进行梯度优化，调整相似度排序错误的训练样本，且可在训练过程中有效地缓和梯度消失的问题，使得训练的模型更加的准确。传统的阶跃函数存在不可微，不具备梯度优化的能力，难以对排序错误的样本进行学习调整的缺陷；而阶跃函数可对算法的排序结果进行优化。

为了区分该改进的深度学习特征提取网络和传统的深度学习特征提取网络，本方案将改进的深度学习特征提取网络定义为全局特征提取网络。

对应的，“获取所述待搜索图像的第一特征向量；获取所述历史图像集合的每一历史图像的第二特征向量”包括：将所述待搜索图像输入全局特征提取网络获取所述第一特征向量；将所述历史图像集合的每一所述历史图像输入全局特征提取网络中获取所述第二特征向量，所述全局特征提取网络在训练时的损失函数被替换为双曲正切函数。

所述双曲正切函数作为一种损失函数可用于调节全局特征提取网络的参数，其中，所述双曲正切函数作为与当前全局特征提取网络的输出和与所述待训练点云数据对应的标签数据之间的偏差，所述当前输出为与当前待训练点云数据以及所述深度学习特征提取网络的当前参数对应的所述深度学习特征提取网络的输出，可以通过不断地调整全局特征提取网络的参数来优化全局特征提取网络。

所述全局特征提取网络通过大量的训练图像进行训练得到，具体的训练步骤与常规的深度学习特征提取网络的训练并无差异，故本方案在此不再进行过多的阐述说明。

在本方案的实施例中，所述全局特征提取网络使用AP（平均准确率averageprecision）作为全局特征提取算法的度量标准，AP是通过准确率-召回率曲线的面积表示，本方案的AP被优化后的公式如下：

；

所述全局特征提取网络的损失函数为：

SoftAP=1 - AP _query 。

其中AP _query 表示查询的图像的平均准确率，C、C_P和C_N分别表示所有样本的相似度 值的集合、正样本相似度值的集合和负样本相似度值的集合，表示C_P集合中正样本的 个数，T(x ;σ)为双曲正切函数。且双曲正切函数的公式如下：

。

全局特征提取网络中的损失函数会根据样本排序的顺序来进行准确性的加权计算，排序越靠前的样本，对于算法准确率的影响就越大，在训练过程中每次排序结果会依据计算样本的相似度排序顺序，并根据样本的真实标签，计算排序样本的损失值，错误样本排序越靠前，损失就会越大，算法就会调整相应的参数，直到模型参数较优，损失足够小，训练终止。

在本方案实施例中，全局特征提取网络可选择为ResNet50的网络结构。

如图2所示，图2是本方案的以图搜图方法的逻辑框架示意图。为了进一步地提高第一相似图像的检索效率，本方案可首先构建存储所述历史图像集合的第二特征向量的数据库，这样的好处在于：在每次检索待搜索图像时，不要再重复提取所述历史图像集合的第二特征向量，仅需将所述第一特征向量和所述数据库已存储的第二特征向量比对即可。

对应的，“获取所述历史图像集合的每一历史图像的第二特征向量”包括步骤：将所述历史图像集合的每一所述历史图像输入全局特征提取网络中获取所述第二特征向量，将所述第二特征向量记录数据库内，且所述数据库内记录每一所述历史图像的图像信息。其中图像信息包括：所述历史图像的本地目录路径、名称、索引序号等信息。此时，可直接将所述待搜索图像的所述第一特征向量和所述数据库中的所述第二特征向量进行比对。

“比对第一特征向量和每一所述历史图像的所述第二特征向量的相似度”包括：计算所述第一特征向量和所述第二特征向量的余弦相似度。若余弦相似度越高，则表示所述第一特征向量和所述第二特征向量越相似。值得说明的是，本方案提及的“相似度高”指的是待搜索图像和历史图像具有更多相同特征点的情况。也就是，获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像指的是：选择图像特征接近于所述待搜索图像的图像。

“获取相似度高的至少一所述第二特征向量对应的所述历史图像作为所述第一相似图像”包括：依据相似度自高至低排序所述历史图像，选择排序靠前的所述历史图像作为所述第一相似图像。示例性的，可选择相似度高的前10位的所述第二特征向量对应的所述历史图像作为所述第一相似图像，并组成第一相似图像集合。

在本方案中，截取所述待搜索图像的局部图像，以该局部图像作为基准进行相似图像的二次筛选。所述待搜索图像的局部图像优选可以是涵盖关键部位的局部图像。示例性的，如图3所示，左图的货车为待搜索图像，选择货车的文字标识所在区域为所述局部图像。

另外，特别说明的是，本方案在截取完局部图像后并不直接提取局部特征，而是对局部图像采用周围填充的策略进行数据预处理，将局部图像填充到与原图像相同的尺度，解决算法输入数据需要尺度缩放导致数据失真的问题。对应的，“获取所述待搜索图像的局部图像”包括：截取所述待搜索图像的局部区域图像，填充所述局部区域图像的尺寸至所述待搜索图像的尺寸。也就是说，所述局部图像的尺寸相同于所述待搜索图像的尺寸，所述局部图像中涵盖截取的局部区域图像。

在填充所述局部图像时，优选能与所述局部图像的背景区分开来的背景色进行填充。

在本方案中，所述局部特征提取网络用于提取每一所述相似图像和所述局部图像的匹配特征关键点。

所述局部特征提取网络的结构如图4所示，所述局部特征提取网络包括局部特征提取器、特征位置编码器、自注意与交叉注意力模块、特征匹配器以及特征匹配点筛选模块；其中局部特征提取器用于提取所述局部图像的第一局部图像特征图以及所述第一相似图像的第一相似图像特征图；所述特征位置编码器用于获取所述第一局部图像特征图的第一局部图像特征图向量以及所述第一相似图像特征图的第一相似图像特征图向量；所述自注意与交叉注意力模块采用自注意力和交叉注意力双重注意的方式对输入的所述第一相似图像特征图向量和所述第一局部图像特征图向量进行加权处理，得出第二相似图像特征图向量和第二局部图像特征图向量；所述特征匹配器用于获取所述第二相似图像特征图向量和所述第二局部图像特征图向量的第一匹配点；所述特征匹配点筛选模块用于基于所述第一匹配点的位置获取第一局部图像特征图的局部图像区域特征图，以及第一相似图像特征图的相似图像区域特征图；所述局部图像区域特征图和相似图像区域特征图再次输入自注意与交叉注意力模块中获取第三局部图像特征图向量和第三相似图像特征图向量，计算第三局部图像特征图向量和第三相似图像特征图向量的相关性，获取相关性高的关键点作为匹配特征关键点。

具体的，“将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点”包括：获取所述局部图像和所述第一相似图像的第一匹配点，依据所述第一匹配点的位置提取所述局部图像的局部图像区域特征图，依据所述第一匹配点的位置提取所述第一相似图像的相似图像区域特征图，获取所述局部图像区域特征图和所述相似图像区域特征图的匹配特征关键点。

其中所述第一匹配点为所述局部图像和所述第一相似图像上相匹配的关键点，所述第一匹配点包含不同的局部领域信息。具体的，“获取所述局部图像和所述第一相似图像的第一匹配点” 进一步包括：提取所述局部图像的第一局部图像特征图向量，提取所述第一相似图像的第一相似图像特征图向量，将所述第一局部图像特征图向量和所述第一相似图像特征图向量输入自注意与交叉注意力模块中进行双重注意力权重加权，分别输出第二局部图像特征图向量和第二相似图像特征图向量；获取所述第二相似图像特征图向量和所述第二局部图像饿特征图向量匹配的得分矩阵，并基于所述得分矩阵获取所述第一匹配点。

进一步的，“提取所述局部图像的第一局部图像特征图向量”包括：利用局部特征提取器提取所述局部图像的第一局部图像特征图，对所述第一局部图像特征图上每个特征点进行位置编码，获取第一局部图像特征图向量。

相同的，“提取所述第一相似图像的第一相似图像特征图向量”包括：利用局部特征提取器提取所述第一相似图像的第一相似图像特征图，对所述第一相似图像特征图上每个特征点进行位置编码，获取第一相似图像特征图向量。

在本方案中，所述局部特征提取器采用restNet18结合FPN构建得到，该所述局部特征提取器在训练时采用对输入图像进行随机变换的方式，增强提取的图像特征以提高尺度变换的适应能力。

本方案采用特征位置编码器对特征点的位置进行编码。具体的，在本方案中采用正弦函数分别对所述第一相似图像特征图和所述第一局部图像特征图上的每个特征点进行位置编码，得到D维的第一局部图像特征图向量和第一相似图像特征图向量。特征位置编码器的编码公式如下所示：

其中f为图像特征点，i是向量的一个维度。

“将所述第一局部图像特征图向量和所述第一相似图像特征图向量输入自注意与交叉注意力模块中进行双重注意力权重加权，分别输出第二局部图像特征图向量和第二相似图像特征图向量”中的自注意与交叉注意力模块的主要作用在于：让特征反复在图片内和图片间的特征之间产生联系，采用消息机制更新下一个节点的权重，每个节点的权值等于上一层它自己的权值与它邻近节点的权重。也就是说，所述自注意力与交叉注意力模块利用所述第一局部图像特征图和所述第一相似图像特征图之间的关系，并基于权重更新的方式更新所述第一相似图像特征图向量得到所述第二相似图像特征图向量，更新所述第一局部图像特征图向量得到所述第二局部图像特征图向量。

具体的，如图5所示，权重更新的逻辑原理如下：

输入为要更新节点和它的两个邻近节点，三个节点先通过各自对应的MLP层神经网络线性映射为D维的query向量,key向量和value向量，query向量和key向量再通过softmax函数获得更新节点与相邻节点的之间的权重分布，再用该权重分布乘以value向量的权值就得到了相邻节点对查询节点的特征聚合部分，再与查询节点本身拼接成Dx2维度的向量，经过一个MLP层降到D维，再与更新节点的原权值求和获得最终更新后的权值。以此方式不断循环每个特征节点，最终得到被调整过权重的第二局部特征图向量和第二特征图向量。

“所述第二相似图像特征图向量和所述第二局部图像特征图向量匹配的得分矩阵，并基于所述得分矩阵获取所述第一匹配点”中，包括：计算所述第二相似图像特征图向量和所述第二局部图像特征图向量的矩阵内积获取所述得分矩阵，依据置信度阈值筛选所述得分矩阵得到所述第一匹配点。

在本方案中采用softmax矩阵的行和列的两个维度对所述第二相似图像特征图向量和所述第二局部图像特征图向量分别进行计算，最后再相乘获得得分矩阵，计算公式如下所示：

其中conf_matrix为得分矩阵。

另外值得说明的是：本方案中的所述得分矩阵涵盖两个图像特征匹配的值，所述得分矩阵在不同的维度是具有表达差异性的，包含了不同的局部邻域信息。

“依据所述第一匹配点的位置提取所述第一相似图像的相似图像局部特征图”包括步骤：基于所述第一匹配点获取所述第一相似图像的第一相似图像特征图向量的相似图像局部特征图。

相同的，“依据所述第一匹配点的位置提取所述局部图像的局部图像区域特征图”包括步骤：基于所述第一匹配点获取所述局部图像的第一局部图像特征图的所述局部图像区域特征图。关于第一相似图像特征图和第一局部图像特征图的定义和获取方法如前所述，在此不做过多说明。

“获取所述局部图像区域特征图和所述相似图像区域特征图的匹配特征关键点”包括：将所述局部图像区域特征图和所述相似图像区域特征图输入自注意与交叉注意力模块中进行双重注意力权重加权，分别输出第三局部图像特征图向量和第三相似图像特征图向量，计算所述第三局部图像特征图向量和所述第三相似特征图向量的相关性，筛选相关性高的点作为所述匹配特征关键点。

值得说明的是，所述局部图像区域特征图上的每个特征点进行位置编码得到局部图像区域特征图向量，所述相似图像区域特征图上的每个特征点进行位置编码得到相似图像区域特征图向量，将局部图像区域特征图向量和相似图像区域特征图向量输入到自注意与交叉注意力模块中进行处理后，得到第三局部图像特征图向量和所述第三相似图像特征图向量。自注意与交叉注意力模块的具体结构如前所述，故此不再累赘说明。所述第三局部图像特征图向量和所述第三相似图像特征图向量的权重被更新。

“计算所述第三局部图像特征图向量和所述第三相似图像特征图向量的相关性”包括：计算所述第三局部图像特征图向量和所述第三相似图像特征图向量的响应矩阵图，基于响应矩阵图获取特征点的响应值，选择响应值高的特征点作为匹配特征关键点。在本方案中，可引入傅里叶变换利用卷积定理加快计算过程，且响应值和相关性成正相关，进而可获取最相关的匹配特征关键点。

每一第一相似图像上可能有多个匹配特征关键点，根据所述匹配特征关键点的数量自多至少排序，所述匹配特征关键点的数量越多在表示所述第一相似图像和所述待搜索图像越相似。也就是说，本方案可依据每一所述第一相似图像的所述匹配特征关键点的数量自高至低排序所述第一相似图像，选定排序置于前位的至少一所述第一相似图像作为第二相似图像。值得说明的是，具体第二相似图像到底取多少可以根据预设的特征关键点的数量来筛选。

该以图搜图方法可应用于图像搜索引擎的服务端中，图像搜索引擎获取客户端发送的待搜索图像后，服务端先采用全局特征搜索算法进行图像搜索，获得前M张相似的图像搜索结果，缩小局部搜索算法的查找范围；再对全局特征获取的M张图像进行局部特征的搜索，通过局部特征搜索的关键点匹配分析，最终从M张全局搜索结果中查找出前K张最为相似的图像，作为以图搜图分析的精确结果，推送到查询的页面。

实施例二

基于相同的构思，参考图6，本申请还提出了一种以图搜图装置，包括：

图像获取单元301，用于获取待搜索图像；

全局特征搜索单元302，用于获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合；

局部特征搜索单元303，用于获取所述待搜索图像的局部图像，将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点；

结果获取单元304，用于依据每一所述第一相似图像的所述匹配特征关键点的数量确定第二相似图像。

该以图搜图装置采用如同实施例一的以图搜图方法所示的运行方法，重复内容在此不累赘说明。

实施例三

本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项以图搜图方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种以图搜图方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是各类待搜索图像等，输出的信息可以是第一相似图像以及第二相似图像等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

S101、获取待搜索图像；

S102、获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合；

S103、获取所述待搜索图像的局部图像，将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点；

S104、依据每一所述第一相似图像的所述匹配特征关键点的数量确定至少一第二相似图像。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。