具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

一种面向素描图进行照片快速检索的方法，包括：采集素描图；将素描图 输入训练好的素描图检索模型，输出与输入的素描图相关度满足设定条件的照 片。

如图1所示，本实施例所提出的面向素描图进行照片快速检索的方法的流 程图，其包含四个部分：1)特征提取网络；2)对抗网络；3)三元组网络；4) 分类网络；5)相关度度量。

1.特征提取网络

素描图检索模型包括特征提取网络，用于提取输入的素描图的图像特征； 采用DenseNet-169作为每个分支中的权重共享特征提取器，记作F()，其包含四 个以密集方式连接的卷积块。

2.对抗网络

素描图检索模型包括对抗网络，用于逐步减少域信息和角度信息，包括一 个域对抗子网络和一个角度对抗子网络。每个子网络均设置一个判别器来同特 征提取器做对抗训练，并通过以下两个步骤进行优化：1)利用分类任务训练判 别器；2)使用该判别器来优化特征提取器。

对抗网络的对抗损失L_A表示为：

其中，表示域对抗子网络的损失，表示角度对抗子网络的损失。

2.1域对抗子网络

首先利用域对抗子网络(domain adversarial sub-network)对来自两个领域的图像对齐特征分布。域对抗子网络的输入为带标签的图像，输出为判定其是素 描图的概率，通过判别器和特征提取器的对抗训练，过滤域敏感特征，获取域 不变的特征表示。

为了避免提取的特征含有域间干扰，该网络去除域相关信息，包括色调、 纹理等。其判别器的训练具体包括以下两个步骤：

域对抗子网络通过域判别器区分输入特征来自哪个特定域，通过训练好的 域判别器来降低特征提取器对特定领域信息的关注；

域判别器训练：训练域判别器D()用来区分输入特征来自哪个特定域，其目 标函数表示为：

其中，L_D表示域判别器在对抗学习中的损失，D()的输出为判定输入图像为 素描图的概率，F()表示特征提取器，N_s表示选取的素描图总数，x_i ^s表示选取的 素描图中第i个人的素描图，相应的，N_p表示选取的照片总数，x_j ^p表示选取的 照片中第i个人的照片。

干扰过滤：使用训练好的判别器来降低特征提取器对特定领域信息的关注； 给定输入特征F(x^S)、F(x^p)以及D()，特征提取器的目标函数表示如下：

D(F(x))表示x属于素描图的概率，1-D(F(x))则表示x属于照片的概率。

2.2角度对抗子网络

构建角度对抗子网络(pose adversarial sub-network)来避免多角度特征提取的干扰，并为三元组网络和分类网络设计改进过的三元组损失和联合分类损失， 分别用于跨模态特征和缩小素描-照片对之间的距离；角度对抗子网络充当分类 器，在预处理阶段对不同的拍摄视角进行分类，然后通过多类对抗损失优化特 征提取器。

为了避免不同拍摄视角造成的干扰，本实施例直接在特征级上移除角度变 化，利用有效的对抗学习方法来代替复杂不稳定的生成过程。角度对抗子网络 充当分类器，先根据标签进行角度分类，然后通过我们设计的多类对抗损失对 特征提取器进行优化。

角度分类器训练：

角度对抗子网络通过角度分类器区分标记的拍摄视角，在给定提取特征 F(x)及角度标签x的情况下，使用如下的交叉熵损失来训练角度分类器C：

其中，表示姿态分类器损失，C()的输出为分类器具体的预测结果，N_j是 带有姿态标签O_j的人物图像数量，x_i ^oj代表相应的姿态聚类。该损失能够达到区 分每张照片和素描图拍摄角度的目的。

干扰过滤：为了减少不同拍摄视角的干扰，让提取到的特征F(x)尽可能不 去关注角度信息，目标函数如下所示：

其中，F( )代表特征提取器，C()的输出为分类器具体的预测结果，C_j(F(x)) 和1-C_j(F(x))分别是图像属于和不属于第j姿态的概率。

3.三元组网络

本实施例对原有三元组损失进行了改进，通过扩大类间的相对距离同时缩 小类内的相对距离来提高特征的鉴别力。通常，图片三元组包括一个正示例， 一个负示例和一个锚示例。在现有的跨模态研究中，锚示例和正示例通常从不 同域中提取以避免域间差异，但这一做法不利于跨模态特征对齐和图像检索。 为此，本实施例基于对抗网络，将三元组设置为域和角度的任意组合。其中， 锚示例和正示例共享相同的身份。最终，三元组损失计算如下：

其中，L_tri表示改进后的三元组损失，E()表示欧几里得距离函数，图像三 元组(A，P，N)由正示例P、负示例N以及锚示例A组成，Δ代表三元组中正 示例和负示例的差值。改进后的三元组损失，通过扩大类间的相对距离和缩小 类内的相对距离，提高对特征的判别能力；同现有的三元组损失相比，更具合 理性和解释性。

4.分类网络

本实施例引入分类网络来优化具有相同身份的图像之间的距离，使其更加 紧凑。为此使用组合分类损失，包括softmax损失、非欧角度损失以及中心损失 (center loss)。完整的函数如下所示：

L_C＝γ₁L_soft+γ₂L_sphe+γ₃L_center (7)

其中，L_C表示总的分类损失，γ₁∈(0，1)是分类网络中softmax损失项L_soft对 应的协调权重，γ₂∈(0，1)是分类网络中非欧角度损失项L_sphe对应的协调权重， γ₃∈(0，1)是分类网络中中心损失项L_center对应的协调权重。

5.相关度度量

为了衡量本模型在Sketch Re-ID数据集上的性能，我们采用Top-k检索精度(rank1,rank5,rank10和rank20)。它表明了给定探针出现在top k的实际匹配度。 实验时，我们将十次测试的平均精度作为最终精度。

6.实施效果

为了评估本实施例，选择Sketch Re-ID这一数据集来展示其实施效果，其 中每个主体都对应一张素描图和两张照片。

图2显示了照片检索任务在Sketch Re-ID上的结果。由此可以看出，本申 请技术方案(DFD模型，判别性特征去相关网络模型)对获得角度不变的特征 和优化特征分布是有意义的，并取得了目前最优的性能。

图3列出了DFD模型具体的一些检索结果。粗线框内为搜索结果，其中， (a)是有角度对抗学习的检索结果，(b)是无角度对抗学习的结果。显然，本 实施例可以很好地关注身份敏感信息和角度不变信息。在没有角度对抗学习的 情况下，当不同人的拍摄角度差异很小时，对应的素描特征间的距离更小。这 表明原有的模型在过滤相关信息方面没有得到很好的训练。而DFD模型则不存 在这种现象。

本实施例利用生成器和判别器的对抗学习，最终解决了根据素描图检索对 应照片的问题；通过在特征层面上过滤来自不同领域、不同角度的干扰来提取 判别性的跨域特征，极大地提高了检索的准确性。

实施例二：

基于实施例一所述的面向素描图进行照片快速检索的方法，本实施例提供 一种面向素描图进行照片快速检索的系统，包括：数据采集模块，用于采集素 描图；素描图检索模块，用于将素描图输入训练好的素描图检索模型，输出与 输入的素描图相关度满足设定条件的照片。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变 形，这些改进和变形也应视为本发明的保护范围。