基于多视角和卷积注意力模块的车辆重识别方法和系统
阅读说明：本技术 基于多视角和卷积注意力模块的车辆重识别方法和系统 (Vehicle weight identification method and system based on multi-view and convolution attention module ) 是由 张�浩 鲁统伟 贾世海 唐佳珊 于 2021-07-05 设计创作，主要内容包括：本发明提供了基于多视角和卷积注意力模块的车辆重识别方法和系统,通过加入卷积注意力模块,使得模型能够关注车辆的有效特征,忽略无效特征,提高了模型的辨别能力；通过局部模块中的公共面计算使得模型具有更强的视角抗干扰能力,解决了不同视角下的同一车辆难以辨别问题；实现了对外观相似的车辆和不同视角下的同一车辆进行重识别的功能。本发明结合全局特征表示和局部特征表示模块,使模型能学习到更好的特征信息,增强了网络的特征表达能力,更有效地执行车辆重识别任务。(The invention provides a vehicle weight recognition method and system based on a multi-view and convolution attention module, wherein the convolution attention module is added, so that a model can pay attention to effective characteristics of a vehicle, invalid characteristics are ignored, and the discrimination capability of the model is improved; the model has stronger visual angle anti-interference capability through common surface calculation in the local module, and the problem that the same vehicle at different visual angles is difficult to distinguish is solved; the function of re-identifying the vehicles with similar appearances and the same vehicle under different visual angles is realized. The invention combines the global characteristic representation module and the local characteristic representation module, so that the model can learn better characteristic information, the characteristic expression capability of the network is enhanced, and the vehicle re-identification task is executed more effectively.)
技术领域
本发明属于车辆图像检索技术领域，具体涉及基于多视角和卷积注意力模块的车辆重识别方法和系统。
背景技术
车辆重识别是特定监控场景下跨摄像头的车辆图像检索问题。近年来，随着监控摄像头的增加和智能交通的发展，车辆再识别越来越受到人们的关注。得益于深度学习技术的发展，车辆重识别技术取得了很大的进步。许多优秀骨干网的出现为特征提取奠定了基础，比如ResNet。同时，VeRI776，VERI-Wild等车辆重识别数据集的发布也促进了车辆再识别的发展。
然而，车辆重识别仍然是计算机视觉中一个具有挑战性的任务。首先，区分外观相似的车辆仍然具有很大难度。其次，车辆视角的变化将大大增加车辆再识别的难度。
为了解决相似车辆的重识别难题，研究者们做了大量的工作来提高特征的辨别能力。Liu等人提出了一种从粗到细的渐进检索方法。Liu等人提出了一个区域感知模型，从全局外观和局部细节中学习特征。其中颜色和一些细节线索也用于训练，以区分外观相似的车辆。He等人专注于车窗、车灯和汽车标志等细节。Wang等人使用20个关键点来标记车辆的方向信息，并提出了基于方向的特征提取方法。为了更好的优化模型，triplet loss、center loss、ID Softmaxloss等有效的损失函数被提出。
车辆视角的变化是重识别中的另一个挑战。Zhou等人提出了注意力推理模型。其根据生成对抗网络的思想，设计了一种多视角生成网络来生成车辆视角特征向量。为了应对视角的影响，Zhu等人提出了一种利用四个方向平均池层学习四个方向特征的方法，以提高视角变化的鲁棒性。Lin等人将检索任务分为相同视角下的匹配车辆和不同视角下的匹配车辆。同时，还设计了两个相应的损失函数，来解决因为相机视角变化而带来的重识别困难。
虽然以上方法性能模型提升上都取得了一定的效果，但是并没有将特征表示和应对视角变化有效地结合起来。所以在关注特征有效提取和表示的同时，也应该将视角问题的解决方法融合进去。
发明内容
本发明要解决的技术问题是：提供基于多视角和卷积注意力模块的车辆重识别方法和系统，用于对外观相似的车辆和不同视角下的同一车辆进行重识别。
本发明为解决上述技术问题所采取的技术方案为：基于多视角和卷积注意力模块的车辆重识别方法，包括以下步骤：
S1：从车辆图像数据集中抽取部分车辆图像进行语义标注；通过深度学习分割网络训练标注好的车辆图像得到语义分割模型；将车辆图像数据集中的所有车辆图像输入训练好的语义分割模型进行推理，使每张图像产生一个掩膜Mask；
S2：构建基于多视角和卷积注意力模块的车辆重识别网络，包括共享骨干网络ResNet50的全局特征表示模块和局部特征表示模块，骨干网络ResNet50的瓶颈层bottleneck包括卷积注意力模块CBAM；骨干网络ResNet50将提取的特征和掩膜Mask流入全局特征表示模块和局部特征表示模块；全局特征表示模块将流入的特征进行多种池化、拼接融合、分类；局部特征表示模块对齐流入的特征和掩膜Mask生成不同视角的局部特征，通过公共面计算方法计算不同视角下不同车辆的局部距离；
S3：对全局特征表示模块分类后的特征采用全局损失函数计算全局损失；将局部特征表示模块计算得到的局部距离采用局部损失函数计算局部损失；通过全局损失函数与局部损失函数加权相加得到的总损失函数优化基于多视角和卷积注意力模块的车辆重识别网络；
S4：将车辆图像和对应的掩膜Mask一起输入基于多视角和卷积注意力模块的车辆重识别网络进行训练，经过迭代生成车辆重识别模型并保存；
S5：将待检索的车辆图像输入训练好的车辆重识别模型进行推理，返回车辆检索结果。
按上述方案，所述的步骤S1中，具体步骤为：车辆数据集包括训练集和测试集，测试集包括查询集和图库集；在标注图像时，用不同颜色标注车辆的包括前部、后部、侧部、顶部的不同视角；采用深度学习分割网络U-Net训练标注好的图像。
进一步的，所述的步骤S2中，具体步骤为：
S21：骨干网络ResNet50提取特征并将特征和掩膜Mask流入全局特征表示模块和局部特征表示模块；
S22：卷积注意力模块CBAM包括通道注意力模块和空间注意力模块按顺序加入骨干网络ResNet50的瓶颈层bottleneck中，作为全局特征表示模块和局部特征表示模块的共享主干网络增强模型的区别能力；
S23：全局特征表示模块将流入的特征分别进行全局最大池化和全局平均池化，然后将两种池化后的特征按照维度方向拼接融合并分类；
S24：局部特征表示模块将通过骨干网络ResNet50提取的特征和掩膜Mask进行特征对齐；设骨干网络ResNet50提取的特征为F(m，n)，掩膜Mask为{Si|i∈{1，2，3，4}}，i的不同取值分别表示车辆的包括前部、后部、侧部、顶部的不同视角，则分别生成车辆的包括前部、后部、侧部、顶部的不同视角的局部特征Fi为：
S25：局部特征表示模块通过掩膜Mask计算车辆的包括前部、后部、侧部、顶部的不同视角的得分ai：
通过视角得分计算车辆图像x与车辆图像y的公共面得分
设欧式距离为D，根据公共面得分和步骤S24得到的局部特征Fi计算两个车辆之间的局部距离
进一步的，所述的步骤S3中，具体步骤为：
在全局特征表示模块中使用交叉熵损失和中心损失；在局部特征表示模块中使用三元组损失；设锚anchor与正样本的局部距离为锚anchor与负样本的局部距离为边缘系数为α，将函数max(0，·)表示为[·]+，则总损失函数为：
进一步的，所述的步骤S4中，具体步骤为：
S41：将训练集的车辆图像和对应的掩膜Mask输入基于多视角和卷积注意力模块的车辆重识别网络，指定训练的迭代次数，分批次进行训练；
S42：在训练中选择Adam算法作为优化器，使用批训练方法，单次训练的样本数batch size为64，训练轮数epoch为140；
S43：采用多步学习速率调整策略，设[0，20]、[20，50]、[50，90]、[90，140]个epoch的学习速率分别为3.5e-5、3.5e-4、3.5e-5、3.5e-6；
S44：将所有输入的车辆图像随机裁剪到256×256，并采用随机亮度和随机擦除的方法增强数据；
S45：生成车辆重识别模型并保存最优的模型结果。
进一步的，所述的步骤S5中，具体步骤为：
S51：根据欧氏距离计算待检索的车辆图像的全局特征与训练集的车辆图像的全局特征之间的全局距离Dglobal；
S52：根据步骤S25得到的计算局部距离Dlocal；
S53：设权重系数为λ1和λ2；则待检索的车辆图像的特征与训练集的车辆图像的特征之间的总距离为：
Dtotal＝λ1Dglobal+λ2Dlocal。
基于多视角和卷积注意力模块的车辆重识别系统，包括依次连接的数据预处理模块、训练模块、推理模块；数据预处理模块用于挑选部分数据训练语义分割网络，生成图像对应的掩膜Mask；训练模块用于搭建网络模型，输入训练图像和掩膜Mask训练模型，经过给定次数的训练后得到最优模型；推理模块用于输入待检索的车辆图像，输出检索结果图像。
进一步的，训练模块包括骨干网络ResNet50，分别连接在骨干网络ResNet50后级的全局特征表示模块和局部特征表示模块，同时连接在全局特征表示模块的后级和局部特征表示模块的后级的总损失函数；骨干网络ResNet50的瓶颈层bottleneck包括卷积注意力模块CBAM，卷积注意力模块CBAM包括通道注意力模块和空间注意力模块；全局特征表示模块包括依次连接的全局池化层、拼接融合模块、分类器、全局损失函数；全局池化层包括全局最大池化层和全局平均池化层；局部特征表示模块包括依次连接的局部特征对齐模块、局部池化层、局部距离模块、局部损失函数。
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行基于多视角和卷积注意力模块的车辆重识别方法。
本发明的有益效果为：
1.本发明的基于多视角和卷积注意力模块的车辆重识别方法和系统，通过加入卷积注意力模块，使得模型能够关注车辆的有效特征，忽略无效特征，提高了模型的辨别能力；通过局部模块中的公共面计算使得模型具有更强的视角抗干扰能力，解决了不同视角下的同一车辆难以辨别问题；实现了对外观相似的车辆和不同视角下的同一车辆进行重识别的功能。
2.本发明结合全局特征表示和局部特征表示模块，使模型能学习到更好的特征信息，增强了网络的特征表达能力，更有效地执行车辆重识别任务。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例的网络结构图。
图3是本发明实施例的系统流程图。
图4是本发明实施例的结果图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，本发明实施例的基于多视角和卷积注意力模块的车辆重识别方法，包括以下步骤：
S1：从车辆重识别数据集中抽取一部分图像，使用labelme进行标注，训练一个语义分割网络。将数据集中的所有图像输入训练好的语义分割网络，使得每张图像产生一个Mask；
本发明采用VeRi776车辆数据集，包括训练集和测试集(又分为查询集和图库集)两个部分。从训练集中抽取1665张图像、从测试集中抽取400张图像进行语义标注。在标注时，使用labelme软件，将车辆前部、后部、侧部、顶部分别标注为不同的颜色。然后使用U-Net训练标注好的图像获得语义分割模型。最后将训练集和测试集中的所有图像输入训练好的分割模型进行推理，为VeRi数据集中的每张图像生成对应的Mask。
S2：设计基于多视角和卷积注意力的车辆重识别网络结构，包括全局特征表示模块和局部特征表示模块；
S21：网络结构分为两个分支，分别为全局特征表示模块和局部特征表示模块。两者共享一个骨干网络。
S22：将卷积注意力模块(CBAM)加入到ResNet50骨干网络中，增强模型的区别能力。
卷积注意力模块包含通道注意力和空间注意力两个模块，将其按顺序加入到ResNet50网络的bottleneck中作为全局特征表示模块和局部特征表示模块的共享主干网络。在使用ResNet50提取到全局特征后，一个分支流入全局模块，另外一个分支流入局部模块。
S23：在全局特征表示模块中，将ResNet50网络提取到的特征分别进行全局最大池化和全局平均池化，然后将两种池化后的特征按照维度方向拼接到一起，用来增强特征的鲁棒性。然后送入其后的分类器进行分类，计算全局损失。
S24：在局部特征表示模块中，对利用Mask和ResNet50提取到的特征进行特征对齐，分别生成车辆前部、后部、侧部和顶部四个视角的局部特征Fi。局部特征Fi表示为：
其中，车辆图像的Mask表示为{Si|i∈{1，2，3，4}}，分别表示前部、后部、侧部和顶部四个部分，F(m，n)为ResNet50提取到的特征。
S25：在局部特征表示模块中，利用图像的Mask，计算四个部分的视角得分ai：
然后通过视角得分，计算两个车辆图像x，y的公共面得分
最后根据之前局部特征和视角得分计算两个车辆之间的局部距离
S3：设计损失函数，在网络结构中的全局模块和局部模块分别使用不同的损失函数，最终将其相加获得的损失函数用来优化模型；
损失函数包含两个部分：全局损失函数和局部损失函数，将其两者进行相加获得总的损失函数，来对模型进行优化。在全局模块使用交叉熵损失(cross-entropy loss)和中心损失(center loss)。在局部模块使用三元组损失(triplet loss)，损失函数表示为：
其中表示anchor与正样本的局部距离，表示anchor与负样本的局部距离，α表示边缘系数，[·]+表示函数max(0，·)。
S4：将训练图像及其生成的Mask一起输入所述网络进行训练，生成一个车辆重识别模型并保存；
将训练集输入到上述网络结构，指定训练的迭代次数，分批次进行训练，将最优的模型结果保存。
在训练时，选择Adam作为优化器，使用批训练方法，batch size为64，训练轮数为140个epoch。同时采用了多步学习速率调整策略，[0，20]、[20，50]、[50，90]、[90，140]个epoch的学习速率分别为3.5e-5、3.5e-4、3.5e-5、3.5e-6。对于所有输入图像，首先将它们随机裁剪到256×256。同时，还采用了随机亮度和随机擦除的数据增强方法。
S5：输入待检索的车辆图像，利用训练好的车辆重识别模型进行推理，返回车辆检索结果。
在推理阶段，首先利用欧氏距离计算查询车辆全局特征与图库集全局特征之间的全局距离Dglobal，然后再根据上述计算局部距离Dlocal。查询集与图库集之间的总距离计算如下。在本发明中设λ1＝0.7，λ2＝0.3。
两个图像的特征之间的距离表示为：
Dtotal＝λ1Dglobal+λ2Dlocal，
其中Dglobal为特征间的欧氏距离，Dlocal为上述的λ1，λ2为权重系数。
本发明还提供基于多视角和卷积注意力模块的车辆重识别系统，如图3所示，包括：
数据预处理模块101，挑选部分数据训练语义分割网络，生成图像对应的Mask；
训练模块102，输入训练图像和Mask训练模型，经过给定次数的训练后得到最优模型；
推理模块103，输入待检索车辆图像，输出检索结果图像；
测试实施例：
使用三个度量指标：mAP、CMC [email protected]和CMC [email protected]在VeRi776数据集上测试我们的方法。首先将本发明的方法与几种侧重于特征表示的方法进行了比较，包括PROVID、RAM、PNVR、OIFE。同时还与VAMI、QD-DLF、MVL、VANET等解决视点问题的方法进行比较。
表1本发明与八种优秀方法比较结果表
从表1可以看出，本发明的方法与另外八种方法相比，在三个度量指标上都取得了更高的分数，证明本发明的方法优于对比的方法。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种结合方向感知核集群的户型图识别方法