阅读说明：本技术 一种基于局部特征的车辆检索方法 (Vehicle retrieval method based on local features ) 是由 蔡晓东 苏欣欣 于 2018-05-14 设计创作，主要内容包括：本发明公开了一种基于局部特征的车辆检索方法,具体公开了：用目标检测算法进行车脸和车窗的定位,得到车辆样本；样本通过一定的预处理,定位截取车脸和车窗,搭建多任务loss卷积神经网络的深度学习算法,训练得到CNN网络模型,实现车辆型号的分类和特征提取,用车脸及车窗显著特征进行匹配检索出目标车辆,检索出同一辆车,解决了现有技术中在无车牌的情况,由于同一车型外观无法分辨,难以实现准确检索车辆的技术缺陷。(the invention discloses a vehicle retrieval method based on local features, and particularly discloses: positioning the car face and the car window by using a target detection algorithm to obtain a car sample; the method comprises the steps of positioning and intercepting a car face and a car window through a certain pretreatment of a sample, building a deep learning algorithm of a multitask loss convolutional neural network, training to obtain a CNN network model, realizing classification and feature extraction of car models, matching and retrieving a target car by using the significant features of the car face and the car window, and retrieving the same car.)

一种基于局部特征的车辆检索方法

技术领域

本发明涉及图像处理与检索领域，尤其涉及一种基于局部特征的车辆检索方法。

背景技术

随着交通监控系统的数据库不断的扩大和更新，准确的在大规模的数据库中检索出目标车辆，对安防部门、公安侦查罪犯等社会应用有非常大的帮助。很多涉嫌违法犯罪的车辆常没有车牌(包括套牌、伪造车牌及遮挡车牌等)，基于车牌识别的方法无法对其进行有效识别检索。目前关于车辆识别和检索研究，主要集中在识别大型货车、中型汽车、小型轿车等少数几类车型。随着图像识别研究的深入，针对例如奥迪Q5、奔驰S500等具体车辆型号识别的研究也逐步出现，而由于同一车型外观是无法分辨的，在无车牌的情况下检索出同一辆车难以实现。

由于车脸能够有效的表达车辆的外观属性，通过基于车脸特征的分类能对车辆型号进行准确的识别，而因车主的喜好使车窗具有鲜明的局部特征，特殊标志(挂饰、摆件、纸巾盒、年检标)使得相同型号的车辆能够加以区分。

因此，如何提供一种通过车脸、车窗图像对无牌车进行识别检索是本领域人员亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种基于局部特征的车辆检索方法，包括车脸和车窗的定位、图像预处理、建立CNN网络模型、车脸和车窗特征提取与对比，实现在大规模车辆数据库高效准确的检索。

为了实现上述目的，本发明采用如下技术方案：

一种基于局部特征的车辆检索方法，包括以下步骤：

步骤S1：车脸和车窗的定位：通过目标检测算法Fast-RCNN定位，利用运动目标检测技术从交通卡口监控视频中检测到车辆，对无车牌的车脸及车窗进行检测定位，再定位截取出车脸和车窗，获得的局部区域的坐标；

步骤S2：图像预处理：将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理，并将图片格式转换为LMDB格式，生成减均值文件；

步骤S3：建立CNN网络模型：通过基于搭建多任务loss双支网络构架，训练得到CNN网络模型用于特征提取；在网络构架的损失层上结合center loss和softmax，其中，centerloss通过惩罚每个种类的样本和该种样本中心的偏移，使同一种类的样本尽量聚合在一起。其表示为：

其中，x_i表示第i张图片的特征值，表示类y_i的类中心，在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新；

Softmax使用下式计算得到每一类的概率输出，

其中，x_i为softmax层第i个节点值，y_i为第i个输出值，n为softmax层的节点个数，

最后一个损失层是中心损失函数和softmax的结合，损失函数表示为：

步骤S4：车脸和车窗特征提取与对比：运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取，然后进行特征比对，分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆；

其中，车脸和车窗比对阶段，需要设置一个相似度阈值w，采用余弦距离计算图像相似度s，计算s的公式如下所示：

车辆比对阶段，将两张车辆图像的相似度和阈值w进行比较，将当s＞w时，说明两张图像相似度较高，可以分为同一车型，当s≤w时，说明输入比对的两张图像相似度较低，属于不同车型；若为同一车型，继续进行车窗比对，直到检索出相似度最高的同一辆车；若为不同车型，即可停止下一步的车窗比对。

优选地，所述步骤S3中CNN网络模型包括车脸分类模型与车窗目标提取模型。

优选地，所述步骤S3中网络构架为深层网络构架或浅层网络构架。

优选地，所述步骤S4中确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时比对准确率最高。

本发明的有益效果:本发明方法采用一种卷积神经网络主要算法流程，提出一种基于局部特征的车辆检索方法。用目标检测算法进行脸和车窗的定位，得到车辆样本；样本通过一定的预处理，定位截取车脸和车窗，搭建多任务loss卷积神经网络的深度学习算法，训练得到CNN网络模型，实现车辆型号的分类和特征提取，用车脸及车窗显著特征进行匹配检索出目标车辆，检索出同一辆车，解决了现有技术中在无车牌的情况，由于同一车型外观无法分辨，难以实现准确检索车辆的技术缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的检索流程框架示意图；

图2为多任务loss双支网络构架；

图3为Fast-RCNN算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行完整、清楚的描述。

本发明所述基于局部特征的车辆检索方法，如图1所示是基于局部特征的检索流程框架示意图，首先进行车脸和车窗的定位、图像预处理、建立CNN网络模型，得到车脸分类模型和车窗目标提取网络模型。然后用CNN网络模型提取特征信息进行比对，先筛选出相同车型的车辆，最终检索出同一车辆。具体实施过程如下：

步骤S1：车辆图像是利用目标检测Fast-RCNN算法定位，获得车脸和车窗样本。基于深度学习的目标检测算法比传统的车牌识别检测识别更高效，且能够对无车牌的车脸进行检测定位，利用获得的局部区域的坐标截取得到。如图3为Fast-RCNN算法流程图。

步骤S2：将车辆样本进行检测、裁剪、对齐等预处理，并将图片格式转换为LMDB格式。通过对所有训练样本取平均，生成一个均值文件mean.binaryproto，以LMDB文件作为输入数据，对图片进行减均值处理。

步骤S3：搭建基于多任务loss双支网络构架，训练得到CNN网络模型用于特征提取。基于CNNs的深度学习网络构架，可以搭建深层的网络构架，也可以搭建浅层的网络构架，本发明搭建的是一个浅层双支多任务loss网络构架，如图2所示网络构架示意图，其中单支包括三个卷积-池化层、两个全连接层、一个损失层，三个卷积层卷积核的个数分别为32/32/64，卷积核大小为5*5，步长为1；三个池化层的核大小均为3*3，步长为2，三个池化层均为最大池化层；第一个全连接层设置节点数为4096，第二个全连接层设置节点数为1024，两个全连接层的权值初始化参数为xavier，偏置项初始化参数为constant，一个损失层为softmax；合并分支部分包括两个全连接层和一个损失层，最后损失层采用中心损失函数和softmax的结合，计算loss值公式为：

步骤S4：如图1所示基于局部特征的车辆检索流程图，运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取，然后进行特征比对，分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆；

其中，车脸和车窗比对阶段，需要设置一个相似度阈值w，采用余弦距离计算图像相似度s，计算s的公式如下所示：

车辆比对阶段，将两张车辆图像的相似度和阈值w进行比较，将当s＞w时，说明两张图像相似度较高，可以分为同一车型，当s≤w时，说明输入比对的两张图像相似度较低，属于不同车型；若为同一车型，继续进行车窗比对，直到检索出相似度最高的同一辆车；若为不同车型，即可停止下一步的车窗比对其中，确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时准确率最高。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。