阅读说明：本技术 一种基于行人再识别的高效目标人物轨迹生成方法 (Efficient target person track generation method based on pedestrian re-recognition ) 是由 俞一奇 邱彦林 陈尚武 于 2020-07-20 设计创作，主要内容包括：本发明提供一种基于行人再识别的高效目标人物轨迹生成方法,结合当前主流MoblileNet-V2网络中深度可分离卷积的思想,设计轻量型卷积神经网络,对现有的公开行人再识别数据集进行训练得到生成模型,再通过mAP和Rank-k对生成模型进行性能评估,挑选出性能最优的行人再识别模型；本发明根据现有监控场景下的视频数据,设计出一个资源占用少,准确率高的目标人物轨迹生成方案,工作人员只需要提供目标人物的图片,就能够在待检索的数据库中匹配出全部相似可疑人物目标图片,通过人工筛选后,再通过准确图片进行二次检索,直到没有新的准确目标人物图片生成位置,再结合图片中的时间地点信息就能获取目标人物完整的轨迹线路。(The invention provides a high-efficiency target character track generation method based on pedestrian re-identification, which is characterized in that a light-weight convolutional neural network is designed by combining the idea of deep separable convolution in the current mainstream MobileNet-V2 network, the existing public pedestrian re-identification data set is trained to obtain a generation model, the performance of the generation model is evaluated through mAP and Rank-k, and a pedestrian re-identification model with the optimal performance is selected; according to the method, a target person track generation scheme with less resource occupation and high accuracy is designed according to video data in the existing monitoring scene, a worker can match all similar suspicious person target pictures in a database to be retrieved only by providing the pictures of the target person, secondary retrieval is carried out through the accurate pictures after manual screening until no new accurate target person picture generation position exists, and the complete track circuit of the target person can be obtained by combining time and place information in the pictures.)

一种基于行人再识别的高效目标人物轨迹生成方法

技术领域

本发明属于计算机视觉分析技术领域，具体涉及一种基于行人再识别的高效目标人物轨迹生成方法。

背景技术

随着城市化步伐的加快，导致城市人口密度与日俱增，为了保证人民群众的生命财产安全，越来越多的监控摄像头布置在了众多公共场合。面对每天海量的视频数据，如果仅靠人工筛选、查找的方法去检索目标人物，这将会极其花费人力，物力和时间，并且该方法的识别率也不是很高。而行人再识别的目的是将一个摄像机中抓拍的人物图片与其它不同摄像机中的人物图片进行匹配。由于其能够对于安全监控领域的应用需求提供实用的技术支持，因此得到工业界和学术界的广泛重视。

目前，如何快速准确地生成行人轨迹对于众多行业都有极大的应用价值，例如：在安防行业，通过给定犯罪嫌疑人照片，通过搜索历史监控视频以获得更多嫌疑人的图片信息，以便更快速地对目标人物进行精确定位；在商业，通过对客户进行停留轨迹识别和行为分析，智能理解用户需求，并有针对性的提供广告推送；此外，在一些大型的公共场所(如游乐场，火车站等)，可以进行丢失人口查找，警察只需要根据提供的照片，通过再识别技术能够快速的定位到当前丢失人物所在的位置。

当然，通过行人再识别技术来如何快速、高效、准确的生成目标人物轨迹也面临着几个重要的问题有待解决：1、设计轻量并且准确率高的行人再识别模型，以便在资源小、成本低的设备上运行。2、如何有效的将各个监控视频通过行人检测技术与目标跟踪技术将所有的待查找目标准确有效的检索出来。3、对于获取的行人图片，如何尽可能多匹配出全部的目标人物图片以便生成更为详细的轨迹信息。

针对上述所存在的问题，需要设计出一种基于行人再识别的高效目标人物轨迹生成方法，通过该方法来满足当前监控场景的实际应用需求。

发明内容

有鉴于此，本发明提出一种基于行人再识别的高效目标人物轨迹生成方法，根据现有监控场景下的视频数据，设计出一个资源占用少，准确率高的目标人物轨迹生成方案，工作人员只需要提供目标人物的图片，就能够在待检索的数据库中匹配出全部相似可疑人物目标图片，通过人工筛选后，再通过准确图片进行二次检索，重复上述步骤，直到没有新的准确目标人物图片生成位置，再结合图片中的时间地点信息就能获取目标人物完整的轨迹线路。通过采用该方法能够极大的提升工作效率，并且降低了人工和硬件成本。

为实现上述目的，本发明提供如下技术方案：

本发明一种基于行人再识别的高效目标人物轨迹生成方法，其包括1、行人再识别模型生成模块，其中包括了网络设计、模型训练以及性能测试。2、监控视频数据采集模块，主要是为了收集在相同时间段下多个没有交叠摄像头的监控数据。3、数据库图片生成模块，该模块的目的是将视频中的人物信息以图片的形式保存在数据库中，并且保存所有图片的地点和时间信息。4、特征生成匹配模块，该模块主要是将模块3中的数据库图片通过模块1进行特征生成，并保存在数据库中，然后通过特征匹配，结合人为干预筛选出正确目标图片。5、轨迹生成模块，该模块主要是依据上一模块所匹配出正确的图片，按照时间信息从小到大排列，最后得到目标人物的轨迹线路。

一种基于行人再识别的高效目标人物轨迹生成方法，包括以下步骤：

步骤(1)：结合当前主流MoblileNet-V2网络中深度可分离卷积的思想，设计轻量型(参数少，浮点运算量少)卷积神经网络，对现有的公开行人再识别数据集进行训练得到生成模型，再通过mAP和Rank-k对生成模型进行性能评估，挑选出性能最优：mAP和Rank-k值均最大的模型作为行人再识别模型；

步骤(2)：根据具体需求采集同一时间段的不同位置摄像头监控数据；

步骤(3)：采用当前主流的目标检测算法(具体采用：YOLO-V3算法)对步骤(2)中的视频数据中的行人进行检测，为了避免同一个目标在相邻多帧中同时被检测到多次，从而出现大量数据冗余的情况，采用目标跟踪算法(具体采用：KCF算法)，对相邻的跟踪框和检测框进行IOU判断其是否是同一个目标，通常情况下当IOU>0.4，则认为跟踪框与检测框中人物为同一目标，如果是，则保留该人物通过当前摄像头的其中一张图片；

步骤(4)：根据该摄像头的IP地址，以及当前图片所在时间信息对图片进行命名；所述图片命名规则如下，假设图片名称为192.168.130.1_20191212114309.png，则表示摄像头的IP是192.168.130.1，图片在摄像头出现的时间是2019年12月12日11点43分09秒；

步骤(5)：通过步骤(1)的行人再识别模型提取出步骤(3)中所有候选图片特征；其中，所述“候选图片”指的是所需要查找目标人物图片；所述“图片特征”为步骤(1)中轻量型卷积神经网络中最后一层全链接层的输出，通常情况下是一组n维的浮点数据，并将其存入到数据库中；

步骤(6)：采用步骤(5)相同的方法提取出待检索m个目标人物的二维特征x[n*m]存到数据库中，根据目标人物图片，提取出对应特征y[n]，并与数据库中所有的目标图片进行特征匹配，其中特征匹配是指计算待检索人物图片特征x[n*m]与目标人物图片特征y[n]的相似程度；

为了防止目标遗漏，将第一次目标匹配的阈值调低一些，其阈值为0.6，以便匹配出更多的候选人物，然后通过人工判断筛选出正确的目标人物；

通过余弦相似度的方法进行匹配，具体实现公式如下所示；为了防止遗漏目标图片，开始选取相似度阈值相对较低进行匹配(sim(X，Y)≥0.6)，其中x向量为候选图片中待检索人物图片特征，y向量为目标人物图片特征；

步骤(7)：将上一步中的正确人物再与数据库中的人物进行特征匹配，这次为了保证匹配准确性，通过调高阈值进行匹配，通常情况下选取阈值为0.8，然后对于候选人物图片再进行人工筛选；重复执行上述步骤(6)～步骤(7)，直到没有新目标人物图片生成为止；

步骤(8)：将最终的目标人物图片根据其时间信息按照由小到大排列，得到该目标的完整轨迹信息。

作为优选地，步骤(1)中的行人重识别模型的设计与训练如下步骤：

S11、选择Pytorch作为模型的训练框架；

S12、为了保证模型能够实时的处理图像数据，采用当前主流的MobileNet-V2模型作为主干网络，原因是它使用了深度可分离结构能够减少模型的参数量的同时，提升模型的前向的推理速度；

S13、为了提升模型的准确率，首先在imageNet数据集上做分类训练，然后再将模型在行人重识别的公开数据集上进行训练；

S14、通过mAP和Rank-k对生成训练模型进行性能评估，选择性能最好的模型作为最终的行人重识别模型；

所述mAP(mean Average Precision)平均精度均值衡量的是模型在所有测试集类别上的好坏，在相同测试集下模型的mAP值越大，表示其分类的效果越好；

所述Rank-k表示搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。通过统计排名从第一到第k样本的累计正确结果的准确率，在相同的测试集下如果模型的Rank-k排名越前准确率越大，表明该模型的检索精度越高。

作为优选地，步骤(2)中将目标检测与目标跟踪算法相结合具体做法如下：

S21、将视频的初始帧作为目标检测算法(具体采用：YOLO-V3算法)的输入，检测相应的目标行人，并通过检测框对其进行标记；

S22、使用检测框作为目标跟踪算法(具体采用：KCF算法)的输入，对之后的3帧图像进行跟踪，获得最后一帧图片的跟踪框；

S23、将上述步骤S22中的全部跟踪框与上述步骤S21中的全部检测框进行逐一IOU计算，如果IOU值最大并且其值大于0.4，则认为跟踪框和检测框中是同一人；否则，则认为不是同一个人。

其中，轻量型卷积神经网络是卷积神经网络的一种形式，其采用的是深度可分离卷积方式；

现有公开的行人再识别数据集有Market-1501,Viper，Duke01-03等等；

所述IOU(Intersection over Union)是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，IOU越大说明候选框和原标记框位置更接近。即它们的交集与并集的比值。

所述mAP(mean Average Precision)平均精度均值衡量的是模型在所有测试集类别上的好坏，在相同测试集下模型的mAP值越大，表示其分类的效果越好。

所述Rank-k表示搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。通过统计排名从第一到第k样本的累计正确结果的准确率，在相同的测试集下如果模型的Rank-k排名越前准确率越大，表明该模型的检索精度越高。

与现有技术相比，本发明的有益效果为：

通过现有的人力去在海量的监控视频数据中去筛选同一个目标人物，并且通过筛选的人物图片去生成目标人物在某一个特定时间段的行动轨迹，这将会是十分耗时的一项工作。此外，人工筛选还存在易遗漏目标以及准确率不高的缺陷。为此，通过将现有的行人检测，目标跟踪以及行人再识别技术相结合设计的高效目标人物轨迹生成方法，能够快速准确的生成目标的行动轨迹。工作人员只需提供一张待检索的目标人物照片以及相应时间段的视频，并在核查时适当的加入一些人工干预，就能即刻生成目标人物轨迹。该方法能够极大的节省现有的人力，物力和财力成本，生成目标人物轨迹在商业，安防行业以及大型的公共场合都有着很高应用需求和前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的一种基于行人再识别的高效目标人物轨迹生成方法的整体流程图；

图2为本发明实施例中提供的目标人物图片匹配核查流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例中提供的一种基于行人再识别的高效目标人物轨迹生成方法的流程图。如图1～2所示，其主要包括如下步骤：

一种基于行人再识别的高效目标人物轨迹生成方法，包括以下步骤：

步骤(1)：结合当前主流MoblileNet-V2网络中深度可分离卷积的思想，设计轻量型(参数少，浮点运算量少)卷积神经网络，对现有的公开行人再识别数据集进行训练得到生成模型，再通过mAP和Rank-k对生成模型进行性能评估，挑选出性能最优：mAP和Rank-k值均最大的模型作为行人再识别模型；

步骤(2)：根据具体需求采集同一时间段的不同位置摄像头监控数据；

步骤(3)：采用当前主流的目标检测算法(具体采用：YOLO-V3算法)对步骤(2)中的视频数据中的行人进行检测，为了避免同一个目标在相邻多帧中同时被检测到多次，从而出现大量数据冗余的情况，采用目标跟踪算法(具体采用：KCF算法)，对相邻的跟踪框和检测框进行IOU判断其是否是同一个目标，通常情况下当IOU>0.4，则认为跟踪框与检测框中人物为同一目标，如果是，则保留该人物通过当前摄像头的其中一张图片；

步骤(4)：根据该摄像头的IP地址，以及当前图片所在时间信息对图片进行命名；所述图片命名规则如下，假设图片名称为192.168.130.1_20191212114309.png，则表示摄像头的IP是192.168.130.1，图片在摄像头出现的时间是2019年12月12日11点43分09秒；

步骤(5)：通过步骤(1)的行人再识别模型提取出步骤(3)中所有候选图片特征；其中，所述“候选图片”指的是所需要查找目标人物图片；所述“图片特征”为步骤(1)中轻量型卷积神经网络中最后一层全链接层的输出，通常情况下是一组n维的浮点数据，并将其存入到数据库中；

步骤(6)：采用步骤(5)相同的方法提取出待检索m个目标人物的二维特征x[n*m]存到数据库中，根据目标人物图片，提取出对应特征y[n]，并与数据库中所有的目标图片进行特征匹配，其中特征匹配是指计算待检索人物图片特征x[n*m]与目标人物图片特征y[n]的相似程度；

为了防止目标遗漏，将第一次目标匹配的阈值调低一些，其阈值为0.6，以便匹配出更多的候选人物，然后通过人工判断筛选出正确的目标人物；

通过余弦相似度的方法进行匹配，具体实现公式如下所示；为了防止遗漏目标图片，开始选取相似度阈值相对较低进行匹配(sim(X，Y)≥0.6)，其中x向量为候选图片中待检索人物图片特征，y向量为目标人物图片特征；

步骤(7)：将上一步中的正确人物再与数据库中的人物进行特征匹配，这次为了保证匹配准确性，通过调高阈值进行匹配，通常情况下选取阈值为0.8，然后对于候选人物图片再进行人工筛选；重复执行上述步骤(6)～步骤(7)，直到没有新目标人物图片生成为止；

步骤(8)：将最终的目标人物图片根据其时间信息按照由小到大排列，得到该目标的完整轨迹信息。

其中，步骤(1)中的行人重识别模型的设计与训练如下步骤：

S11、选择Pytorch作为模型的训练框架；

S12、为了保证模型能够实时的处理图像数据，采用当前主流的MobileNet-V2模型作为主干网络，原因是它使用了深度可分离结构能够减少模型的参数量的同时，提升模型的前向的推理速度；

S13、为了提升模型的准确率，首先在imageNet数据集上做分类训练，然后再将模型在行人重识别的公开数据集上进行训练；

S14、通过mAP和Rank-k对生成训练模型进行性能评估，选择性能最好的模型作为最终的行人重识别模型；

所述mAP(mean Average Precision)平均精度均值衡量的是模型在所有测试集类别上的好坏，在相同测试集下模型的mAP值越大，表示其分类的效果越好；

所述Rank-k表示搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。通过统计排名从第一到第k样本的累计正确结果的准确率，在相同的测试集下如果模型的Rank-k排名越前准确率越大，表明该模型的检索精度越高。

其中，步骤(2)中将目标检测与目标跟踪算法相结合具体做法如下：

S21、将视频的初始帧作为目标检测算法(具体采用：YOLO-V3算法)的输入，检测相应的目标行人，并通过检测框对其进行标记；

S22、使用检测框作为目标跟踪算法(具体采用：KCF算法)的输入，对之后的3帧图像进行跟踪，获得最后一帧图片的跟踪框；

S23、将上述步骤S22中的全部跟踪框与上述步骤S21中的全部检测框进行逐一IOU计算，如果IOU值最大并且其值大于0.4，则认为跟踪框和检测框中是同一人；否则，则认为不是同一个人。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。