基于时序移位和多分支时空增强网络的成趟足迹图像检索方法
阅读说明：本技术 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法 (Time sequence shift and multi-branch space-time enhancement network-based stepping footprint image retrieval method ) 是由 唐俊 吴正建 王年 朱明� 张艳 鲍文霞 于 2021-08-17 设计创作，主要内容包括：本发明涉及基于时序移位和多分支时空增强网络的成趟足迹图像检索方法,与现有技术相比解决了成趟足迹图像之间有效的时空特征少、难以聚合不同类别的差异性特征的缺陷。本发明包括以下步骤：训练数据的获取；构建成趟足迹图像检索模型；对训练数据进行预处理；成趟足迹图像检索模型的训练；待检索成趟足迹图像的获取；成趟足迹图像的检索。本发明提高了成趟足迹图像的检索速度和准确率。(The invention relates to a time sequence shift and multi-branch space-time enhancement network-based lap footprint image retrieval method, which solves the defects that effective space-time characteristics among lap footprint images are few and different characteristics of different categories are difficult to aggregate compared with the prior art. The invention comprises the following steps: acquiring training data; constructing a footprint image retrieval model; preprocessing training data; training a step-by-step footprint image retrieval model; acquiring a footmark image to be retrieved; and retrieving the footmark images in turns. The invention improves the retrieval speed and accuracy of the stepping footprint images.)
技术领域
本发明涉及足迹图像处理技术领域，具体来说是基于时序移位和多分支时空增强网络的成趟足迹图像检索方法。
背景技术
近年来，随着计算机技术的快速发展，人工智能也有了新的突破，比如行人重识别技术可以实现跨境追踪；目标检测技术可以应用在汽车的自动驾驶上。而足迹识别技术作为一种可以识别个人身份的新型生物技术，在鉴别身份、侦查案件上有巨大的发展潜力。与传统的视频监控、指纹识别、人脸识别相比，足迹同样具有唯一性，并且不易伪装。
目前足迹检验技术虽然取得一定的进展，但存在一定的问题。传统的人体足迹检验技术一直依靠足迹专家根据自身长期的经验去提取特征，而不同的专家提取特征的方法各不相同，没有统一的标准。
目前在深度学习领域关于成趟足迹图像检索的方法有两种，一种是结合步法特征的成趟足迹识别方法、一种是基于时空运动和特征融合的足迹图像检索方法。前者虽然可以实现成趟足迹图像的识别，但利用的特征太少并没有最大化模型的识别效果，并且这仅仅是一个分类算法实用性不高；后者是一种检索算法，但是只能保证单种鞋的检索，一旦涉及跨模态的检索效果不甚理想。
发明内容
本发明的目的是为了解决现有技术中成趟足迹图像之间有效的时空特征少、难以聚合不同类别的差异性特征的缺陷，提供一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，包括以下步骤：
11)训练数据的获取：获取成趟足迹压力图像作为训练数据；
12)构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型；
13)对训练数据进行预处理：对训练数据进行中心化处理；
14)成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练；
15)待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理；
16)成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。
所述构建成趟足迹图像检索模型包括以下步骤：
21)设定成趟足迹图像检索模型的第一层为左右脚判别模块；
22)设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；
23)设定成趟足迹图像检索模型的第三层为时序移位模块；
24)设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块。
所述训练数据的获取包括以下步骤：
31)获取成趟足迹压力图像；
32)对成趟足迹压力图像进行去噪，并分割成单帧图像样本数据，每个单帧图像样本数据中有且仅有一个脚印，得到一个成趟足迹压力图像的样本集d＝{dx|x＝1,2,3,…,X}，dx表示第x帧样本数据，1≤x≤X，X表示该成趟足迹压力图像分割的帧数，取12～15；
33)重复上述操作得到该采集者的样本集f＝{fy|y＝1,2,3,…,Y}，fy表示第y趟样本数据，Y表示采集者采集的总趟数，取6或9；
34)重复采集，得到包含所有采集者的样本集D＝{D|k＝1,2,3,…,K}，K是总人数；
35)定义标签信息，该标签用于区分D中不同的足迹样本的ID。
所述对训练数据进行预处理包括以下步骤：
41)将分割后的成趟足底压力图像蓝色通道处像素值为255的点全部去除；
42)逐列扫描分割后的成趟足底压力图像，设像素平均值大于5的列是足迹图像的有效列，按列寻找，并将列的位置数值保存起来；
43)将第一列位置作为切割后的成趟足底压力图像脚长的起始值，并将最后一列位置作为切割后的成趟足底压力图像脚长的结束值，根据切割后足迹图像脚长的开始和脚长的结束，向左右两边等距离延伸拓展填补像素值，使得高宽比为1:1，左右两边填补的像素数目分别为NL和NR，其表达式如下：
NL＝[250-(L2-L1)]/2，
NR＝250-(L2-L1)-NL，
其中，L1为切割后成趟足底压力图像脚长的起始值，L2是切割后成趟足底压力图像脚长的结束值，NL为左边填补的像素点数值,NR为右边填补的像素点数值，完成对训练数据的规整操作；
44)逐行扫描规整后的成趟足底压力图像，设像素平均值大于5的行是足迹图像的有效行，按行寻找并将行的位置数值给保存起来；
45)将第一行位置作为规整后的成趟足底压力图像脚宽的起始值，并将最后一行位置作为规整后的成趟足底压力图像脚宽的结束值，根据规整后足迹图像脚宽的开始和脚宽的结束，向上下两边等距离延伸拓展填补像素值，使得高宽比为1:1，上下两边填补的像素数目分别为NU和ND，其表达式如下：
NU＝[250-(L4-L3)]/2，
ND＝250-(L4-L3)-NU，
其中，L3为规整后成趟足底压力图像脚宽的起始值，L4是规整后成趟足底压力图像脚宽的结束值,NU为上边填补的像素点数值，ND为下边填补的像素点数值，完成对训练数据的中心化操作。
所述成趟足迹图像检索模型的训练包括以下步骤：
51)将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是(B,T,C,H,W)，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是(16,8,3,224,224)；
52)训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是(16,8,3,224,224)、(16,4,3,224,224)、(16,4,3,224,224)；
53)针对三个支路的数据训练多分支空间特征提取模块，获取更加细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层和池化层；
54)训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块；
55)训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块；
56)多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到最优训练后的成趟足迹检索模型。
所述针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：
61)利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：
611)通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为(16,64,27,27)；
激活函数选用Leaky ReLU，其表达式如下：
池化层选用最大池化，步长为2、滤波器大小为3*3；
通过计算输出Z11的特征维度为(16,64,27,27)，其计算公式如下：
((M-K+2P)/S)+1，
((M-K)/S)+1，
其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅；
612)将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择Leaky ReLU和最大池化；得到Z12的特征维度为(16,192,13,13)；
613)将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择Leaky ReLU，得到输出Z13的特征维度为(16,384,13,13)；
614)将Z13作为全连接层的输入，最后得到输出Z1的特征维度为(16,2048)；
615)在for循环内将每次的输出Z1增加一个时间维度,特征维度变为(16,1,2048)，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z′1的特征维度是(16,8,2048)；
Z1'＝concat((Z1,Z2,Z3,Z4,Z5,Z6,Z7,Z8),dim＝1)；
62)利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是(16,4,192,13,13)。
所述训练时序移位模块包括以下步骤：
71)利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：
711)时序移位模块TSM在操作过程中给定一个参数div，由下式表示：
fold＝C//div
C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；
设置一个和Z′2维度相同的全0张量out，特征维度是(B,T,C,H,W)；
722)在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：
out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；
723)在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：
out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；
724)在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：
out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，
725)重复步骤721)至步骤724)构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是(16,4,2048)；
726)重复步骤721)至步骤725)建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是(16,4,2048)。
所述训练多分支时序特征提取模块包括以下步骤：
81)初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；
82)将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；
83)将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：
Out＝Out1+Out2+Out3，
Hn＝Hn1+Hn2+Hn3，
其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数。
有益效果
本发明的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，与现有技术相比提高了成趟足迹图像的检索速度和准确率。其优点主要体现在以下几点：
(1)本发明将传统图像处理方法、视频深度理解方法与成趟足迹图像的检索相结合，构成一个完整且高效的成趟足迹图像检索框架。在预处理方面：重置优化成趟足迹样本的格式，从而让数据集与网络更适配；在网络结构方面：成趟足迹图像检索模型是由左右脚判别模块、多分支空间特征提取模块、时序移位模块、多分支时序特征提取模块组成，与以往的足迹检索方法相比，在提高了成趟足迹图像检索效率和准确性的同时，可以更好的实现跨模态检索。
(2)本发明的预处理模块包括去噪、切割、规整化和中心化，这有助于网络提取更加有效的时空特征，从而训练出更好的网络模型。
(3)本发明的多分支空间特征提取模块的网络层数较浅，并且使用的卷积核较小，有助于更好的提取成趟足迹图像中的更具有区分性的压力信息和纹理轮廓信息。
(4)本发明的左右脚判别模块将成趟足迹分成左右脚、仅左脚和仅右脚三个部分，有助于网络更好的提取不同类别的差异性特征。
(5)本发明的时序移位模块在部分通道上对相邻图像帧进行移位，在不增加计算量的前提下，实现时域上的建模。
(6)本发明的多分支时序特征提取模块使用了LSTM，配合左右脚判别模块和时序移位模块，网络可以提取更有效的时空特征，实现更准确、更高效的检索。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的时序移位模块原理图；
图3为本发明所涉及的时序移位和多分支时空增强网络框架图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，包括以下步骤：
第一步，训练数据的获取：获取成趟足迹压力图像作为训练数据。在实验室环节，数据集通过自行采集和处理得到。采集者在压力板上正常姿势行走，软件对压力板传递过来的数据进行处理，得到一个成趟足迹压力图像并保存在电脑上。改变鞋子的种类(共6类)、调整负重状态(共3种)，重复采集操作，可以得到该采集者的所有数据。总数据为360类约有19400张成趟足迹图像，处理后约有233280张单帧图像，每张图像都带有人员ID的类别标签。训练集为200类约有129600张单帧图像，测试集为160类约有103600张数据，其中测试底库集为160类约有69120张单帧图像，测试查询集也为160类约有34560张单帧图像。其具体步骤如下：
(1)获取成趟足迹压力图像；
(2)对成趟足迹压力图像进行去噪，并分割成单帧图像样本数据，每个单帧图像样本数据中有且仅有一个脚印，得到一个成趟足迹压力图像的样本集d＝{dx|x＝1,2,3,…,X}，dx表示第x帧样本数据，1≤x≤X，X表示该成趟足迹压力图像分割的帧数，取12～15；
(3)重复上述操作得到该采集者的样本集f＝{fy|y＝1,2,3,…,Y}，fy表示第y趟样本数据，Y表示采集者采集的总趟数，取6或9；
(4)重复采集，得到包含所有采集者的样本集D＝{D|k＝1,2,3,…,K}，K是总人数；
(5)定义标签信息，该标签用于区分D中不同的足迹样本的ID。
第二步，构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型。
如图3所示，整个成趟足迹图像检索模型由四个模块有序排列组成。左右脚判别模块将成趟足迹分成左右脚、仅左脚和仅右脚三个部分，有助于网络更好的提取不同类别的差异性特征；多分支空间特征提取模块的网络层数较浅，并且使用的卷积核较小，有助于更好的提取成趟足迹图像中的更具有区分性的压力信息和纹理轮廓信息；时序移位模块在部分通道上对相邻图像帧进行移位，在不增加计算量的前提下，实现时域上的建模；多分支时序特征提取模块使用了LSTM，配合左右脚判别模块和时序移位模块，网络可以提取更有效的时空特征，实现更准确、更高效的检索。
其具体步骤如下：
(1)设定成趟足迹图像检索模型的第一层为左右脚判别模块；
(2)设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；
(3)设定成趟足迹图像检索模型的第三层为时序移位模块；
(4)设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块。
第三步，对训练数据进行预处理：对训练数据进行中心化处理。这一过程实际上是一个对齐足迹特征的过程，更有利于卷积神经网络提取有效特征。所述对训练数据进行预处理包括以下步骤：
(1)将分割后的成趟足底压力图像蓝色通道处像素值为255的点全部去除；
(2)逐列扫描分割后的成趟足底压力图像，设像素平均值大于5的列是足迹图像的有效列，按列寻找，并将列的位置数值给保存起来；
(3)将第一列位置作为切割后的成趟足底压力图像脚长的起始值，并将最后一列位置作为切割后的成趟足底压力图像脚长的结束值，根据切割后足迹图像脚长的开始和脚长的结束，向左右两边等距离延伸拓展填补像素值，使得高宽比为1:1，左右两边填补的像素数目分别为NL和NR，其表达式如下：
NL＝[250-(L2-L1)]/2，
NR＝250-(L2-L1)-NL，
其中，L1为切割后成趟足底压力图像脚长的起始值，L2是切割后成趟足底压力图像脚长的结束值，NL为左边填补的像素点数值,NR为右边填补的像素点数值，完成对训练数据的规整操作；
(4)逐行扫描规整后的成趟足底压力图像，设像素平均值大于5的行是足迹图像的有效行，按行寻找，并将行的位置数值给保存起来；
(5)将第一行位置作为规整后的成趟足底压力图像脚宽的起始值，并将最后一行位置作为规整后的成趟足底压力图像脚宽的结束值，根据规整后足迹图像脚宽的开始和脚宽的结束，向上下两边等距离延伸拓展填补像素值，使得高宽比为1:1，上下两边填补的像素数目分别为NU和ND，其表达式如下：
NU＝[250-(L4-L3)]/2，
ND＝250-(L4-L3)-NU，
其中，L3为规整后成趟足底压力图像脚宽的起始值，L4是规整后成趟足底压力图像脚宽的结束值,NU为上边填补的像素点数值，ND为下边填补的像素点数值，完成对训练数据的中心化操作。
第四步，成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练。
与单种鞋的检索相比，跨鞋检索对网络模型的要求更高。跨鞋使得训练数据的种类增多，通过网络得到特征的类内差距增大类间差距变小，这将大大增大跨鞋检索的难度。对训练数据统一进行规整和中心化操作，除去质量较差的足迹图像，重置足迹图像大小，有利于多分支空间特征提取模块提取更具有区分性的空间特征，同时减少因池化操作而造成的特征缺失。左右脚移位模块和时序移位模块的灵活组合使得提取的特征更加细化，最后连接多分支空间特征提取模块完成时空建模，更好的提取训练数据的时空特征，从而大大提高跨鞋检索的准确率。
所述成趟足迹图像检索模型的训练包括以下步骤：
(1)将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是(B,T,C,H,W)，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是(16,8,3,224,224)。
(2)训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是(16,8,3,224,224)、(16,4,3,224,224)、(16,4,3,224,224)。对输入进行上述分块处理更有利于聚合不同类别的差异性特征，从而大大提高检索的准确率。
(3)针对三个支路的数据训练多分支空间特征提取模块，获取更加细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层、池化层和。
针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：
首先，利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：
A1)通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为(16,64,27,27)。
激活函数选用Leaky ReLU，其表达式如下：
池化层选用最大池化，步长为2、滤波器大小为3*3；
通过计算输出Z11的特征维度为(16,64,27,27)，其计算公式如下：
((M-K+2P)/S)+1，
((M-K)/S)+1，
其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅。
激活函数选用Leaky ReLU可以加速收敛速度，并且不会出现ReLU函数进入负区间后，导致神经元不学习的问题。使用最大池化可以缩小特征图的同时减少网络参数，并且与平均池化相比，最大池化可以减少卷积层参数误差造成估计均值的偏移，更多的保留足迹图像的纹理信息。
A2)将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择Leaky ReLU和最大池化；得到Z12的特征维度为(16,192,13,13)。在进入激活层前进行归一化处理，避免“梯度弥散”，加速网络训练。
A3)将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择Leaky ReLU，得到输出Z13的特征维度为(16,384,13,13)；
A4)将Z13作为全连接层的输入，最后得到输出Z1的特征维度为(16,2048)；
A5)在for循环内将每次的输出Z1增加一个时间维度,特征维度变为(16,1,2048)，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z1'的特征维度是(16,8,2048)；
Z′1＝concat((Z1,Z2,Z3,Z4,Z5,Z6,Z7,Z8),dim＝1)。
最后，利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是(16,4,192,13,13)。
(4)训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块。
构建时序移位模块TSM(Temporal Shift Module)，部分通道在时间维度上进行移位，便于相邻图像之间的信息交换，完成时域建模。TSM的具体实现思路如下：
如图2所示，首先考虑一个普通的卷积运算。输入X是一个无限长一维向量，核大小为3的一维卷积，卷积的权值是W＝(w1,w2,w3)。卷积算子Y＝Conv(W,X)可以写成Yi＝w1Xi-1+w2Xi+w3Xi+1。
因此可以将卷积的运算解耦为两个步骤:移位和乘法累加。将输入X移动-1，0，+1，然后分别乘以w1，w2,，w3，它们的和是Y。形式上，移位操作如下所示：
乘加运算如下所示：
Y＝w1X-1+w2X0+w3X1
第一步移位可以免费执行，因为它只需要一个偏移地址指针。虽然第二步的计算开销更大，但是时间移位模块TSM将乘法累加合并到下面的2D中卷积。时序移位模块TSM在不增加计算量的情况下能够用2D的计算量达到3D的效果，同时完成时序建模有助于后面的多分支时序特征提取模块更好的提取有效的时序特征。
训练时序移位模块包括以下步骤：
(1)利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：
B1)时序移位模块TSM在操作过程中给定一个参数div，由下式表示：
fold＝C//div
C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；
设置一个和Z′2维度相同的全0张量out，特征维度是(B,T,C,H,W)；
B2)在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：
out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；
B3)在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：
out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；
B4)在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：
out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，
B5)重复步骤B1)至步骤B4)构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是(16,4,2048)；
(2)重复步骤B1)至步骤B5)建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是(16,4,2048)。
(5)训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块。
训练多分支时序特征提取模块包括以下步骤：
C1)初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；
C2)将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；
C3)将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：
Out＝Out1+Out2+Out3，
Hn＝Hn1+Hn2+Hn3。
其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数。
(6)多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到最优训练后的成趟足迹检索模型。
第五步，待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理。
第六步，成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。
在实验室环节测试时，首先将测试底库集Gallery中足迹图像送入网络，得到对应的表征特征和类别标签存入数据库中。然后进行测试，将测试查询集Query中足迹图像送入网络，得到对应的表征特征，并将其与数据库中所有的特征进行欧式距离的比较。欧式距离越小表示两者相似度越高，数据库中欧式距离最小的那个图像就是检索结果。如果两者的标签一致表示检索成功，否则检索失败。
对于检索问题常用Rank1和MAP值来评估模型的性能。因此将查询集的所有图像都分别作为待检索图像得出检索结果并求平均值求得该测试集上的Rank1和MAP值。
表1赤足数据集两种方法的实验结果对比表
表1为训练集为赤足数据集时两种算法的对比实验结果，对比方法是基于时空运动和特征融合的足迹图像检索方法即Base，本专利的方法为Shift_8。Train、Test分别表示训练集和测试集。barefoot、cloth、leather、sport分别表示赤足数据集、布鞋数据集、皮鞋数据集、运动鞋数据集。如表1所示本专利的有益效果在于：
在单种鞋的检索上，MAP提高了3.91％，Rank1提高了2.16％。
在跨鞋检索上，测试集是布鞋数据集时，MAP提高了17.98％，Rank1提高了16.13％。测试集是皮鞋数据集时，MAP提高了14.86％，Rank1提高了13.80％。测试集是运动鞋数据集时，MAP提高了14.67％，Rank1提高了16.35％。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。