具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例提供一种桥梁车辆时空荷载监控方法，包括以下步骤：

在桥梁上安装动态称重系统和视觉系统，并同步两者的时间戳，动态称重系统用于检测车辆荷载，视觉系统用于检测桥梁中的车辆；

根据视觉系统构建桥面车辆全景图；

采用预先构建和训练好的车辆检测模型，实时识别视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；

通过预设的改进卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将第n帧桥面车辆全景图中的检测框与对应车辆的预测框匹配，获取或更新车辆轨迹信息；

根据动态称重系统获取车辆荷载信息，将该车辆荷载信息与车辆轨迹信息进行同时刻同车道匹配，实现车辆时空荷载的监控。

改进卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，改进卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有跟踪器构成跟踪器组群，改进卡尔曼滤波模型初始化后将预设的丢失帧数置零；

改进卡尔曼滤波模型的数据处理过程包括以下步骤：

S1：通过改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；

S2：计算第n帧桥面车辆全景图中检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤S3，否则将该预测框与检测框标记为未匹配检测，并执行步骤S5；

S3：采用跟踪器校验模块校验初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤S6：

S5：判断检测框是否位于桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；

S6：判断预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。

作为一种优选的实施方式，改进的状态预测模块的数据处理过程包括以下步骤：

邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；

长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；

预测框获取步骤：根据平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。

进一步地，作为一种优选的实施方式，改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：

碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为E_ov，则根据该重叠长度，将两预测框向远离方向分别位移；

扩大搜索：若丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。

作为一种优选的实施方式，跟踪器校验模块的数据处理过程包括以下步骤：

形状校验步骤：记检测框的长和宽分别为L_det、W_det，预测框的长和宽分别为L_pred、W_pred，则须满足：

0.75×L_pred≤L_det≤1.25×L_pred

0.75×W_pred≤W_det≤1.25×W_pred。

进一步地，作为一种优选的实施方式，跟踪器校验模块的数据处理过程还包括：

速度校验步骤：跟踪器的邻速为V_avg，记当前匹配到的检测框形心位置为X_det、时刻帧为F_det，记跟踪器的上一次检测更新位置的X_last、F_last，则须满足：

-5<(X_det-X_last)/(F_det-F_last)<150。

作为一种优选的实施方式，重叠阈值为60％。

作为一种优选的实施方式，视觉系统包括多个摄像机，桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域，

相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。

作为一种优选的实施方式，桥面车辆全景图的获取包括以下步骤：根据每个桥塔横梁上方的多个摄像机的摄像机观测区域，建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图。

作为一种优选的实施方式，车辆时空荷载的获取包括：

以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将称重系统获取的车辆信息进行重新排序；

以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将视觉系统获取的车辆信息进行重新排序；经过动态称重系统的时间、经过动态称重系统时的车道由动态称重系统获取；

将两系统获取的车辆信息进行逐条比对和匹配，其中仅在动态称重系统和视觉系统的其中一个出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息和时空分布信息，形成车辆时空荷载。

将上述优选的实施方式进行组合，可以得到一种最优的实施方式，下面对该最优的实施方式的具体实施过程进行详细描述。

如图1所示，一种桥梁车辆时空荷载监控方法，包括以下步骤：

步骤1：安装动态称重系统和多视场摄像系统，进行时间戳同步；

步骤2：建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图；

步骤3：人工标记车辆数据集，训练深度学习车辆检测模型，识别当前时间帧的车辆类型和位置；

步骤4：通过改进卡尔曼滤波模型，预测和匹配不同帧的同一车辆，获取车辆轨迹信息；

步骤5：匹配同时刻、经过同车道的车辆荷载信息和时空分布信息，从而汇总得到车辆时空荷载。

如图2所示，所述的步骤1包括以下分步骤：

步骤1-1：在桥梁铺装层下方，安装线圈式桥梁动态称重系统，包括称重传感器、轮轴识别传感器、工控机等；

步骤1-2：在两个桥塔横梁上方，分别安装3台高清摄像机，形成多视场摄影系统，保证相邻的摄像机观测区域具有影像重叠，保证跨中观测区域具有影像重叠；

步骤1-3：根据系统时钟差异，进行双系统时间戳同步，使系统时间校验一致。

所述的步骤2包括以下分步骤：

步骤2-1：从视频流中，获取6台高清摄像机的同一时间帧的图像；

步骤2-2：根据桥梁设计施工图纸，建立桥面坐标系，以纵桥向为X轴，横桥向为Y轴；

步骤2-3：以已知坐标点的车道线边缘为透视标记点，对各个图像进行透视投影矫正；

步骤2-4：通过匹配图像在桥面坐标系中的位置，对同一时间帧的图像进行拼接，得到带坐标的桥面全景图像。

所述的步骤3包括以下分步骤：

步骤3-1：随机选取2000张车辆分布全景图，人工框选车辆的位置(左上角点和右下角点)，标注车辆类型，分为小汽车、卡车、巴士和面包车4类；

步骤3-2：通过DarkNet深度学习框架，使用YOLO-V4目标检测框架，训练得到用于车辆检测的模型；

步骤3-3：使用车辆检测模型，对于所有时间帧的桥面车辆全景图，进行车辆检测，获得各帧各车辆的检测框，包括位置和类型信息。

如图3和4所示，所述的步骤4包括以下分步骤：

步骤4-1：改进卡尔曼滤波模型主要包括两部分，一是改进的状态预测模块，包括速度平均、长度拉伸、碰撞分离和扩大搜索；二是跟踪器校验模块，包括形状校验、特征校验和速度校验；

步骤4-2：定义相机拍摄的近塔视域为“开始域”；

步骤4-3：对第n帧的桥面车辆全景图，通过车辆检测模型获得当前帧的检测框；

步骤4-4：对于第n-1帧的每个跟踪器，分别得到它们各自第n帧的预测框，方法如下：

1)邻速平均：通过最近21次实际检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到20次速度，进行算术平均，得到平均速度V_avg；

2)长度拉伸：根据车辆距离最近桥塔的距离，乘拉伸系数C_s，得到长度拉伸后的预测长度C_s×L_init。

预测位置的形心为当前位置的形心向前Vavg，长度为Cs×Linit，宽度为W。

步骤4-5：对于第n-1帧的每个跟踪器，得到各自第n帧的预测框后，按条件进行微调：

1)碰撞分离：若相邻的两预测框在车长方向有重叠，重叠长度为E_ov，则两预测框向远离方向分别位移E_ov/2；

2)扩大搜索：定义跟踪器的丢失帧数N_miss为距离上次更新的帧数，若N_miss大于25，小于500，则将该跟踪器的预测长度扩大为1.5×C_s×L_init，宽度扩大为1.5×W。

得到当前帧的预测框。

步骤4-6：计算当前帧的检测框与当前帧的预测框的重叠度，以T1(＝60％)为阈值，不足阈值的未配对框标记为“未匹配”，包括“未匹配检测”和“未匹配跟踪器”。

步骤4-7：计算当前帧的检测框与当前帧的预测框的重叠度，以T1(＝60％)为阈值，配对的两个框，作为“初步匹配的检测-跟踪对”。若有一对多的情况出现，则以最大重叠度的配对为准。

步骤4-8：通过改进卡尔曼滤波模型的跟踪器校验模块，校验“初步匹配的检测-跟踪对”，包括两点：

1)形状校验：记检测框的长和宽分别为L_det、W_det，预测框的长和宽分别为L_pred、W_pred，则须满足：

0.75×L_pred≤L_det≤1.25×L_pred

0.75×W_pred≤W_det≤1.25×W_pred

2)速度校验：跟踪器的邻速为V_avg，记当前匹配到的检测框形心和时刻帧为X_det、F_det，记跟踪器的上一次检测更新位置为X_last、F_last，则须满足：

-5<(X_det-X_last)/(F_det-F_last)<150

其中，不等式下限表示速度不能反向，数值-5(单位：km/h)为考虑识别误差；不等式上限表示速度不能过大，如不能超过150(单位：km/h)。

步骤4-9：经过校验，满足要求的“初步匹配的检测-跟踪对”，使用当前的检测框更新对应跟踪器的卡尔曼滤波，成为“匹配跟踪器”，将N_miss置于0，更新当前的跟踪器组群；不满足要求的“初步匹配的检测-跟踪对”，成为“未匹配”，包括“未匹配检测”和“未匹配跟踪器”。

步骤4-10：对于“未匹配检测”，若其位于“开始域”内，则以此为首帧，生成新的跟踪器，添加进当前的跟踪器组群；若不位于“开始域”内，删除该检测结果。

步骤4-11：对于“未匹配跟踪器”，若预测框超出坐标边界，则该跟踪器成为“完成跟踪器”，从当前的跟踪器组群中删除，且保存为该车辆的时空轨迹数据。

步骤4-12：对于“未匹配跟踪器”，若预测框未超出坐标边界，且丢失帧数N_miss大于500，则该跟踪器成为“完成跟踪器”，从当前的跟踪器组群中删除，且保存为该车辆的时空轨迹数据，其部分示意如表1所示。

表1车辆的时空轨迹数据表格(示例)

步骤4-13：对于“未匹配跟踪器”，若预测框未超出坐标边界，且丢失帧数N_miss不大于500，则该跟踪器成为“丢帧跟踪器”，其丢失帧数N_miss自身加一，进而更新当前的跟踪器组群。

所述的步骤5包括以下分步骤：

步骤5-1：以“经过动态称重系统的时间”、“经过动态称重系统时的车道”为索引，将称重系统获取的车辆信息进行重新排序；

步骤5-2：以“经过动态称重系统的时间”、“经过动态称重系统时的车道”为索引，将视觉系统获取的车辆信息进行重新排序；

步骤5-3：将两系统获取的车辆信息进行逐条比对和匹配，其中仅在一个系统中出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息(轴重、总重、轴型、轴数等)和时空分布信息(时间、轨迹、车速、类型等)，形成车辆时空荷载。

本实施例还提供一种桥梁维护方法，包括采用如上所述的一种桥梁车辆时空荷载监控方法监控桥梁的时空荷载，从而进行桥梁维护。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。