用于使用多传感器检测融合来在物流地面支持设备上进行增强的碰撞避免的系统和方法
阅读说明：本技术 用于使用多传感器检测融合来在物流地面支持设备上进行增强的碰撞避免的系统和方法 (System and method for enhanced collision avoidance on logistics floor support equipment using multi-sensor detection fusion ) 是由 J·E·巴尔 R·F·布希五世 L·D·卡格莱 C·S·达文波特 J·R·加福德 T·J· 于 2019-02-26 设计创作，主要内容包括：一种用于在移动工业车辆上使用多传感器数据融合来对其周围具有反射性信标的高价值资产进行碰撞避免的增强的系统和方法。该系统具有：带有LiDAR和相机传感器的感测处理系统；以及响应于不同传感器的多处理器模块。感测处理系统融合不同的传感器数据以定位反射性信标。车辆上的模型预测性控制器确定可能的控制解决方案,其中每个控制解决方案基于去往从反射性信标投影的突破点的所估计路径来定义车辆在离散时刻处的阈值可允许速度,并且然后基于性能成本函数来标识控制解决方案中的最优的一个,并且控制解决方案中的该最优的一个与最优阈值可允许速度相关联。该系统具有车辆致动器,该车辆致动器被配置成当车辆超过最优阈值可允许速度时作出响应并且更改车辆移动以避免碰撞。(An enhanced system and method for collision avoidance on a mobile industrial vehicle using multi-sensor data fusion for high value assets with reflective beacons in their surroundings. The system has: a sensing processing system with LiDAR and camera sensors; and a multi-processor module responsive to different sensors. The sensing processing system fuses the different sensor data to locate the reflective beacon. A model predictive controller on the vehicle determines possible control solutions, wherein each control solution defines a threshold allowable speed of the vehicle at a discrete time based on an estimated path to a breakthrough point projected from the reflective beacon, and then identifies an optimal one of the control solutions based on a performance cost function, and the optimal one of the control solutions is associated with an optimal threshold allowable speed. The system has a vehicle actuator configured to respond and alter vehicle movement to avoid a collision when the vehicle exceeds an optimal threshold allowable speed.)
优先权申请
本申请在此要求相关和共同拥有的美国临时专利申请的优先权的权益，这些专利申请如下：2018年2月26日提交的并且题为“Systems and Methods for Enhanced Collision Avoidance on Logistics Ground Support Equipment Using Multi-sensor Detection Fusion”的美国临时专利申请No. 62/635,274；2018年3月29日提交的并且题为“Systems and Methods for Enhanced Collision Avoidance on Logistics Ground Support Equipment Using Multi-sensor Detection Fusion”的美国临时专利申请No. 62/650,118；以及2018年5月2日提交的并且题为“Systems and Methods for Enhanced Collision Avoidance on Logistics Ground Support Equipment Using Multi-sensor Detection Fusion”的美国临时专利申请No. 62/665,822。
技术领域
本公开总体上涉及碰撞避免系统领域中的系统、装置和方法，并且更特别地涉及与供移动工业车辆（vehicle）（诸如，货物拖拉机（cargo tractor）和相关联的小车（dolly））使用的增强的碰撞避免结构和技术有关的系统、装置和方法的各个方面。
背景技术
在许多应用中，碰撞避免可能是重要的，该应用诸如高级驾驶员辅助系统（ADAS）、工业自动化和机器人技术。众所周知，常规的碰撞避免系统能减少碰撞的严重性或发生，或者提供提前的碰撞警告。
在工业自动化环境中，某些区域通常禁止车辆（例如，自动化车辆或非自动化车辆）入内以用于保护人员和其中要避免损害的高价值资产。可以通过绘制地图（例如，GPS坐标、地理围栏（geofencing）等）来隔离这些区域，或者由描出禁止进入区域的轮廓来定义这些区域。然后，可以使用碰撞避免系统来避开禁止进入区域或受约束的空间，这保护了人员和/或高价值资产。
常规的碰撞避免系统的一个常见问题可能来自于检测到假阳性以及对假阳性作出反应。例如，碰撞避免系统可能在检测到对象/标记并且没有描出预期标记和非预期反射性表面（诸如，工人安全背心）的轮廓时遭受到假阳性。由于控制系统对所有检测都作出响应，因此检测到假阳性通常会导致欠佳的性能。控制对错误检测的响应可能导致不必要的动作，从而导致效率降低。假阳性检测对自主/半自主系统的影响是特定于应用的。可以将假阳性检测的容限（tolerance）集成到系统设计中。感测平台对应用的能力可以由假阳性检测以及漏检（missed true detection）来定义。使用某些类型传感器的碰撞避免系统遇到的其他常见问题可能是无法处理不同程度的照明、以及无法区分颜色。
为了解决这些类型的问题中的一个或多个，需要一种技术解决方案，该技术解决方案可以被部署以增强用以避免引起对物流车辆（诸如，货物拖拉机和相关联的小车）的损害的碰撞的方式，并且以改进系统性能并且有助于减少假阳性的增强方式来这么做。特别地，所描述的是各种示例性类型的描轮廓方法和系统，其中工业车辆可以使用光检测和测距（LiDAR）传感器和多个颜色相机来检测信标作为标记类型，并且部署一个或多个模型预测性控制系统以阻止车辆进入受约束的空间，作为一种方式以避免损害或避免与高价值资产接触并且提供对象检测和对象避开的增强的实现方式。
发明内容
在以下描述中，某些方面和实施例将变得显而易见。应当理解的是，这些方面和实施例从其最广泛的意义上来说可以在不具有这些方面和实施例的一个或多个特征的情况下被实践。应当理解的是，这些方面和实施例仅仅是示例性的。
通常，本发明的方面涉及改进的碰撞避免系统、方法、装置和技术，它们有助于避免错误的对象检测，并且改进避免涉及不遵循牵引车辆的相同行进路径的被牵引小车的碰撞的能力，牵引车辆诸如移动工业车辆（例如，货物拖拉机，其可以拉动装载有被运输和移动的物品的多个小车，作为一个或多个物流操作的一部分）。
在本公开的一个方面，描述了一种用于由移动工业车辆基于多传感器数据融合来对高价值资产进行增强的碰撞避免的方法。在该方面，高价值资产具有相对于高价值资产而设置的一个或多个反射性信标。该方法开始于：移动工业车辆上的LiDAR传感器检测相对于移动工业车辆的一个或多个反射性信标。然后，移动工业车辆上的相机传感器检测相对于移动工业车辆的一个或多个对象。然后，该方法具有：移动工业车辆上的传感器处理系统融合由LiDAR和相机传感器中的每一个检测到的传感器数据，以使用检测到的LiDAR传感器数据和检测到的相机传感器数据、基于多传感器融合数据源来标识反射性信标的相对位置。然后，该方法具有：移动工业车辆上的模型预测性控制器确定多个控制解决方案，其中控制解决方案中的每一个基于去往从反射性信标的经验证的相对位置径向投影的突破点（breaching point）的所估计路径来定义移动工业车辆在离散时刻处的阈值可允许速度。该方法继续进行于：模型预测性控制器基于性能成本函数将控制解决方案中的一个标识为具有最优阈值可允许速度的最优解决方案。然后，该方法具有：当移动工业车辆超过最优阈值可允许速度时，移动工业车辆上的车辆致动系统响应地致动车辆速度控制元件，以使移动工业车辆在时间窗口内变更移动操作并且实现相对于移动工业车辆的当前速度的期望移动操作。
在本公开的另一方面，描述了一种用于由移动工业车辆基于多传感器数据融合来对高价值资产进行碰撞避免的增强的系统。在该附加方面，高价值资产在其附近设置有一个或多个反射性信标。通常，该方面中的系统包括车辆上的感测处理系统、车辆前部的LiDAR和相机传感器、可以融合传感器数据的多处理器模块、模型预测性控制器和车辆致动系统。多处理器模块响应于来自LiDAR和相机传感器中的每一个的输入，并且有利地融合由这些不同传感器中的每一个检测到的传感器数据，以使用检测到的LiDAR传感器数据和检测到的相机传感器数据、基于多传感器融合数据源来标识反射性信标的相对位置。移动工业车辆上的模型预测性控制器通过以编程方式可操作于如下来配置：确定多个控制解决方案并且将一个控制解决方案标识为最优控制解决方案。控制解决方案中的每一个基于去往从反射性信标的经验证的相对位置径向投影的突破点的所估计路径来定义移动工业车辆在离散时刻处的阈值可允许速度。模型预测性控制器基于性能成本函数来将控制解决方案中的一个标识为与最优阈值可允许速度相关联的最优解决方案。车辆致动系统（具有车辆致动器）被配置成当车辆超过最优阈值可允许速度时通过如下方式来作出响应：使车辆变更车辆的移动操作以避免与高价值资产的碰撞。
在又一个方面，描述了一种用于由移动工业车辆基于多传感器数据融合来对高价值资产进行碰撞避免的另一种增强的系统。在该进一步的方面，增强的系统具有相对于高价值资产上的预指定位置而设置的反射性信标、车辆上的感测处理系统、车辆上的模型预测性控制器、以及车辆上的车辆致动系统。感测处理系统具有：以前向取向安装的LiDAR传感器，用以检测移动工业车辆前方的一个或多个反射性信标；以及以前向取向安装的相机传感器，用以检测移动工业车辆前方的一个或多个对象。感测处理系统进一步包括多处理器模块，该多处理器模块响应于来自LiDAR和相机传感器的输入，并且可操作于融合由LiDAR传感器和相机传感器中的每一个检测到的传感器数据，以使用检测到的LiDAR传感器数据和检测到的相机传感器数据、基于多传感器融合数据源来标识反射性信标的相对位置。为了融合由LiDAR传感器和相机传感器中的每一个检测到的传感器数据以便标识一个或多个反射性信标的相对位置，感测处理系统的多处理器模块被可操作地配置成并且以编程方式可操作于：当检测到一个或多个对象时，基于相机传感器生成的传感器数据来确定一个或多个边界框；当检测到反射性信标时，基于LiDAR传感器生成的传感器数据来确定映射空间；将所确定的边界框投影到所确定的映射空间中；以及将所确定的边界框与在映射空间中检测到的对象进行比较，以验证反射性信标的相对位置。被设置在移动工业车辆上的模型预测性控制器通过以编程方式可操作于如下来配置：确定多个控制解决方案，其中控制解决方案中的每一个基于去往从反射性信标的经验证的相对位置径向投影的突破点的所估计路径来定义移动工业车辆在离散时刻处的阈值可允许速度；以及基于性能成本函数来将控制解决方案中的一个确定为最优解决方案，其中最优控制解决方案与最优阈值可允许速度相关联。车辆致动系统具有至少车辆致动器，该车辆致动器被配置成当移动工业车辆超过最优阈值可允许速度时通过如下方式来作出响应：使移动工业车辆变更移动工业车辆的移动操作以避免与高价值资产的碰撞。
在本公开的仍另一个方面，描述了一种用于由移动工业车辆基于多传感器数据融合来对移动工业车辆的行进方向上的对象进行前方防护（front guard）碰撞避免的增强的系统。在该进一步的方面，该系统包括设置在移动工业车辆上的感测处理系统、车辆上的模型预测性控制器、以及车辆上的车辆致动系统。感测处理系统具有：以前向取向安装的LiDAR传感器，用以检测移动工业车辆前方的对象中的一个或多个；以及以前向取向安装的相机传感器，用以检测移动工业车辆前方的对象。感测处理系统还包括多处理器模块，该多处理器模块响应于来自LiDAR传感器和相机传感器中的每一个的输入，并且可操作于融合由LiDAR传感器和相机传感器中的每一个检测到的传感器数据，以使用检测到的LiDAR传感器数据和检测到的相机传感器数据、基于多传感器融合数据源来标识对象的相对位置。感测处理系统的多处理器模块可操作地配置成融合由LiDAR传感器和相机传感器中的每一个检测到的传感器数据，以便通过以编程方式可操作于如下来标识对象中的一个或多个的相对位置：当检测到对象时，基于相机传感器生成的传感器数据来确定一个或多个边界框；当检测到对象时，基于LiDAR传感器生成的传感器数据来确定映射空间；将所确定的边界框投影到所确定的映射空间中；以及将所确定的边界框与在映射空间中检测到的对象进行比较，以验证对象的相对位置。模型预测性控制器通过以编程方式可操作于如下来配置：确定不同的可能控制解决方案，其中可能控制解决方案中的每一个基于去往从对象的经验证的相对位置径向投影的突破点的所估计路径来定义车辆在离散时刻处的阈值可允许速度；以及基于性能成本函数来将控制解决方案中的一个标识为与最优阈值可允许速度相关联的最优解决方案。车辆致动系统具有至少车辆致动器，该车辆致动器被配置成当移动工业车辆超过最优阈值可允许速度时通过如下方式来作出响应：使移动工业车辆变更移动工业车辆的移动操作以避免与对象的碰撞。
在又一个方面，描述了一种用于由移动工业车辆使用多模式板载（onboard）碰撞避免系统来进行增强的碰撞避免的方法，并且该移动工业车辆可以在多个不同操作区域中操作。在该方面，该方法开始于：当移动工业车辆在不同操作区域中的第一个中操作时，移动工业车辆上的多模式板载碰撞避免系统在第一碰撞避免模式下操作。接下来，多模式板载碰撞避免系统上的多个传感器中的一个检测对象标识标记（诸如，ArUco标记），并且将检测到的第一对象标识标记标识为操作边界标识标记。然后，该方法继续进行于：传感器检测移动工业车辆何时经过与操作边界标识标记相关联的区域性边界并且进入不同操作区域中的第二个，其中当处于不同操作区域中的第二个中时，多模式板载碰撞避免系统自动地并且自主地将操作从第一碰撞避免模式改变成第二碰撞避免模式，从而管控多模式板载碰撞避免系统的操作。在这种情形下，第二碰撞避免模式具有至少一个操作参数（例如，速度限制等），该至少一个操作参数与第一碰撞避免模式下的该操作参数相比更具约束性。
所公开的实施例和示例的这些和其他方面的附加优点将在以下描述中部分地阐述，并且这些附加优点部分地从该描述中将是显而易见的，或者可以通过本发明的实践而获悉。应理解的是，前述一般描述和以下详细描述两者仅仅是示例性和说明性的，而不是限制如所要求保护的本发明。
附图说明
被并入在本说明书中并且构成本说明书的一部分的附图图示了根据本发明的一个或多个原理的若干个实施例，并且与本描述一起用于解释本发明的一个或多个原理。在附图中：
图1是根据本发明实施例的部署在物流环境中的示例性拖拉机碰撞避免系统操作示图的示图；
图2是根据本发明实施例的示例性碰撞避免系统的示例性高级功能框图；
图3是根据本发明实施例的示例性碰撞避免系统的更详细的示图，其中示出有该系统内的不同元件和角色的逻辑分段；
图4是根据本发明实施例的示例性碰撞避免系统的各部分的示例性实现方式细节的示图；
图5是根据本发明实施例的具有与示例性碰撞避免系统一起使用的示例性无源信标上的细节的示图；
图6是根据本发明实施例的示例性图像，该图像图示了如相机和LiDAR传感器看到的示例性无源信标，并且用作针对示例性碰撞避免系统的训练输入；
图7是根据本发明实施例的具有用于示例性碰撞避免系统的进一步示例性训练输入的示图；
图8是图示了根据本发明实施例的用于示例性碰撞避免系统的示例性训练统计信息的示图；
图9是根据本发明实施例的使用示例性碰撞避免系统的与增强的碰撞避免相关的示例性一般处理步骤的框图；
图10是图示了根据本发明实施例的与可以部署示例性碰撞避免系统的示例性拖拉机（工业车辆）和跟随着的小车（拖车）的所估计和所预测的移动有关的示例性运动学模型可视化的一组示图；
图11是根据本发明实施例的确定牵引车辆系统的瞬时状态的动态建模框架的示例性框架示图；
图12是根据本发明实施例的示例性单个刚性物体模型的示图；
图13是根据本发明实施例的具有四个被牵引单元的示例性移动牵引车辆系统的示图；
图14是根据本发明实施例的具有示例性牵引车辆和两个被牵引车辆单元的牵引车辆系统的示例性几何模型的示图，其示出了挂接（hitch）点；
图15是根据本发明实施例的示例性被牵引车辆及其挂接点和相关向量的示图；
图16是根据本发明实施例的示例性牵引车辆和一个被牵引车辆（拖车）的示图，其图示了拖拉机-拖车模型中的特定长度；
图17是根据本发明实施例的示例性牵引车辆和两个被牵引车辆（拖车）的示例性比例模型的示图，其图示了定义一系列虚拟三角形的特定长度和特定半径；
图18A-18C是图示了根据本发明实施例的示例性牵引车辆和示例性被牵引车辆的不同配置状态的示图；
图19是图示了根据本发明实施例的来自图18A-18C的示例性牵引车辆和示例性被牵引车辆之间的三角关系的示图；
图20是图示了根据本发明实施例的示例性系统架构的示图；
图21是示出了根据本发明实施例的车辆的示意图，该车辆相对于不同信标而设置并且移动，该不同信标被放置在受保护区域附近；
图22是根据本发明实施例的用于数据融合的示例性框图；
图23是根据本发明实施例的用于实现信号处理系统的处理模块的示例性高级数据流程图；
图24是根据本发明实施例的示例性无源信标的图示；
图25是根据本发明实施例的来自LiDAR传感器的示例性LiDAR射束相对于设置在LiDAR传感器前方的示例性无源信标的示图；
图26是根据本发明实施例的LiDAR点云的示例性扫描的图示；
图27是根据本发明实施例的示例性信标返回的图示；
图28是根据本发明实施例的特征和关于这种特征的信息的示例性表，其用作从LiDAR信息中对对象的特征的提取的一部分；
图29是图示了根据本发明实施例的由SVM训练优化器选择的最优特征权重的图形；
图30是根据本发明实施例的二维SVM示例图解；
图31是图示了根据本发明实施例的信标和非信标的LiDAR判别值的示例性概率分布函数（PDF）的图解；
图32是根据本发明实施例的从来自相机的边界框开始的数据流的示图，该边界框被投影到LiDAR坐标系中的范围/距离和角度估计中；
图33是根据本发明实施例的从来自相机的边界框开始的数据流的更详细示图，该边界框在使用用于映射这种信息的示例性神经网络结构的情况下被投影到LiDAR坐标系中的范围/距离和角度估计中；
具有部分（a）和（b）的图34图示了根据本发明实施例的两个不同的示例性数据流和融合过程块的示图；
具有部分（a）-（d）的图35图示了根据本发明实施例的当使用模糊逻辑来执行数据融合时的各种不同的示例性模糊隶属度函数和模糊逻辑输出的图形表示；
图36是根据本发明实施例的使用不同的处理技术以及在使用超参数的置信度得分融合的情况下的LiDAR和相机信息的数据流和处理的示图；
图37是示出了根据本发明实施例的LiDAR训练和测试混淆矩阵信息的一系列表；
图38是根据本发明实施例的用于由移动工业车辆基于多传感器数据融合来对高价值资产进行增强的碰撞避免的示例性方法的流程图；
图39是根据本发明实施例的部署在另一示例性物流环境中的另一示例性拖拉机碰撞避免系统操作示图的示图；
图40是根据本发明实施例的部署在另一示例性物流环境中的另一示例性拖拉机碰撞避免系统操作示图的示图，其中示例性拖拉机碰撞避免系统在示例性驾驶车道模式下操作；
图41是根据本发明实施例的部署在另一示例性物流环境中的另一示例性拖拉机碰撞避免系统操作示图的示图，其中示例性拖拉机碰撞避免系统在示例性飞机登机口区域模式下操作；以及
图42是根据本发明的实施例的用于由移动工业车辆使用多模式板载碰撞避免系统来进行增强的碰撞避免的示例性方法的流程图，该移动工业车辆可以在多个不同操作区域中操作。
具体实施方式
现在将详细参考各种示例性实施例。在附图和说明书中，尽可能地使用相同的附图标记来指代相同或相似的部分。然而，本领域技术人员将领会，根据相应实施例的预期部署和操作环境的需要，不同的实施例可以以不同的方式实现特定部分。
以下内容描述了不同系统、装置和应用方法的各种实施例，该系统、装置和应用方法被部署并且用于改进在各种移动工业车辆（诸如，拉动一个或多个小车或拖车的货物拖拉机）的操作期间如何防止和避免与对象和人员（例如，高价值资产）的碰撞。此外，本领域技术人员将领会，附加实施例可以将这些本来独立的解决方案中的一些进行组合，以提供甚至更鲁棒的系统，以用于由移动工业车辆（诸如，货物拖拉机和相关联的小车）来避免与高价值资产的碰撞。如下面更详细地描述。
本领域技术人员将领会，以下描述包括关于示例性动态路径跟随或运动学模型的详细示例性信息，该模型可以被部署为所应用并增强的系统、装置和方法实施例的一部分，该实施例涉及预测多元件移动工业车辆（诸如，具有被牵引小车或拖车的货物拖拉机）的移动和路径作为避免碰撞的一部分。以下描述还包括关于使用多个传感器来生成不同类型的数据（例如，相机数据和LiDAR数据）并且部署具有创新性、创造性且有利的过程的详细实施例的详细示例性信息，该具有创新性、创造性且有利的过程融合了这种不同类型的数据以改进对象（例如，物理结构、飞机、人员等）的检测，作为对如何避免碰撞进行改进的所应用并增强的系统、装置和方法实施例的一部分。
一般而言，本文中描述了具有“前方防护”特征的示例性本地系统，该特征可以作为可用传感器、可行实时控制、以及移动工业车辆上的致动器和传感器的新颖融合来用于碰撞避免，该移动工业车辆诸如可以运输物品（例如，未包装的货品、经包装的货品、以及可用于运输货品的容器）的货物拖拉机和相关联的小车/拖车。一般系统可以使用基于无源信标检测的飞机碰撞避免方法和基于一般对象检测的前方防护，以更好地减少与任何对象的正面碰撞的发生率。此外，这种系统可以使用警告锥体作为用于无源“信标”的平台，货物拖拉机传感器可以将该信标用于关于要保护的易损飞机部分的本地情形感知和定向。更详细地，这种示例性系统可以将货物拖拉机类型的移动工业车辆上的感测和传感器处理系统、由该系统使用的货物拖拉机/小车模型、模型预测性控制器、以及车辆致动系统集成在一起，以避开高价值资产。可以将一个或多个信标放置在关键位置中，以允许对高价值资产的高度鲁棒的检测和避开。可以实现这种系统的进一步使用以实现对象检测和对象避开，这利用了检测到的潜在对象的不同来源的数据融合，并且使用车辆致动系统做出及时反应。
图1是根据本发明的实施例的部署在物流环境中的示例性拖拉机碰撞避免系统操作示图的示图。如图1所示，物流环境包括作为一种类型的高价值资产的示例性飞机100。通常，高价值资产可以被认为是某种设备、结构和/或人员，其中移动工业车辆（诸如，货物拖拉机115及其链接的小车120）在接近这种资产或者在这种资产周围或附近移动时被期望受到限制。实际上，某些区域由于可能具有这种设备、结构和/或人员但不一定必须当前被占用而可以被认为是高价值资产。在本文中描述的各种实施例中，可以建立或确定与这种高价值资产相关联的禁止入内（或受约束的移动）区域作为用于保护该高价值资产的边界。
在图1中，从上方示出的示例性飞机100可以是一种类型的高价值资产，其用于运输物品作为物流拾取和/或递送操作的一部分。如图1所示，示例性飞机100具有从该飞机的前端突出的前锥体结构、每个机翼上的突出的发动机、以及从飞机100的后端突出的尾部结构。本领域技术人员将领会的是，这种突出部是该飞机上的如下点的示例：这些点具有与在该飞机附近操作的移动工业车辆发生碰撞的更大风险。因此，在图1所示的示例中，示例性反射性信标（例如，105a-105d）可以被放置成邻近于这种突出部中的每一个，并且在本文中描述的示例性碰撞避免系统的操作期间被使用。下面关于图5、6和25讨论了与这种示例性无源信标有关的进一步信息。
图1还图示了在示例性飞机100的机身旁边示出的货物装载结构110，在其中可以将物品（例如，未包装的货品、经包装的货品、以及可用于运输货品的容器）从货物拖拉机115及其相关联的小车120装载到飞机100中，或者在其中可以将这种物品从飞机100卸载到货物拖拉机115及其相关联的小车120中，作为不同物流操作的一部分。通常，货物拖拉机115可以在飞机100及其货物装载结构115附近沿着路径125（出于讨论的目的，路径125用图1中的针对实际路径的实线以及图1中针对可能路径的虚线来指出）移动，以便于从与其相关联的小车120向飞机100以及从飞机100拾取和/或递送物品。图1中的信标105周围的同心环指示：高价值资产附近的感测信标105a-d（例如，飞机上的所指出的突出部）和围绕每个滩（beach）的受保护区域（例如，区域106，其受约束以用于禁止进入；区域107，其受约束以用于在进入这种区域时减慢速度）。在货物拖拉机上的传感器套件（suite）的传感器扫描范围108之外的丢失信标未被该传感器套件所跟踪。
在这种类型的物流环境中，可以解释并入了新颖且具有创新性的方面的若干个不同实施例，这些实施例呈现了由移动车辆115及其被牵引车辆（例如，小车和拖车120）在物流操作中避免碰撞的技术问题的技术解决方案。例如，“本地选项”实施例可以利用对自足的自主（或半自主）控制系统的使用，其中感测、计算、决策和动作相对于个体货物拖拉机是本地的。以该方式，这种实施例增强了用于货物拖拉机115的碰撞避免系统，该系统不需要与其他车辆或附加基础设施进行通信。
在另一个示例中，实施例可以包括使用逆向有效（retro effective）的表面（例如，反射性信标105a-d的胶带表面或涂漆表面）的无源信标。通常，这种信标可以与货物拖拉机上的增强的碰撞避免系统一起使用，以改进该系统的天气能力，降低系统复杂性，并且便于相对于保护高价值资产（诸如飞机）与现有标准物流操作过程进行有利的低影响集成。
在仍另一个示例中，实施例可以相对于货物拖拉机及其被牵引车辆（例如，小车/拖车）来部署新颖的运动学模型和预测性计算，以有助于由货物拖拉机以及相关联的被牵引小车来防止碰撞，即使没有在小车上部署有源检测机构。通常，运动学模型用于通知在货物拖拉机上部署的处理系统上执行的对移动车辆系统（即，动力车辆以及跟随的所链接的被牵引车辆）的可能未来状态的计算。因此，当使用这种模型和计算作为示例性系统的一部分时，沿着小车队列的侧面的虚拟周界130可以有效地约束该系统，以防止碰撞使相关联的被牵引小车120偏离轨迹（off-tracking）。如图1所示，周界130的加宽轨迹轮廓指示在概率上确定的小车位置，该示例性碰撞避免系统可以使用该位置，而无需在小车上部署实际的位置传感器（例如，经由跟踪并且考虑检测到的对象的持久性，而无需利用另外的传感器在被牵引小车120队列的侧面上继续检测这种对象作为示例性的模型和计算的一部分）。
在又一个示例中，“前方防护”类型的实施例可以使用不同的传感器（诸如，光检测和测距（LiDAR）传感器）和一个或多个相机（例如，立体相机或两个单目（mono）相机），来检测在移动货物拖拉机115的行进方向135上的对象（包括人类、垫木（chock）、锥体、盒子等，但不一定限于反射性信标）。基于融合类型的系统的该实施例增强了碰撞检测，其中可能会涉及到车辆致动控制并且自动应用车辆致动控制以防止碰撞（例如，利用油门和/或制动来应用速度控制）。在一些前方防护实施例中，可以对传感器数据进行过滤以仅观察由移动货物拖拉机115的路径定义的空间。如下面更详细地描述的，进一步的前方防护实施例可以使用来自（一个或多个）LiDAR/相机的传感器数据的动态可调节视场（FOV），从而允许实施例对移动货物拖拉机115的路径中的对象、和/或移动货物拖拉机115的移动中的改变自适应地作出响应（例如，由于移动货物拖拉机115的角速度而响应地改变FOV）。
在利用其他类型的传感器（诸如，LiDAR和单目相机传感器）来寻找信标的示例中，该系统还可以经由相机检测边界框到LiDAR空间中来融合不同类型的传感器数据，在计算控制解决方案时利用货物拖拉机115和相关联的小车120的状态的可预测性，并且实现针对每个潜在控制解决方案的成本函数，以实时或接近实时地确定特定时刻（例如，时间/空间中的时刻）处的最大可允许速度。利用该确定的速度限制，该系统可以监测实际速度，并且可以使用对货物拖拉机车辆的制动器和/或油门进行致动的反馈控制系统来在时间窗口内实现响应性的减速动作以实现期望速度。由此，该系统实施例利用基于模型的计算以针对与检测到的信标的碰撞来确定最短可实现路径，并且利用该系统的预测性控制器部分，该预测性控制器部分可以连续地或周期性地更新沿着这种路径的最大可允许速度。如图1所示，区域106表示感测信标的速度管控区，其针对穿越该区的任何货物拖拉机，而区域107表示虚拟屏障，该虚拟屏障表示禁止行进或进入侵入的区。
通常，可以利用能够拉动一个或多个小车或拖车120的货物拖拉机类型的车辆来实现示例性移动工业车辆115，该示例性移动工业车辆115可以被部署为示例性增强的碰撞避免系统及其操作方法的一部分，该小车或拖车120装载有要运输的物品（例如，在各地方之间被运输、被装载到物流运输工具上、或从物流运输工具卸载）。这种示例性货物拖拉机115可以被增强以使用各种板载感测设备（例如，LiDAR、立体相机、单目相机、超声传感器、激光测距仪、雷达等）。可以使用一个或多个托架将这种板载感测设备固定到货物拖拉机。还可以将传感器对准工具固定到货物拖拉机的前格栅板（front grill plate），以用于帮助这种板载感测设备的对准。货物拖拉机可以进一步包括防风雨的外壳，该外壳保护构成了货物拖拉机的这种示例性增强的碰撞避免系统的元件的电气和电子组件套件，以免不想要的水、化学物质和其他碎屑进入。在一般的实施例中，这种电气和电子组件可以包括：管理该增强的碰撞避免系统中的多个设备的电源和信号接口的系统接口印刷电路板、传感器处理系统、并入并且利用预测性运动学模型的模型预测性控制器、以及如下面更详细地描述的车辆致动系统。
图2是根据本发明实施例的示例性碰撞避免系统的示例性高级功能框图，其示出了这种系统200的一般操作流程。现在参考图2，感测模块205通常接收并且检测关于货物拖拉机的环境的信息（例如，相机图像、LiDAR感测到的输入等）。在进行感测时，该系统的传感器处理系统利用不同类型的感测信息，并且可操作于识别对象并且了解被感测的场景（例如，是否存在基于不同传感器输入而检测到的反射性无源信标）。接下来，在预测性控制块210中，可以使用示例性运动学模型和状态估计225来生成多个实时“前瞻”控制解决方案。接下来，将这些解决方案馈送到致动器控制215、车辆致动（经由油门和制动）220、车辆动力学数据库230（例如，各种车辆参数的特性，诸如车辆质量、制动力等）和反馈补偿器235的反馈控制系统，以使得该系统对已识别的对象作出响应并且利用该预测性控制解决方案以应用最佳控制解决方案，以改进并增强该系统如何针对所涉及的特定车辆来避免碰撞。
图3和图4图示了这种示例性增强的碰撞避免系统的不同元件的进一步细节。特别地，图3是根据本发明实施例的示例性碰撞避免系统300的更详细的示图，其中示出有该系统内的不同元件和角色的逻辑分段。现在参考图3，示出了示例性增强的碰撞避免系统300的元件，它们被分类成五个不同类型的系统段：传感器305、传感器处理310、碰撞避免控制315、车辆运动控制320和致动器325。在该示例性实施例中，示例性系统300的传感器段305部分包括：本体感觉传感器（诸如，制动器压力传感器305a、用于车轮速度和油门百分比的ECU相关传感器305b、以及位置传感器305c（例如，基于惯性测量的传感器（加速度计、陀螺仪、磁力计）和基于接收器的定位系统（GPS、无线蜂窝电话定位电路等））、以及外部感觉传感器（诸如，相机305d、e或者LiDAR传感器305f）。该示例性系统的信号处理段310部分包括在处理平台上运行的基于软件的模块310a、310b，该处理平台对来自外部感觉传感器的传感器输入执行信号处理310a（例如，针对相机数据的卷积神经网络处理、针对LiDAR数据的数据群集（cluster）和支持向量机（SVM）处理），并且使用对象和地图信息的数据库310c来对每个经处理的传感器输入执行数据融合处理310b。
示例性系统300的碰撞避免控制段315部分包括在实现模型预测性控制器（MPC）315a的其他处理平台（与传感器处理段310分离）上运行的基于软件的模块。通常，MPC 315a确定控制解决方案，以确定在时间/空间中的离散时刻处的最大可允许速度。更特别地，MPC315a的实施例采用前瞻策略，并且适用于使用监督控制的离散事件管理。在操作中，该碰撞避免控制段315中的MPC 315a在有限预测范围内计算该组控制输入的可能控制结果。利用性能评估函数（也被称为与性能指标有关的“成本”函数），MPC 315a预测并且评估上述预测范围内的所有可到达的系统状态以使得可以找到最优结果，并且可以选择对应的系统控制输入并且将其传输到车辆控制器（即，车辆运动控制段320）。例如，在一个实施例中，对“最优”的使用可以意味着沿着针对碰撞避免的最可能实现的路径的所预测的控制解决方案，该路径导致对车辆速度的最小限制，同时确保了防止碰撞。重复该过程，直到达到预定目标为止，诸如系统在远离无源信标和其他障碍物的安全区中操作。由此，MPC 315a可以用于碰撞避免、前方防护、空间感知、聚焦于本地选项的解决方案、系统运动学、车辆动力学、假阳性缓解、以及在移动工业车辆上部署的信标/对象持久性、以及如本文中提及的在货物拖拉机类型的车辆上使用这种增强的碰撞避免系统的解决方案。此外，MPC 315a能够访问一个或多个数据库315b，数据库315b其上存储有预测性运动学模型信息以及车辆动力学信息。示例性系统300的车辆运动控制段320部分包括在实现车辆制动反馈控制系统320a的又一个处理器（例如，微控制器）上运行的软件模块，该车辆制动反馈控制系统320a从数据库320b访问车辆动力学信息并且作为反馈补偿器而操作，以向车辆致动器325（诸如，货物拖拉机的油门和/或制动系统、和/或货物拖拉机上的挡位选择器）提供输入。
虽然图3更多地从数据处理和数据流的角度提供了与实施例有关的实现方式细节，但是图4是图示了根据本发明实施例的这种示例性增强的碰撞避免系统400的元件的示例性硬件实现方式细节的示图。现在参考图4，该示例性硬件集成示图图示了三个不同的核心处理系统或控制器，即传感器数据处理器405、碰撞避免控制器410和车辆反馈致动控制器415。本领域技术人员将领会，这些处理器/控制器中的每一个都可以使用一个或多个不同的基于处理器的系统（例如，通用图形处理单元（GP-GPU）、中央处理单元（CPU）、微处理器、微控制器、多处理器、多核处理器、片上系统（SoC）或其他基于离散处理的设备）来实现，这些基于处理器的系统可以包括板载通信接口、I/O对接电路、以及用于与相机、LiDAR、网络交换组件、ECU、IMU、以及车辆致动器和车辆传感器元件对接的相关联***电路，如所描述的使用应用所要求的那样。
例如，如图4所示，示例性传感器数据处理器405使用USB 3.1连接来从不同相机（例如，相机1 305d和相机2 305e，每个相机可以被实现为前视红外相机传感器）接收输入，该USB 3.1连接用于更快地、且更鲁棒地将信息从传感器传输到传感器数据处理器405的嵌入式多处理器（例如，2个NVIDIA Jetson TX2嵌入式AI计算设备，它们是在模块上的本质上不同的AI超级计算机以用于在边缘应用中使用，其中每个计算设备都具有CPU和GPU结构与各种标准对接硬件）。传感器数据处理器405还通过以太网连接（例如，经由以太网交换机420）从LiDAR传感器305f接收LiDAR输入。利用这些输入，传感器数据处理器405（其可以用CPU和GPU处理器两者来实现）可操作于使用相机和LiDAR数据的新颖融合来检测信标和对象。更具体地，LiDAR传感器305f检测信标并且将信标与其他对象（诸如，人员、车辆、货物拖拉机等）区分开。相机305d、e检测多个对象（诸如，人员、信标、垫木、车辆等），并且将相机数据提供给传感器数据处理器405，其中可以使用学***的增强和改进的性能。
图4中所示的示例性碰撞避免控制器410具有至传感器数据处理器405的以太网连接，并且可以例如使用具有GPGPU/CPU硬件和板载对接硬件的NVIDIA Jetson TX2模块来实现该碰撞避免控制器410。碰撞避免控制器410运行模型预测性控制软件模块315a，该模型预测性控制软件模块315a被用作一种类型的前瞻控制器，该前瞻控制器预测去往从信标位置径向投影的空间中的突破点的最短可能路径。
在一个实施例中，在碰撞避免控制器410上运行的模型预测性控制（MPC）软件315a并入了拖拉机和小车的系统运动学模型（下面详细描述了其示例性实施例），以预测拖拉机/小车队列的任何部分与高价值资产之间的潜在碰撞。如上所指出，MPC软件315a计算控制解决方案，以确定在时间/空间中的任何离散时刻处的最大可允许速度。碰撞避免问题的及时性意味着实时或基本上实时地执行MPC解决方案的计算。特别地，本领域技术人员将领会，由在碰撞避免控制器410上运行的MPC软件315a确定的控制解决方案涉及一大组可能的解决方案，其中计算了防止碰撞的每个解决方案的成本。成本函数对由MPC确定的每个可能的解决方案的成本进行比较，并且MPC软件315a可以基于成本函数定义的标准来选择可能的解决方案中的最优的一个。由于可以独立地计算每一个可能的解决方案，因此MPC软件315a的实施例可以利用碰撞避免控制器410所使用的实时操作系统、并且在一些实施例中利用碰撞避免控制器410本身的多核/多线程能力（例如，在NVIDIA Jetson TX2计算模块中使用的支持256 CUDA的核心并行计算平台和NVIDIA Pascal GP-GPU处理复合物）来并行地计算这种解决方案。
如本文中描述，在碰撞避免控制器410上运行的MPC软件315a进一步用于速度管控（例如，计算控制解决方案以确定在时间/空间中的离散时刻处的最大可允许速度）。碰撞避免控制器410可以从定位电路和元件3005c（诸如，货物拖拉机上的GPS、或惯性测量单元、或其他位置传感器（如图3中所示））接收信息。作为增强的碰撞避免系统400的实施例的一部分，碰撞避免控制器410将控制器局域网（CAN）总线上的输出提供给车辆反馈致动控制器415。这种CAN总线为车辆通信以及与货物拖拉机的部分（诸如，制动器和油门、货物拖拉机上的ECU 3005b）的汽车对接提供了标准机制。
图4中所示的示例性车辆反馈致动控制器415具有至碰撞避免控制器410的CAN连接、以及其他对接电路（例如，模拟、脉冲宽度调制（PWM）或其他并行、串行、数字或其他感测/致动线接口），用以控制货物拖拉机的部分（例如，制动器和油门）。示例性车辆反馈致动控制器415可以例如使用具有硬件和板载对接硬件的Arduino Due单板32位ARM核心微控制器模块来实现。在示例性车辆反馈致动控制器415上运行的车辆致动反馈控制软件320a通常计算减速率，以在特定时间窗口内达到期望的速度。由在控制器415上运行的车辆致动反馈控制软件320a实现的反馈控制系统对拖拉机制动器和油门控件325进行致动，以实现所计算的加速度或减速度。如果需要，该反馈系统能够使车辆完全停止（例如，如果移动工业车辆正在接近反射性信标105周围的禁止进入区域106）。
因此，图3和图4提供了与增强的碰撞避免系统、以及操作这种增强的碰撞避免系统的方法的实施例有关的示例性功能、软件和硬件实现方式细节。附加地，本领域技术人员将领会，尽管图4示出了三个有区别且不同的处理器/控制器硬件设备，但是示例性增强的碰撞避免系统的进一步实施例可以利用基于单个或其他多个处理器或逻辑的解决方案来实现这些，该基于单个或其他多个处理器或逻辑的解决方案具有各种基于软件的模块从而操作于执行所描述的增强的碰撞避免功能。
图5是图示了根据本发明实施例的与示例性碰撞避免系统一起使用的示例性无源信标500上的细节的示图。通常，这种示例性无源信标500可以具有特性形状，以便产生特定可识别的返回，该返回可以更容易地被标识为信标，这与其他对象形成对照并且与其他对象相反。例如，在特定实施例中，示例性无源信标500可以是其上具有高反射性材料的高且薄的对象，以便作为高且明亮的对象而显著，而其他对象（例如，货物拖拉机、人员等）可能具有明亮的返回，但是相比之下通常要宽得多。
现在参考图5，示出了这种示例性无源信标500的示例，该信标500将基座支撑部505（例如，交通锥体）与从该基座支撑部向上延伸的杆510集成在一起。该杆包括沿着该杆的长度而设置的反射性材料。这种材料可以是近红外和可见光谱内的逆向反射性（retro-reflective）带，但是其他实施例可以包括其他类型的反射性材料，该其他类型的反射性材料对应于可由货物拖拉机上使用的传感器（诸如，LiDAR传感器）检测到的材料。通过将该杆与基座支撑部集成在一起，可以增加该信标对于作出感测的货物拖拉机及其传感器的可见度。如图5中所示，车辆115上的示例性LiDAR传感器515可以具有接收的特性距离/角度，其中由于该杆的使用而导致的信标的这种增加的高度为LiDAR的检测工作呈现了更好的目标。例如，图5中所示的示例性LiDAR传感器515是8射束LiDAR单元，其射束在不同的高度和方位角处聚焦。由这种示例性LiDAR传感器检测到的数据通常包括空间和强度上的离散点。
然而，货物拖拉机上的一些传感器（诸如，单目相机）可以使用该基座支撑部（例如，交通锥体）的颜色和/或形状作为区别特征，该区别特征用于结合由LiDAR捕获到的返回来对该信标进行增强的检测。在一个实施例中，该信标可以是无源且无供电的。然而，本领域技术人员将领会，该信标的其他实施例可以是有供电的，以向货物拖拉机的传感器套件提供更多的可见度（例如，利用可以被识别的灯光或闪烁光来进行照明等）。
此外，虽然图5中所示的信标500的实施例是与高价值资产（诸如飞机）不同的分离放置的无源信标结构，但是该信标的另一实施例可以利用固定到高价值资产的一部分或作为高价值资产的一部分的组成部分的反射性符号或材料来实现。以这种方式，该信标的这种实施例可以是例如飞机机翼的边缘、发动机、前锥体、尾部结构、或飞机的其他突出部分（其可能比飞机的其他部分具有更多的碰撞风险）的一部分。可以利用来自这种高价值资产的可延伸结构来实现进一步的实施例，其中当存在针对移动工业车辆（诸如，货物拖拉机）在高价值资产附近内出现的时机时，这种可延伸结构可以从隐藏位置或收起位置中被选择性地部署或致动到展开的活动位置，在该展开的活动位置中，这种可延伸结构可以被检测到。例如，示例性高价值资产（诸如，飞机或拖拉机/拖车）可以具有可延伸的反射性信标，该反射性信标可以被致动以便在高价值资产上的展开活动位置中变得可见。
图6是根据本发明实施例的示例性图像600，其图示了如示例性相机和LiDAR传感器看到的示例性无源信标505/510，并且用作针对示例性碰撞避免系统的训练输入。现在参考图6，图像600是由货物拖拉机上的相机捕获的示例性视觉图像。相机将该图像作为感测数据提供给相机的信号处理软件，该信号处理软件然后将经处理的数据提供给在传感器数据处理器上运行的数据融合软件模块，以使得可以识别出该信标/锥体的边界框605，并且将该边界框605与坐标X top、Y top、X bottom和Y bottom相关联。由此，图6中所示的针对信标/锥体505/510（并且由坐标表示）的边界框605是去往数据融合软件模块的输入。LiDAR作为另一类型的感测数据来检测该信标/锥体，并且将该LiDAR数据提供给LiDAR传感器的信号处理软件，该信号处理软件然后将经处理的数据提供给在传感器数据处理器上运行的数据融合软件模块，以使得关于检测到的LiDAR空间的信息可以是去往在传感器数据处理器上运行的数据融合软件模块的另一个输入。在图7中示出了这种检测到的LiDAR空间的示例，其中示例性图像700以图形形式示出了“训练数据”的分布。在图7中，图解700中所示的训练数据用于神经网络，以学习LiDAR与相机之间的映射。当LiDAR射束与环境中的对象相交时，LiDAR就返回表示坐标和强度值的点云数据。相机生成图像。经由深度学习系统在该图像中检测对象，并且用边界框来描出该对象的轮廓。在图6中所示的示例中，边界框具有描出该区域轮廓的坐标：左上角的x和y坐标（x top，y top）以及右下角的x和y坐标（x bottom，ybottom）。在操作中，LiDAR确定每个检测到的对象的中心，并且报告与该对象的距离和角度。因此，神经网络对LiDAR距离和角度与来自相机检测边界框的边界框数据之间的映射进行学习。
更详细地，对于图7中所示的示例，存在针对信标而收集的1752个样本、以及针对锥体而收集的1597个样本。在该特定示例中，这些样本覆盖了从左到右大约+/- 20度的相机视场，并且感兴趣的区域在前方大约5至20米。由此，图7中所示的图解700图示了采样点，这些采样点示出了针对每个采样点的范围（沿着y轴的米数）以及从中心起的从左到右的度数（沿着x轴）。
图8是图示了根据本发明实施例的用于示例性碰撞避免系统的示例性训练统计信息的图形示图800。现在参考图8，一旦对该系统进行了训练，就已经学习了对信标的相机边界框与LiDAR范围和角度测量结果之间的关系进行估算。例如，图8中的图解800示出了预测位置（具有“o”符号）与真实位置（具有“Δ”符号），并且在该示例中根据错误率、错误的均值和错误的方差来表征系统错误率。这些是用于评估错误的标准指标。
鉴于对用于移动工业车辆（诸如，动力货物拖拉机以及跟随的被链接/被牵引的小车）的示例性增强的碰撞避免系统的以上描述，图9是根据本发明实施例的与增强的碰撞避免相关的示例性一般数据融合过程步骤900的框图。现在参考图9，传感器输入流程在该示图的任一侧上开始，其中相机输入在左侧上，并且LiDAR输入在右侧上。例如，在图9的左侧上的是框905，框905表示对相机之一（诸如，图3或图4中所示的相机）捕获的相机输入数据（例如，相机图像）所做的操作。图3的数据融合软件模块310b操作于获取相机输入，识别并检测对象（诸如，图像中的信标/锥体），并且创建表示该信标/锥体的图像坐标的边界框。然后，作为数据融合软件模块310b的一部分而运行的相机对象识别深度学***，然后将输出915确定为检测到的信标/锥体的距离和角度。从图9的右侧开始，由数据融合软件模块来使用LiDAR输入920，以基于这种LiDAR数据来分离地检测信标/锥体的距离和角度。通常，信标/锥体在LiDAR数据中将看起来是明亮的（由于桩的反射性强度）并且相对较高。数据融合软件模块310b然后能够将对信标/锥体距离和角度的基于LiDAR的确定与对信标/锥体距离和角度的基于相机的确定进行比较，作为“融合”两种类型的数据或数据流的一部分。以这种方式，该系统通过融合这种不同的数据源来相对于货物拖拉机车辆平台更好地检测并识别对象，从而有利地改进了性能和准确度。附加地，该系统通过如下方式而改进了性能：通过经由深度学习方法将信标投影到相机图像中来减少来自LiDAR的假阳性检测，并且使用从相机到LiDAR空间的经神经网络学习的投影来验证该检测。
如上所讨论，在碰撞避免控制器410上运行的MPC软件模块315a的实施例可以利用运动学模型，该运动学模型用于不仅对货物拖拉机的位置、而且还对小车的位置进行空间感知和估计，而无需在小车上具有提供实时反馈的传感器。这种示例性运动学模型（也被称为动态路径跟随模型）的更详细描述在下面作为本详细描述的一部分而出现。当使用运动学模型作为在碰撞避免控制器410上运行的MPC软件模块315a的一部分时，控制器410有权访问惯性测量单元（IMU）305c位置信息（诸如，前进方向和加速度计数据）、以及来自货物拖拉机的ECU 305b信息（诸如，车轮速度数据）。在一个实施例（例如，本地选项）中，可能仅知道货物拖拉机相对于检测到的对象的位置。在一些实施例中，可以从前进方向、加速度和车轮速度数据的组合来对该系统的移动进行内插或外推。
使用该数据，由MPC软件模块315a运行的运动学模型实现方式能够估计出跟随着货物拖拉机的小车相对于该货物拖拉机的位置和取向。图10是图示了根据本发明实施例的与可以部署示例性碰撞避免系统的示例性拖拉机（工业车辆）和跟随着的小车（拖车）的所估计和所预测的移动有关的示例性运动学模型可视化的一组示图1005-1020。现在参考图10，最左边的可视化1005示出了排成一列地拉动两个示例性小车的拖拉机。在下一个可视化1010-1015中，货物拖拉机向右转向。由于小车的旋转滞后于货物拖拉机的移动，因此使用运动学模型来计算并估计小车移动。这可以被示出在最右边的可视化1020中，其中货物拖拉机的红色轨迹不同于最前方小车的蓝色轨迹和下一个小车的黄色轨迹——当货物拖拉机做出转弯并且小车跟随时，它们中没有一个被示出为排成一列。
鉴于对示例性增强的碰撞避免系统以及可以如何利用硬件和软件元件来实现该系统的实施例的以上描述，以下内容是对用于可以利用并使用根据本发明实施例的这种系统的增强的碰撞避免的示例性方法的描述，该系统聚焦于避开高价值资产（诸如，飞机的一部分、特定设备、或人员或设备可能位于其中的区域）。例如，该系统可以在集成了如下各项的实施例中实现：感测和传感器处理系统（例如，在传感器数据处理器模块上运行的信号处理软件和数据融合软件），其使用有区别且不同类型的传感器数据来检测和识别对象和信标，这些传感器数据有利地被融合以改进检测；模型预测性控制器（例如，在利用实时能力操作的碰撞避免控制器模块上运行的模型预测性控制软件），其利用货物拖拉机/小车运动学和车辆动力学模型以用于碰撞避免和速度管控；以及车辆致动系统（例如，在车辆反馈致动控制器模块上运行的车辆致动反馈控制软件），其与车辆控件进行对接以帮助移动工业车辆及其被牵引小车避开高价值资产。一个或多个信标被放置在关键位置中，以允许对高价值资产的高度鲁棒的检测和避开。
在一般操作中，该方法的实施例开始于：第一传感器（LiDAR）检测信标，并且将信标与其他对象（诸如，人员、车辆、货物拖拉机等）进行区分。该方法继续于：第二传感器（（一个或多个）相机）检测一个或多个对象（诸如，人员、信标、车辆等）。有利地，可以通过首先基于第二传感器（相机）捕获的传感器数据来确定边界框并且基于第一传感器（LiDAR）捕获的传感器数据来确定映射空间从而融合这些数据。然后，将确定的边界框投影到所确定的映射空间中，并且然后将其进行比较，以对如何标识标明了相对于高价值资产的位置的信标进行改进，并且在某些情况下还会区分可能对货物拖拉机相对于高价值资产的预测移动造成风险的其他对象的标识。以这种方式，该方法利用两个数据源的融合来提供碰撞避免系统的改进的、增强的且更鲁棒的性能。
该方法的实施例接下来使用控制器以估计去往从信标位置径向投影的空间中的突破点的最短可能路径。例如，这可以通过在利用实时能力操作的碰撞避免控制器模块410上运行的模型预测性控制（MPC）软件315a来实现，其中MPC软件315a（例如，从传感器数据处理器405）接收关于定位信标的信息，并且可以确定相对于信标和拖拉机速度的货物拖拉机轨迹。启用了MPC软件315a的碰撞避免控制器410作为一种类型的受限前瞻控制器来操作。由此，MPC软件315a预测去往从信标位置径向投影的空间中的突破点的最短可能路径（并且是在利用相对于来自IMU信息的信标和拖拉机速度的所确定的货物拖拉机轨迹的情况下），以及MPC软件315a在参考并利用了拖拉机和小车的系统运动学模型（诸如，上面描述的模型和下面描述的实施例中更详细地引用的模型）的情况下，还可以预测货物拖拉机115和小车队列120的任何部分与高价值资产（例如，飞机100）之间的潜在碰撞，而无需主动检测跟随着货物拖拉机的任何被牵引车辆的位置。
该示例性方法继续进行于：MPC软件315a生成多个控制解决方案，以确定在时间/空间中的离散时刻处的最大可允许速度。本领域技术人员将领会到如下操作的必要性：在给定一大组可能的解决方案和时间约束的情况下，实时或近实时地生成这种控制解决方案，以用于能够在货物拖拉机及其被牵引的小车群组继续移动时基于这种所生成的控制解决方案来做出快速决策。更详细地，由在碰撞避免控制器模块410上运行的MPC软件315a生成的控制解决方案中的每一个可以利用成本函数来实现，该成本函数对每个控制解决方案的成本进行比较，其中可以基于由成本函数定义的标准来选择最优解决方案。例如，相对于使货物拖拉机在较长距离上逐渐减速（这产生较低的性能成本），同时保持在相对于信标附近区域的速度管控限制内或其他速度限制内，以适应要运输的特定物品、被牵引的小车的数量、在小车上运输的东西的质量等的另一个控制解决方案，使货物牵引车迅速减速并且然后在相同距离上行进的控制解决方案可能会产生更高的性能成本。
在货物拖拉机115已经超过了由启用了MPC软件315a的碰撞避免控制器410所计算的最大可允许速度的情况下，该方法可以继续进行以使车辆反馈致动控制器计算减速率，以在固定时间窗口内达到期望的速度。作为该方法中的该步骤的一部分，以车辆致动反馈控制软件320a体现的反馈控制系统通过对货物拖拉机的制动器和/或油门控件进行致动来操作，以实现所计算的减速度或加速度。本领域技术人员将进一步领会，作为该示例性方法的一部分，如果需要的话，车辆反馈致动控制器还可以使货物拖拉机完全停止，诸如当货物拖拉机和被牵引小车接近由一个或多个信标标明的装卸/卸载区域时，或者当货物拖拉机和被牵引小车接近并且具有该货物拖拉机本身前方的信标时。
这种一般方法实施例与根据本发明实施例的在图38的流程图中描述的方法的示例性实施例一致。现在参考图38，方法3800开始于步骤3805，其中移动工业车辆（例如，货物拖拉机）上的LiDAR传感器检测相对于移动工业车辆的一个或多个反射性信标。这种反射性信标可能已经处于适当位置，或可替代地，方法3800可以包括如下步骤：在步骤3805中的检测之前，相对于高价值资产来放置或部署一个或多个反射性信标。以这种方式，示例性反射性信标可以在物理上被放置得靠近或紧邻高价值资产上的预先指定的位置，诸如飞机的突出部分（例如，飞机的机头、从飞机机翼延伸的发动机机舱、飞机机翼的尖端等）、预计有人员将穿越其中的区域、或固定设施。对反射性信标的部署还可以通过如下方式来完成：激活作为高价值资产的不可分割部分的反射性信标，或者对这种不可分割的反射性信标进行致动以从相对于高价值资产的隐藏位置或收起位置变得可见。
在步骤3810处，方法3800继续进行于：移动工业车辆上的相机传感器检测相对于移动工业车辆的一个或多个对象。在步骤3815处，方法3800使用移动工业车辆上的示例性传感器处理系统来融合由LiDAR传感器和相机传感器中的每一个检测到的传感器数据，以使用检测到的LiDAR传感器数据和检测到的相机传感器数据、基于多传感器融合数据源来标识一个或多个反射性信标的相对位置。更详细地，作为步骤3815的一部分的融合可以具体地利用传感器处理系统进行如下操作来实现：当检测到一个或多个对象时，基于相机传感器生成的传感器数据来确定一个或多个边界框；当检测到一个或多个反射性信标时，基于LiDAR传感器生成的传感器数据来确定映射空间；将所确定的一个或多个边界框投影到所确定的映射空间中（例如，通过使用如下面更详细地描述的常规神经网络）；以及将所确定的一个或多个边界框与在映射空间中检测到的对象进行比较，以验证一个或多个反射性信标的相对位置。
在步骤3815的仍另一个实施例中，可以通过当传感器处理系统在执行上述子步骤中的一些时部署模糊逻辑和置信度得分的时候来实现融合。例如，融合的这种更详细的实现方式可以包括传感器处理系统进行如下操作：当检测到一个或多个对象时，基于相机传感器生成的传感器数据来确定一个或多个边界框和相机置信度得分；当检测到一个或多个反射性信标时，基于LiDAR传感器生成的传感器数据来确定映射空间和LiDAR置信度得分；将所确定的一个或多个边界框投影到所确定的映射空间中以标识一个或多个对象的相对位置，并且基于相机置信度得分和LiDAR置信度得分来确定最终置信度得分；当一个或多个对象中的特定一个对象的最终置信度得分低于置信度阈值时，忽略一个或多个对象中的该特定一个对象的所标识的相对位置；以及将所确定的一个或多个边界框与在映射空间中检测到的对象进行比较，以验证基于其相应最终置信度得分而未被忽略的一个或多个对象的相对位置。
在步骤3820处，方法3800具有：移动工业车辆上的模型预测性控制器确定多个控制解决方案，其中控制解决方案中的每一个基于去往从一个或多个反射性信标的经验证的相对位置径向投影的突破点的所估计路径来定义移动工业车辆在离散时刻（时间/空间中的时刻）处的阈值可允许速度。模型预测性控制器在步骤3825处继续进行，以基于性能成本函数来将控制解决方案中的一个标识为最优解决方案，其中控制解决方案中的一个与最优阈值可允许速度相关联。
在步骤3830处，方法3800继续进行于：当移动工业车辆超过最优阈值可允许速度时，移动工业车辆上的车辆致动系统响应地致动车辆速度控制元件（例如，油门、制动器），以使移动工业车辆在期望的时间窗口内变更移动操作（以免在响应性方面滞后）并且实现相对于移动工业车辆的当前速度的期望移动操作。
方法3800的进一步实施例，移动工业车辆可以由若干个轮式车辆来实现，该轮式车辆例如动力车辆（诸如，货物拖拉机）以及多个连续链接到该动力车辆的被牵引车辆（诸如，通过挂接物（hitch）而链接到每个小车前方的相应车辆的小车）。由此，确定不同控制解决方案的步骤可以利用移动工业车辆上的模型预测性控制器确定这种控制解决方案来实现，其中控制解决方案中的每一个基于该动力车辆和被牵引车辆去往从一个或多个反射性信标的经验证的相对位置径向投影的突破点的所预测路径来定义组成移动工业车辆的集体车辆在时间/空间中的离散时刻处的阈值可允许速度，并且其中这种所预测路径由模型预测性控制器来确定，而无需主动检测跟随该动力车辆的任何被牵引车辆的位置。
本领域技术人员将领会，可以利用诸如至少参考图2-4所描述的示例性增强的碰撞避免系统（或如下面更详细描述的这种系统的实施例）之类的装置或系统、并且利用上述传感器套件、以及不同的处理器模块/控制器模块、以及如上所描述的在不同的处理器/控制器模块上运行的不同软件模块来实现如上面公开和解释的这种方法实施例。这种软件模块可以被存储在每一个处理器/控制器模块中的非暂时性计算机可读介质上。因此，当执行这种软件模块时，用于碰撞避免的增强系统的集体处理器/控制器模块可以可操作于执行来自上面公开的示例性方法的操作或步骤，包括该方法的变型。
在另一个实施例中，用于增强的碰撞避免的进一步方法可以利用并使用根据本发明实施例的类似系统，该系统聚焦于对象检测和对象避开。例如，这种系统可以在另一个实施例中实现，该另一个实施例也集成了如下各项：感测和传感器处理系统（例如，在传感器数据处理器模块上运行的信号处理软件和数据融合软件），其使用有区别且不同类型的传感器数据来检测和识别对象和信标，这些数据有利地被融合以改进检测；模型预测性控制器（例如，在利用实时能力操作的碰撞避免控制器模块上运行的模型预测性控制软件），其利用货物拖拉机/小车运动学和车辆动力学模型以用于碰撞避免和速度管控；以及车辆致动系统（例如，在车辆反馈致动控制器模块上运行的车辆致动反馈控制软件），其与车辆控件进行对接以帮助移动工业车辆及其被牵引小车避免与检测到的多个对象的碰撞。
在一般操作中，该特定方法实施例开始于：第一传感器（LiDAR）检测在货物拖拉机车辆的行进方向上投影的几何限定区域中的任何对象，作为货物拖拉机的行进方向上的映射空间的一部分。该方法继续于：第二传感器（（一个或多个）相机）检测一个或多个对象（诸如，人员、信标、车辆等）。有利地，可以通过首先基于第二传感器（相机）捕获的传感器数据来确定边界框并且基于第一传感器（LiDAR）捕获的传感器数据来确定映射空间从而融合这些数据。然后，将确定的边界框投影到所确定的映射空间中，并且然后将其进行比较，以对如何标识货物拖拉机的路径中的对象进行改进。以这种方式，该方法利用两个数据源的融合来提供碰撞避免系统相对于在货物拖拉机的路径中检测到的对象的改进的、增强的且更鲁棒的性能。
与现有方法类似，该方法实施例还使用在碰撞避免控制器上运行的MPC软件来计算最大车辆速度，这将允许使该系统在与传感器平台检测到的在车辆行进方向上的受约束空间内的对象发生碰撞之前停下来。在货物拖拉机已经超过了由在碰撞避免控制器上运行的MPC软件所计算的最大可允许速度的情况下，以车辆致动反馈控制软件体现的反馈控制系统通过对货物拖拉机的制动器和/或油门控件进行致动来操作，以实现所计算的减速度或加速度。本领域技术人员将进一步领会，作为该进一步方法实施例的一部分，如果需要的话，车辆反馈致动控制器还可以使货物拖拉机完全停止。
本领域技术人员将领会，可以利用诸如至少参考图2-4所描述的示例性增强的碰撞避免系统之类的装置或系统、并且利用上述传感器套件、以及不同的处理器模块/控制器模块、以及如上所描述的在不同的处理器/控制器模块上运行的不同软件模块来实现如上面公开和解释的这种附加方法实施例。这种软件模块可以被存储在每一个处理器/控制器模块中的非暂时性计算机可读介质上。因此，当执行这种软件模块时，用于碰撞避免的增强系统的集体处理器/控制器模块可以可操作于执行来自上面公开的示例性方法的操作或步骤，包括该方法的变型。
新材料——进一步增强
对象持久性
如上所指出，示例性模型预测性控件315a可以跟踪状态模型内的检测到的对象（诸如，反射性信标）的持久性。本领域技术人员将领会，实施例可以将对象持久性实现为示例性碰撞避免系统300内的软件功能，该软件功能在货物拖拉机移动通过空间时跟踪并且更新所识别的对象（诸如，反射性信标）相对于货物拖拉机的位置。该功能使得能够针对如下对象进行改进的、增强的且更准确的碰撞避免计算：这些对象可能已经移动超出货物拖拉机上的传感器的当前视场（FOV）或者已经变得被遮挡。换言之，实施例可以将对象持久性实现为模型预测性控件315a的一部分，以增强和改进示例性碰撞避免系统300如何解释并且跟踪检测到的对象（如反射性信标），并且在移动工业车辆（例如，货物拖拉机115）前部的传感器封装已经移动经过了检测到的对象（例如，反射性信标）并且在传感器封装的FOV中不再具有该检测到的对象之后避免与该检测到的对象的碰撞。
因此，在这种实施例中，检测到的对象（诸如，检测到的反射性信标）可以持久存在于该系统内，并且由模型预测器控件315a视为其功能的碰撞避免和空间感知方面的一部分，因此该系统实际上可以在相对于车辆（例如，货物拖拉机115和小车队列120）的空间中保持跟踪它们，以确保车辆的队列120将在不接触对象的情况下跟踪经过该对象，或者确定车辆队列路径125是否将与该对象接触，并且因此车辆115及其队列120将需要停止。在这种实施例中，该系统可以保持跟踪队列轨迹中的改变，因此，仅仅在该队列确实将与检测到的对象接触时、如果操作员没有做出所需的方向改变来避免接触的情况下才将使该队列停止。
边界标识
进一步的实施例可以使用边界类型来支持各种应用，诸如定位、拒绝进入、以及示例性碰撞避免系统和方法中涉及的自动化模式选择。通常，可以通过识别放置在物理环境中的标记来标识在移动工业车辆（例如，货物拖拉机115）上使用的示例性碰撞避免系统的情境下的示例性边界。可以在软件中定义虚拟边界，其中该软件包括地理定位工具（geo-locating instrumentation）作为示例性碰撞避免系统的一部分（例如，使用GPS位置传感器305c和提供给模型预测性控制软件模块315a的位置传感器数据）。因此，地理参考（例如，使用GPS坐标位置数据的地理围栏）可以在模式选择和区域性边界中被使用，如下面关于该系统的多模式操作和可以基于边界在模式之间改变操作的触发器、以及通过地理参考参数选择而拒绝进入的区域更详细地讨论的那样。
使用标记标识的边界和对象标识
在进一步的实施例中，可以将预定类型/形状的对象标识符（也称为标记）策略性地放置在环境中的车辆外部，以使车辆上的传感器能看到、检测、识别并且生成传感器数据，该传感器数据允许示例性碰撞避免系统相应地作出反应。更详细地，这种对象标识符标记可以具有一种形状和类型的符号体系作为该标记的一部分，以通过例如预定代码和/或大小来唯一地标识对象或边界区（以及在一些实施例中是取向）。可以由ArUco标记来实现这种对象标识符标记的示例，该ArUco标记允许基于相机的系统快速且可靠地识别唯一标记并且估计出范围、角度和取向。实施例可以使用ArUco标记来标识移动货物拖拉机115的边界，并且识别诸如货物装载机（诸如装载机110）之类的对象以及其取向。对唯一对象标识符标记的标识允许碰撞避免控制器410在不连续观察该标记的情况下跟踪空间中的这些点。示例性碰撞避免系统300可以用类似于对象持久性的方式来对所标识的对象和边界作出响应，以便改变移动工业车辆（例如，货物拖拉机115）的操作，和/或改变碰撞避免系统300的操作模式，如下面更详细地解释的那样。唯一标识和取向估计允许系统300内的碰撞避免控制器410将这些对象定义为几何形状并且相应地作出响应。由此，使用相机和ArUco标记的对象标识允许示例性碰撞避免系统300在给定了与反射性信标区分开的能力的情况下，提供对任务关键对象（例如，用于向飞机100装载的装载登机口110）的更精确的本地化响应，反射性信标可能缺少这种对象标识标记提供的进一步情境信息（例如，唯一的差异信息、以及测距、角度和取向信息）。
示例性操作模式——驾驶车道和飞机登机口区域
在仍进一步的实施例中，示例性碰撞避免系统可以以编程方式被配置成在不同的操作模式（例如，针对车辆操作使用不同的操作参数，诸如速度、要使用什么传感器、传感器设置、距离约束等等）下进行操作，这取决于具有碰撞避免系统的车辆在其中操作的操作区。附加地，实施例可以使车辆上的示例性碰撞避免系统独立地在模式之间切换，而无需与较大网络进行通信。
更详细地，实施例可以具有飞机登机口区域（AGA）模式和驾驶车道（DL）模式。这两个示例性操作模式AGA和DL中的每一个在不同的操作参数内起作用，并且在具有被配置成在这种不同模式下工作的示例性碰撞避免系统300的车辆的操作期间唯一地利用系统特征。例如，示例性DL模式由如下边界来定义：该边界将驾驶车道（例如，其中车辆115在不靠近飞机的车道中穿过的区域）与飞机登机口区域（例如，其中车辆115在尝试将小车120中的行李运输到飞机100旁边的装载机110时可能紧邻飞机100的区域）分离。例如，物理驾驶车道区域（即，其中车辆115可以在DL模式下操作的区域）中的最大操作速度是飞机登机口区域最大速度的2倍（即，其中车辆115可以自主且自动地切换成在更具约束性的AGA模式下操作）。在这种示例中，在以约束性较少的DL模式来操作时，在碰撞避免的一些实施例中使用的信标检测能力可能不适用。在该示例中，示例性DL操作模式可能依赖于前方防护系统，以便在与飞机登机口区域相比以增加的速度操作时防止与车辆路径中的对象发生碰撞。下面参考图40和41更详细地描述了在这两个示例性模式下可用的示例性碰撞避免系统功能。在进一步的实施例中，可以通过定义新的操作参数并且针对不同模式标识不同的区域性边界来启用附加的操作模式。
基于标记标识的多模式操作切换
本文中描述的实施例可以使用上述示例性对象标识符标记（例如，ArUco标记）来针对车辆的碰撞避免系统的不同操作模式标明不同的区域性边界。对这些标记的检测可以向示例性碰撞避免系统300的实施例提供输入，因此该系统可以检测这种标记并且将这种标记标识为相关对象或边界（例如，基于特定ArUco标记的编码）。然后，该系统在进入更受约束的登机口区域时可以响应地识别何时从“前方防护检测模式”（例如，DL模式）——其将在受约束区域（例如，与向飞机装载有关的登机口区域）之外使用——切换成“登机口区域类型检测模式”（例如，AGA模式）。以这种方式，车辆115上的示例性碰撞避免系统300随后可以在更具约束性的登机口模式（例如，AGA模式）下操作，该登机口模式主要聚焦于信标检测，并且还减小拖拉机的最大速度。示例性碰撞避免系统300还可以在离开登机口区域时利用位置信息（例如，GPS数据）基于对标记或其他地理参考的进一步检测而知晓何时切换回到前方防护检测模式。与在登机口区域类型检测模式下操作时相比，在前方防护检测模式（在登机口区域之外）下，货物拖拉机115的允许速度可能更大。
在这种实施例中，示例性对象标识符标记（例如，特定ArUco标记）可以用于表示对象位于何处，诸如飞机装载机110将处于飞机100附近的登机口区域中。由此，检测到这种专用对象标识符标记可以允许示例性碰撞避免系统进一步进入另一种操作模式，并且当拖拉机/小车队列115/120距飞机装载机（即，检测到的对象标识符标记）在阈值距离内时解除（disengage）内部登机口区域碰撞避免响应，这是因为可能存在如下操作时间：在该操作时间中，货物拖拉机115后面的小车队列可能需要或期望与飞机装载机进行轻微接触（或者比碰撞避免系统正常将被允许的更接近于装载机），以提供用于在小车120与飞机装载机平台之间装载/卸载容器的能力。
在这些进一步的实施例中，这些系统触发器可以允许在两个环境中进行进一步增强和改进的碰撞避免响应，同时最小化其中某些检测可能不必要地使拖拉机/小车队列停止的情形。防止不必要的系统触发的停止/响应并且允许操作模式（登机口区域碰撞避免，其主要聚焦于信标，并且然后是在登机口区域之外，其主要聚焦于前方防护碰撞避免）中的这些改变提供了技术解决方案和上述系统元件的实际应用，以更进一步改进碰撞避免，并且增强涉及物流车辆（诸如，货物拖拉机115和被牵引小车120）的安全物流操作。
图39是根据本发明实施例的部署在另一示例性物流环境中的另一示例性拖拉机碰撞避免系统操作示图的示图。如图39中所示，用示例性对象标识标记3900、3905示出了具有飞机100的另一实施例。标记3900在该实施例中被部署，并且被编码为示例性边界标识标记，从而标识出示例性区域性边界，其中货物拖拉机115上的系统300的操作在由标记3900标识的区域性边界的任一侧上可能不同。标记3905在该实施例中被部署为对象标识符标记，该对象标识符标记被编码为与示例性装载机110相关联（并且可以包括来自标记3905的传感器分析的装载机110的取向）。如图39中所示，当货物拖拉机115已经从边界标识标记3900下方的DL操作区域（其中系统300在约束性较少的DL模式下操作）移动并且进入到边界标识标记3900上方的AGA操作区域中时，车辆115上的示例性碰撞避免系统300可以响应地并且自动地从DL模式切换到更具约束性的AGA模式。
动态视场
在前方防护实施例中（例如，当示例性碰撞避免系统300在约束性较少的DL模式下操作时），整个系统300的碰撞避免部分可以以经改善和增强的方式使用传感器（例如，传感器305d、e、f）以及由这种传感器生成的传感器数据。更详细地，示例性碰撞避免系统300可以动态地调整对于系统300感兴趣的视场（FOV），该视场有效地改变了传感器可以聚焦于何处、和/或传感器接收场的宽度的程度。在这种实施例中，这允许示例性碰撞避免系统300改变、完善并且动态地调整该系统的操作模式中的改变。例如，示例性碰撞避免系统300（例如，运行信号处理软件模块310a的多处理器模块405）可以做出改变以优先考虑由传感器生成的传感器数据的一部分，这有效地使系统300更加关注基于行进方向和/或车辆115正在转弯的方向的传感器数据。实施例可以以这种方式对传感器数据进行优先级排序，以通过以编程方式来调整来自传感器实际视场的传感器数据中的为了碰撞避免目的而处理并考虑的部分，从而在本质上适配传感器的FOV并且实现动态FOV响应。这有效地从传感器的实际FOV的部分中过滤掉无关的传感器数据，并且使系统300关注传感器数据的子集。传感器数据的这种子集可以例如导致传感器的有效接收场的经调整的程度（例如，其中有效FOV在关于车辆纵轴的两侧上变窄），或者导致传感器的经调整的焦点（例如，其中有效FOV在车辆纵轴的一侧上比另一侧改变得更多）。更一般地，这种实施例有效地调整传感器聚焦于何处或者有效地调整传感器的接收场的程度。由系统300考虑的对有效传感器数据的这种自适应和动态改变可以例如响应于车辆115的方向中的改变（例如，货物拖拉机115的轨迹中的角速度改变），和/或响应于标识出对象标识标记——该对象标识标记指示了对示例性碰撞避免系统300（及其车辆115）在其内操作的操作区域的改变——以帮助防止不必要/不需要的系统发起的车辆停止。在这种实施例中，示例性碰撞避免系统300可以更好地确定：例如，如果车辆的行进路径在距如果该路径尚未被改变则将发生碰撞的地方的可接受距离内被调整以避开检测到的对象，则该对象是否将被避开。因此，动态FOV可以被部署为在前方防护检测模式下操作的示例性碰撞避免系统的一部分作为情形自适应的FOV，从而允许启用了动态FOV的示例性防撞系统300对车辆路径中的对象作出响应。
最小防止进入（keep-out）距离锁定（lockout）
如上所指出，示例性碰撞避免系统300的不同操作模式可以具有不同的操作参数，并且在具有被配置成以这种不同模式工作的示例性碰撞避免系统300的车辆的操作期间以不同方式利用系统特征。例如，除了针对在给定操作模式下使用的特定传感器的速度限制操作参数和视场参数之外，与示例性碰撞避免系统300的特定操作模式可能相关的进一步示例性操作参数/特征可以包括：最小防止进入距离（KoD）。通常，最小KoD是距对象的径向距离，在该距离处，示例性碰撞避免系统300可以使用车辆致动系统来实现并且引起完全的立即车辆停止。由此，示例性最小KoD锁定允许对可能进入由该示例性碰撞避免系统所监测的传感器FOV的对象进行完全的制动至停止响应。对于不同的操作模式，这种示例性最小KoD可能不同，这是由于不同操作模式中涉及的速度可能不同，这可能要求最小KoD更高以计及特定操作区域中的更高潜在速度（例如，在与该区域的操作模式相关联的速度限制参数下）。然而，其他区域可能具有如下期望的最小KoD，出于制动至停止的合理性之外的原因，该期望的最小KoD提供了距检测到的对象的更多距离（例如，该区域具有危险性质的对象，这有理由需要更大的最小KoD等等）。
本地临时系统超控（override）
示例性碰撞避免系统300的进一步特征可以是本地临时系统超控。示例性系统300的本地临时系统超控特征允许拖拉机操作员在时间有限的基础上禁用系统300。这可以通过与挡位选择器325（即，由车辆致动反馈控制320a控制的车辆致动器之一）进行交互来实现。例如，利用作为示例性碰撞避免系统300的一部分而实现的该特征将货物拖拉机115置于停车状态下将会禁用系统300，但是将货物拖拉机115从停车位置置于驾驶或倒车状态可以开始对系统300重新接合的倒计时计时器。在实施例中，这种示例性倒计时计时器可以依赖于小车选择。因此，增加小车计数可以延长倒计时时段，并且关于小车计数的信息可以由利用这种本地系统超控特征的示例性碰撞避免系统300来保持。进一步的实施例可以允许小车计数作为通过至示例性碰撞避免系统300的用户界面的选择，该用户界面可以全部用于录入关于例如队列120中的小车数量、以及队列120的特定实施例的长度和质量的信息。使用这种小车计数信息，示例性避免碰撞系统300可以在确定了由该系统300的示例性模型预测性控制器所计算的潜在控制解决方案时被使用。
示例性碰撞避免系统300的进一步实施例可以包括根据本发明实施例的该系统内的进一步角色的特定逻辑段中的进一步的基于软件的模块，这些模块增强了系统300的操作，包括利用其录入信息（诸如，小车计数信息）并且监测系统300的状态的用户界面。更详细地，进一步实施例可以包括示例性的基于传感器平台管理软件的模块作为图3中所示的传感器处理段310的一部分，而基于系统管理软件的模块可以是图3中所示的碰撞避免控制段315的一部分。示例性传感器平台管理和系统管理模块的实施例可以包括如下方面：这些方面提供了系统启动功能、针对模式选择、通信特征的用户输入、以及用于示例性碰撞避免系统300的不同类型用户界面的生成。
例如，这种示例性模块可以包括用于示例性系统300的自动启动特征，其中在系统上电时，车辆致动反馈控制器415针对系统300中的其余系统组件发起启动循环，这导致了在系统初始化完成时自动启用示例性碰撞避免系统300。
在另一个示例中，这种示例性模块可以包括用于示例性系统300的基于软件的网络连接。尽管示例性碰撞避免系统300的实施例具有众多特征和操作场景——其中系统300在自主或半自主模式下操作，该自主或半自主模式不需要与较大网络以及通过这种网络与系统的连接，但是对网络连接（例如，通过Wi-Fi、蜂窝或其他无线技术）的包括允许对系统300的各种系统状态和参数的远程系统监测和手动命令、以及接收与特定操作环境有关的经更新的信息（例如，关于在特定飞机环境内使用的特定对象标识标记的标识信息等等）的能力。
从用户界面的角度来看，这种示例性模块可以使得系统300能够呈现一个或多个不同的图形用户界面，包括远程可视化器和/或状态指示器。由作为示例性碰撞避免系统300的一部分的这种模块生成的示例性图形用户界面可以提供用于调整系统参数（诸如，小车计数信息等）的用户输入的直观界面。示例性远程系统可视化器可以提供例如对MPC计算和控制响应解决方案的图形表示。此外，（作为这种示例性传感器平台管理和系统管理模块的一部分而实现的）示例性状态指示器模块可以将示例性碰撞避免系统300的当前系统状态和高级动作传送给车辆115的驾驶员、车辆115上的本地观察者、位于车辆115之外但处于与车辆115相同的操作区域中的本地观察者、和/或在车辆115的操作区域之外的远程观察者。
图40-41中图示了进一步的示例实施例，其中示出了不同的操作区域，并且其中示例性车辆及其板载碰撞避免系统可以从DL模式切换到AGA模式，AGA模式以自主且自动的方式而从事于不同的碰撞避免系统操作参数和功能，该方式增强了这种示例性车辆的碰撞避免能力。图40是根据本发明实施例的部署在另一示例性物流环境中的另一示例性拖拉机碰撞避免系统操作示图的示图，其中示例性拖拉机碰撞避免系统在示例性驾驶车道（DL）模式下操作。现在参考图40，示例性货物拖拉机车辆115a-115d被图示为在示例性DL操作区域4005中操作，而示例性飞机100和示例性装载机110在示例性AGA操作区域4000内被设置在飞机100旁边。如图40中所示，在该示例中，示例性DL操作区域4005包括驾驶车道，该驾驶车道不会侵犯飞机100、或者不允许DL操作区域4005内的车辆如此紧邻于飞机100以至于对这种高价值资产造成固有的碰撞风险，但是前方防护监测允许DL操作区域4005中的车辆115a-115d帮助避免与在这种驾驶车道中检测到的其他对象发生碰撞。当在示例性DL操作区域4005中时，可以在DL模式下、在车辆115a-115d上使用示例性碰撞避免系统300的实施例，其中与在AGA模式下的AGA操作区域4000内操作的情况相比，可以较少约束地使用操作参数和系统特征（例如，增加的系统参数和减少的所部署的系统特征集合）。例如，在DL操作区域4005内的系统300的示例性DL模式可以包括10 mph的速度限制、被约束于前方防护检测模式操作的传感器FOV、以及被设置为4m的最小对象KoD。在DL模式下，示例性货物拖拉机车辆115a上的系统300可以使用动态调整的传感器，该动态调整的传感器基于车辆115a的移动中的改变（诸如，当车辆115a转弯时）来响应地调整传感器FOV。如图40中所示，当车辆115a转弯时，车辆115a上的示例性碰撞避免系统300上的传感器可以调整其FOV以在转弯方向上观看以更好地观察车辆115a的路径中的对象。此外，如图40中所示，车辆115d上的碰撞避免系统300可以检测其行进路径上的对象（例如，正在转弯的车辆115a及其被牵引小车队列120a），并且作为结果使得车辆115d自动降低速度或者停止。
图41是根据本发明实施例的图40的示例性物流环境的示图，但是其中车辆115a上的示例性拖拉机碰撞避免系统已经自动切换成在示例性飞机登机口区域模式下操作。如图41中所示，车辆115a已经如图40中所示的那样进行了转弯，但是已经从DL操作区域4005进一步转弯到AGA操作区域4000中。车辆115a上的示例性碰撞避免系统300检测到示例性对象标识标记4010（类似于图39中所示的标记3900），基于标记4010上的编码信息将标记4010标识为边界标识标记，并且在没有指令或没有与任何较大网络进行通信的情况下针对在车辆115a上操作的示例性碰撞避免系统300发起从DL模式到更具约束性的AGA模式的改变。例如，用于车辆115a的系统300的示例性AGA模式（例如，当在AGA操作区域4005内操作时使用的模式）可以包括5 mph的减小的速度限制；使LiDAR传感器FOV被动态地调整以扩展到270度以用于增强AGA操作区域4005内的碰撞避免；从事于信标标识（不仅仅是对象）和对象持久性作为碰撞避免的一部分；启用装载机标识和跟踪（使用例如示例性ArUco标记而被标识的特定类型的对象，该ArUco标记被识别以根据代码及其取向来唯一地标识装载机）；将最小对象KoD减小到2 m；并且将最小信标KoD设置为1 m。以这种方式，车辆115及其板载碰撞避免系统300可以更好地在具有高价值资产的环境中操作，并且以自主适应的方式来操作，以进一步增强与车辆路径中的对象的碰撞避免，该对象包括不再处于传感器FOV内的高价值资产和对象（由于对象持久性）。
图42是根据本发明实施例的用于由移动工业车辆使用多模式板载碰撞避免系统来进行增强的碰撞避免的示例性方法的流程图，并且该移动工业车辆可以在多个不同操作区域中操作。现在参考图42，示例性方法4200开始于：移动工业车辆上的多模式板载碰撞避免系统在第一碰撞避免模式（例如，DL模式）下操作，同时移动工业车辆在不同操作区域中的第一个（例如，图40和41中所示的驾驶车道区域4005）中操作。在步骤4210处，方法4200继续进行于：多模式板载碰撞避免系统的传感器中的一个检测对象标识标记（例如，标记3900或标记4010，诸如ArUco标记，其被编码为对应于表示区域性边界并且被配置成指示区域性边界的取向）。
在步骤4215处，方法4200继续进行于：多模式板载碰撞避免系统将检测到的第一对象标识标记标识为操作边界标识标记。例如，图41中所示的车辆115a上的碰撞避免系统300可以检测标记4010并且将标记4010标识为操作边界标识标记，其表示DL操作区域4005与AGA操作区域4000之间的区域性边界。在步骤4220处，方法4200继续进行于：由多模式板载碰撞避免系统的一个或多个传感器来检测移动工业车辆何时经过与操作边界标识标记相关联的区域性边界并且进入不同操作区域中的第二个。
在步骤4225处，方法4200继续进行于：当处于不同操作区域中的第二个中时，多模式板载碰撞避免系统从第一碰撞避免模式改变为第二碰撞避免模式，从而管控多模式板载碰撞避免系统的操作。由此，第二碰撞避免模式（例如，AGA模式）具有至少一个操作参数，该至少一个操作参数与第一碰撞避免模式（例如，DL模式）下的该操作参数相比更具约束性。更详细地，可以实现步骤4225中的从第一碰撞避免模式到第二碰撞避免模式的改变，其中使用针对多模式板载碰撞避免系统当处于第二碰撞避免模式下时的第二组操作参数而不是使用针对多模式板载碰撞避免系统当处于第一碰撞避免模式下时的第一组操作参数，其中对于每个组共同的至少一个操作参数作为第二组操作参数的一部分在与作为第一组操作参数的一部分相比时具有更具约束性的值。这种操作参数可以是例如针对移动工业车辆的速度限制阈值，或者针对移动工业车辆的防止进入距离（例如，从移动工业车辆至多模式板载碰撞避免系统检测到的对象的最小径向距离，或者从移动工业车辆至多模式板载碰撞避免系统检测到的反射性信标的最小径向距离）。
更详细地，关于在不同模式下在多模式碰撞避免系统上使用什么操作特征方面，第二碰撞避免模式和第一碰撞避免模式可能不同。例如，当与在第一碰撞避免模式（例如，DL模式）下使用的多模式碰撞避免系统的操作特征相比时，在第二碰撞避免模式（例如，AGA模式）下可以使用多模式碰撞避免系统的至少一个附加操作特征。这种附加操作特征（或不同的操作特征）可以包括：例如，最小防止进入距离阈值特征，该特征用于使移动工业车辆不在距传感器检测到的对象的最小防止进入距离阈值内移动；对象持久性特征，该特征用于在检测到的对象超出传感器视场之后跟踪该检测到的对象；更改的视场特征，该特征用于当在第二碰撞避免模式下操作时改变传感器的视场以增强避免碰撞；和/或专门对象检测特征，该特征用于当在第二碰撞避免模式下操作时使得能够单独地检测与其他对象不同的反射性信标、以及除检测其他对象之外还单独地检测该反射性信标。
新材料的结束
关于示例性动态路径跟随或运动学模型的附加细节
如上所指出，实施例可以使用动态路径跟随或运动学模型作为所应用并增强的系统、装置和方法实施例的一部分，该模型涉及预测多元件移动工业车辆（诸如，具有被牵引小车或拖车的货物拖拉机）的（例如，移动和路径的）未来状态，作为用于由移动工业车辆避免与高价值资产的碰撞的改进实施例的一部分。
在可以作为所应用并增强的系统、装置和方法实施例的一部分而部署的这种示例性动态路径跟随或运动学模型的实施例的该特定描述中，以下缩写被使用并且被解释如下：
t：当前时间；Δt：时间步长
u（0）：初始位移；u（t）：在时间t处的当前位移
u（t +Δt）：在t +Δt处的下一个位移；v（0）：初始线性速度
v（t）：在时间t处的当前线性速度；v（t +Δt）：在t +Δt处的线性速度
a（0）：初始线性加速度；a（t）：在t处的当前线性加速度
a（t +Δt）：在t +Δt处的线性加速度；
θ（0）：初始方向角；θ（t）：在时间t处的当前方向角
θ（t +Δt）：在t +Δt处的下一个方向角；ω（0）：初始角速度
ω（t）：在时间t处的角速度；ω（t +Δt）：在t +Δt处的角速度
α（0）：初始角加速度；α（t）：在时间t处的角加速度
α（t +Δt）：在t +Δt处的角加速度；
w：车辆宽度；l：车辆长度
Lf：车辆前部上的挂接物长度
Lr：车辆后部上的挂接物长度
β：转向角；WB：轴距
La：从牵引车辆的后轴到其挂接点的距离
Lb：从先前挂接点到被牵引车辆的后轴的距离
Lc：从被牵引车辆的后轴到下一个挂接点的距离
Rra0：牵引车辆的后轴半径
Rrai：第i个被牵引车辆的后轴半径
Rh0：牵引车辆的挂接半径
Rhi：第i个被牵引车辆的挂接半径
下标x、y：沿X和Y方向
下标d：被牵引车辆
下标i：第i个车辆，i = 0是牵引车辆，i = 1至4表示被牵引的单元。
通常，可以作为所应用并增强的系统、装置和方法实施例的一部分而部署的示例性动态路径跟随或运动学模型（包括图11-19）的以下描述的实施例预测牵引车辆系统的连续运动并且跟随其轨迹。该示例性模型解决了在牵引车辆系统做出转弯时发生的偏离轨迹效应。该示例性模型的框架包括：（1）状态空间模型，其描述了在牵引车辆与其被牵引车辆（例如，小车和/或拖车）的运动元素（线性和角位置、速度和加速度）之间的关系；（2）几何模型，其定位了这些车辆的瞬时位置（包括挂接点的瞬时位置）；（3）阿克曼（Ackerman）转向模型，其通过考虑偏离轨迹效应而勾勒出整个牵引车辆系统在任何时间处的形状；以及（4）挂接返回（hitch back）模型，其基于牵引车辆的输入来计算被牵引车辆的方向角的历史，并且因此捕获牵引车辆系统的连续运动。
在为了解决更准确地跟踪牵引车辆系统（移动工业车辆的元件）的连续运动的问题的先前尝试中，当将从该模型预测的路径与牵引车辆系统的真实路径进行比较时，已经发现相当大的误差。先前尝试在对这种行为进行建模时假定了随后的被牵引车辆遵循与牵引车辆相同的路径，并且忽略了偏离轨迹效应。虽然其他人尝试了使用例如主销滑动（kingpin sliding）技术和可移动结（movable junction）技术来解决该问题，以消除像队列那样的车辆的偏离轨迹偏差，但是这些技术的实现方式成本太高，并且大多数牵引车辆系统仍然会经受偏离轨迹问题。因此，为了改进预测准确度，开发了一种改进的动态模型，该模型解决了偏离轨迹效应，如下面更详细描述的那样。
在像队列那样的车辆系统中，偏离轨迹效应意味着：与牵引车辆相比，被牵引车辆始终在拐角周围遵循更紧密的路径，并且被牵引的单元（拖车）越多，每个随后的拖车将比在其之前经过的拖车遵循更紧密的路径。如图11中所示，示例性动态建模框架1105-1120通过如下方式来确定牵引车辆系统的瞬时状态：采用状态空间模型以基于牛顿第二定律来计算牵引车辆的瞬时位置和速度，并且由此通过假定每个被牵引单元遵循与牵引车辆相同的路径（方向角的顺序）来估计随后的被牵引车辆的位置。下面所示的等式（1）列出了状态空间模型，该模型基于从IMU收集的牵引车辆的初始条件来计算其瞬时位置和速度。
等式（1）
图12是根据本发明实施例的示例性单个刚性物体模型的示图。假定牵引车辆和被牵引单元是具有三个自由度的刚性物体（诸如，物体1205），该三个自由度为：沿X和Y方向平移以及绕Z旋转（如图12中所示），状态空间模型可以被表示为等式（1）。根据等式（1）计算出的位置表示牵引车辆处的参考点的位置，并且将基于该点的坐标及其尺寸来确定牵引车辆的实时形状。然后，应用相同的方法来确定随后车辆的瞬时形状。
在等式（1）中，u x和u y分别表示刚性物体的参考点（例如，牵引车辆或被牵引单元的前端的中心）的X位置和Y位置。基于该参考点，可以遵循几何关系来容易地确定该刚性物体内的其他点的位置。作为刚性物体，牵引车辆或每个被牵引单元上的任何点应当具有相同的方向、速度和加速度。沿X和Y方向的线性速度和加速度可以与方向角θ相关，这被表示在下面所示的等式（2）中：
等式（2）
。
然后，使用根据等式（1）计算出的牵引车辆的实时方向角来预测跟随着的被牵引单元的方向角，以完全地确定整个牵引车辆系统在任何时间处的形状。在估计被牵引车辆的角度时，先前的模型假定了被牵引车辆遵循与牵引车辆相同的角度位置历史。换句话说，牵引车辆的瞬时方向角以适当的时间延迟被传递给随后的车辆，该时间延迟取决于两个相邻车辆之间的连接的刚度。
图13是根据本发明实施例的具有四个被牵引单元的示例性移动牵引车辆系统的示图。现在参考图13，示例性移动牵引车辆系统1300被示出为多边形，该多边形表示牵引车辆1305、以及与挂接物1315a-1315d链接的一系列被牵引单元（例如，小车或拖车）1310a-1310d。基于牵引车辆1305及其序列被牵引单元1310a-1310d的所计算或所估计的位置，开发了多边形模型以预测示例性移动牵引车辆系统1300在任何时间处的瞬时形状。使用信标系统来更新牵引车辆上的参考点（例如，其前端的中部）的瞬时位置，该瞬时位置将是该模型的输入参数。在所开发的多边形模型中，示例性牵引车辆和每个示例性被牵引单元被假定为具有四个顶点的矩形，然后，整个牵引车辆系统的形状可以被表示为由连接了所有顶点的线段形成的多边形。下面的等式（3）解释了如何计算第i个被牵引单元的四个顶点的全局坐标（与参考点O相关）。
等式（3）
然而，通过假设每个被牵引单元遵循与牵引车辆相同的路径（方向角的顺序），偏离轨迹效应被忽略。实际上，由于偏离轨迹效应，与牵引车辆相比，被牵引车辆在拐角周围遵循更紧密的路径。当使用先前已知的模型来预测具有多于两个被牵引单元的移动牵引车辆系统的形状时，对该效应的忽略会促成显著的误差。
经改进的模型的实施例可以跟踪牵引车辆系统的路径。图14是根据本发明实施例的具有示例性牵引车辆1405和两个被牵引车辆单元1410a、1410b的牵引车辆系统的示例性几何模型的示图，其示出了挂接点H1、H2。作为这种实施例的一部分，该几何模型确定了移动牵引车辆系统的所有顶点在任何时间处的坐标，基于这些坐标，可以容易地绘制出该系统的瞬时形状。该模型使牵引车辆与被牵引车辆之间、以及任何两个相邻的被牵引车辆之间的连接被表示为：从牵引车辆（或前面的被牵引车辆）的后端中部到挂接点的刚性链接（例如，1415a、1415b）；以及从该挂接点到被牵引车辆（或后面的被牵引车辆）的前端中部的另一刚性链接（例如，链接1420a、1420b）。对该连接的这种建模允许实现转向模型以在预测车辆系统的路径时捕获偏离轨迹效应。
参考图14中所示的示例性地理模型，使用了各种标签和缩写。例如，wt用于表示牵引车辆的宽度，lt表示其长度，wd表示被牵引单元的宽度，ld表示其长度，Lr标示附接到牵引车辆的后端的挂接物的长度（从5至H1），Lf to标示附接到第一个被牵引单元的前端的挂接物的长度（从H1至O'）。牵引车辆模型的顶点1〜5和挂接点H1的坐标可以被计算为：
等式（4）
。
可以遵循相同的方式来表示1'至5'和H2相对于局部参考点O'的坐标：
等式（5）
同样，对于第i个被牵引单元，其五个顶点和Hi相对于其局部参考点的相对坐标可以容易地被表示为：
等式（6）
。
接下来，将第一个被牵引单元的四个顶点的相对坐标（等式（4））映射回到全局参考点O，以便获得它们的全局坐标。可以通过将参考点从O'变换为O来执行该操作。为了找到映射关系，可以用三个向量
等式（7）
检查等式（7）并且将其与等式（6）进行组合，第i个被牵引单元的四个顶点的全局坐标（与参考点O有关）可以被获得为：
等式（8）
。
为了正确地计算当牵引车辆系统做出转弯时的牵引车辆和被牵引车辆的转弯半径，可以使用阿克曼转向模型。本领域技术人员将领会，阿克曼转向原理关于方向盘的转弯角（被称为转向角β）定义了被应用于牵引车辆系统中的所有车辆的几何学（geometry）。通过该原理，可以确定车辆系统的若干个关键点的半径，基于该半径，可以确定与牵引车辆有关的被牵引单元的位置，并且可以很好地对整个系统的路径进行仿真。通过将阿克曼转向原理用作新的路径跟随模型的该实施例的一部分，可以实现对牵引车辆和每个被牵引车辆的瞬时位置的改进并增强的描述，该瞬时位置考虑了最大偏离轨迹。下面进一步解释了这种模型的实施例。
图16图示了根据本发明实施例的在拖拉机-拖车模型中的具有一个牵引车辆（拖拉机）1600和一个被牵引车辆（拖车）1605以及各种距离参考长度的简化示例性车辆系统。图17是根据本发明实施例的示例性牵引车辆1700和两个被牵引车辆（拖车）1705、1710的示例性比例模型的示图，其图示了定义一系列虚拟三角形的从参考点1715起的特定长度和特定半径。为了实现阿克曼转向原理，WB用于表示拖拉机的轴距，La用于表示从拖拉机后轴到挂接点的长度，Lb用于表示从挂接点到拖车后轴的长度，并且Lc用于表示从拖拉机后轴到下一个挂接点的距离（图16）。在一个实施例中，在具有多个被牵引车辆的车辆系统的情况下，如果被牵引车辆具有相同的大小，则期望Lb和Lc相同。针对该模型计算出的半径包括：拖拉机1700的后轴半径（Rra0）、拖车1705（第一个被牵引单元）的后轴半径（Rra1）、拖拉机1700的挂接半径（Rh0）、以及拖车1705的挂接半径（Rh1），如图17中所描绘。如该图中所示，可以基于转向角以及所定义的半径和长度来构造一系列虚拟三角形，根据以下三角关系来从其中计算出半径。
等式（9）
。
其中，γ1标示牵引车辆与第一个被牵引车辆的方向之间的差，其遵循关系式
此外，等式（9）可以通过简单地将牵引车辆的转向角和尺寸替换为被牵引车辆的转向角和尺寸而被容易地修改，并且被应用于计算任何被牵引车辆的半径。等式（10）示出了用以计算第i个被牵引车辆的后轴和挂接半径的一般公式，其假定随后的被牵引车辆具有相同的大小并且具有相同的Lb和Lc。
等式（10）
用于路径跟随仿真的挂接返回方法
阿克曼转向模型有助于预测牵引车辆系统的瞬时形状，但是缺少通过按顺序呈现其间歇性步骤来对牵引车辆系统的连续运动进行仿真的能力。例如，如果当牵引车辆的方向盘快速地转到偏离前进方向10°时该牵引车辆系统正在以直线行进，则牵引车辆和所有被牵引单元将会立即将它们自己调整到如根据等式（9）和（10）所计算的适当径向位置中，而不是逐渐移动到那些位置中。
为了更准确地对牵引车辆系统的连续运动进行仿真，开发了一种“挂接返回方法”，该方法采用了从阿克曼转向模型计算出的瞬时形状作为参考点，同时以高准确度连续地跟随牵引车辆系统的路径。现在参考图18A-18C，这种方法开始于三种状态下的简单的一个拖拉机1800（具有后部挂接物1805）和一个拖车1815（具有前部挂接物1810）模型，这三种状态为：（1）初始状态（图18A），当该模型正在以直线行进时；（2）中间状态（图18B），当拖拉机开始做出转弯而拖车仍以该直线行进时；以及（3）最终状态（图18C），当拖拉机的角度输入已经被传递到拖车时。
由于牵引车辆的方向角基于IMU数据来完全地确定，因此我们仅需要开发一种用以估计被牵引车辆从初始状态到最终状态的角度增量Δθd1的过程。遵循图19中所图示的三角关系，可以根据其前面的挂接点（点1）与其后轴的中心点（点2）之间的X和Y偏移量来将角度增量Δθd1计算为：
等式（12）
。
基于所开发的挂接返回模型（等式（11-12））生成了示例性过程，并且将该示例性过程实现到使用C++编程的仿真软件包中。使用仿真工具对具有两个被牵引单元的示例性牵引车辆系统的连续运动进行了成功的仿真，并且牵引车辆系统模型的仿真路径与从比例模型测量的真实路径非常吻合，并且适当地解决了当牵引车辆做出转弯时的偏离轨迹效应。值得一提的是，在仿真中，牵引车辆的速度及其转向角是输入变量，基于该输入变量，可以将牵引车辆的角速度计算为，其中由于牵引车辆的旋转中心位于后轴的中心点处，因此后轴半径Rra用作牵引车辆的转弯半径。后轴的中心点被假定为车辆的旋转中心，这是因为前部车轮是自由轮，自由轮会生成转向角以供车辆主体跟随。在验证中，牵引车辆的v、ω和β是来自驾驶员的输入并且是由IMU数据提供的，因此将所测量的半径Rra与所计算的半径WB/tanβ进行比较，以验证阿克曼转向模型在预测个体车辆的后轴半径时的准确度。被牵引车辆的运动学（包括其距离、速度、加速度、旋转角度、以及角速度和角加速度）遵循牛顿第二定律中描述的关系，并且可以使用状态空间模型（等式（1））来计算。
关于多传感器检测系统实施例及其操作的附加细节
进一步的示例性实施例可以包括如下系统、装置和方法，在该系统、装置和方法中，工业车辆（诸如，货物拖拉机）利用LiDAR和单色相机来检测无源信标，并且利用模型预测性控件来使车辆停止以免进入受约束的空间。在这种实施例中，可以单独利用标准橙色交通锥体来实现信标（取决于期望高度），或者可以利用所附接的高反射性垂直杆来部署信标。LiDAR可以检测到这些信标，但是可能由于其他反射性表面（诸如，LiDAR的视觉环境内的工人安全背心）而遭受假阳性。如上所指出，本文中以及如下文描述的实施例通过如下方式来帮助减少来自LiDAR的假阳性检测：经由深度学习方法将信标投影在相机图像中，并且使用从相机到LiDAR空间的经神经网络学习的投影来验证该检测。
更详细地，下面描述的（并且参考图20-37中的示图而图示的）进一步实施例提供并且利用了基本上实时的工业碰撞避免传感器系统，该系统被设计成不会撞到障碍物或人员并且保护高价值设备。通常，这种实施例可以利用扫描LiDAR和一个或多个RGB相机。无源信标用于标记出不允许工业车辆进入其中的隔离区域，从而防止与高价值设备的碰撞。前方防护处理模式防止了与车辆正前方的对象的碰撞。
为了提供鲁棒的系统，这种实施例的感测处理系统可以使用LiDAR传感器（例如，Quanergy八射束LiDAR）和相机传感器（例如，单个RGB相机）。LiDAR传感器是有源传感器，其无论自然光照如何都可以工作。它可以经由其3D反射来准确地定位对象。然而，LiDAR是单色的，并且不能基于颜色来区分对象。此外，对于距离较远的对象，LiDAR可能仅具有与对象相交的一至两个射束，从而使可靠的检测成为问题。然而，与LiDAR不同，RGB相机可以基于纹理、形状和颜色来做出检测决策。RGB立体相机可以用于检测对象并且估计3D位置。尽管实施例可以使用多于一个相机，但是对立体相机的使用通常需要大量的附加处理，并且当对象缺少纹理提示时可能导致难以估计深度。在另一方面，单个RGB相机可以用于在图像本身中准确地定位对象（例如，确定边界框并且将对象进行分类）。然而，与LiDAR相比，投影到3D空间中的所得定位是不良的。此外，相机在有雾或雨天的环境中将会退化，而LiDAR仍然可以有效地操作。
在下面随后的进一步实施例的描述中，实施例可以使用LiDAR传感器和RGB相机传感器两者以使用数据融合过程来准确地检测（例如，标识）并定位对象，该过程允许当检测或标识对象位置时使用两种类型的数据。这种实施例使用例如以下各项来更好地解决碰撞的避免：一种快速且高效的方法，该方法学习从相机空间到LiDAR空间的投影，并且以LiDAR检测的形式（距离和角度）提供相机输出；多传感器检测系统，该系统融合相机和LiDAR检测两者以获得更加准确且鲁棒的信标检测；和/或技术解决方案，已经使用了用以运行传感器处理的单个Jetson TX2板（双CPU和GPU）板（一种类型的多处理器模块）、以及用于模型预测性控制（MPC）系统的单独的第二控制器（TX2）来实现该技术解决方案，以便有助于实现基本上接近实时的操作并且避免滞后时间（这可能会导致碰撞）。在下面的进一步实施例的描述的情境下，可以在实施例中应用关于某些类型的传感器检测（例如，相机检测、LiDAR检测）及其针对随后对象检测的使用的背景信息、以及关于模糊逻辑的背景信息，以将来自不同传感器的数据进行组合并且获得用于在这种实施例中使用的检测得分。
本领域技术人员将领会，从相机图像进行的对象检测可以涉及对每个感兴趣对象的分类和定位两者。关于在每个图像中预计会找到多少个对象的信息可能是不可获得或未知的，这意味着针对每个输入图像存在不同数量的输出。附加地，在图像中这些对象可能出现在其中的位置、或者它们的大小可能是多少可能是不可获得或未知的。本领域技术人员将进一步领会，随着深度学习（在本文中被引用为“DL”——也被称为深度结构化学习或分层机器学习）的兴起，使用DL的现有对象检测方法在准确度和速度两者方面已经超过了许多传统方法。本领域技术人员将进一步领会，存在基于这种现有DL检测方法以计算上智能的方式来改进检测结果的系统。
通常，使用DL和相机图像的图像对象检测可以使用两种已知方法。一种方法基于区域提议。具有卷积神经网络（R-CNN）的较快区域是一个示例。该方法首先使整个输入图像运行通过一些卷积层以获得特征图。然后，存在单独的区域提议网络，该网络使用这些卷积特征来提议可能的检测区域。最后，网络的其余部分将给出对这些所提议的区域的分类。由于网络中存在两个部分，一个部分用于预测边界框，并且另一个部分用于分类，所以该种类的架构可能会显著降低处理速度。另一种类型的方法将一个网络既用于预测潜在区域又用于标签分类，诸如利用“你只看一次（YOLO）”方法。在给定输入图像的情况下，YOLO方法首先将该图像划分成粗略网格。对于每个网格，存在一组基本边界框。针对每个基本边界框，如果YOLO认为该网格位置中存在一对象，则YOLO预测出与真实位置的偏移量、置信度得分和分类得分。YOLO是快速的，但有时可能无法检测到图像中的小对象。
与基于相机传感器数据的对象检测相对，方法可以使用LiDAR检测。对于基于LiDAR检测的方法，一个困难的部分可能涉及仅基于稀疏3D点云来对点进行分类。本领域技术人员将领会，一种方法可以使用具有支持向量机（SVM）分类器的加权协方差矩阵的本征特征分析（Eigen-feature analysis）。然而，该方法针对的是密集的空中（airborne）LiDAR点云。在另一种已知方法中，本领域技术人员将领会，关于人工标记的对象位置的训练集合，针对每个候选对象来对特征向量进行分类。
本领域技术人员将进一步领会，DL也已经被用在3D对象分类上。许多现有基于DL的3D对象分类问题涉及两个步骤：确定要用于3D对象的数据表示，并且在对象的该表示上训练卷积神经网络（CNN）。VoxNet是一种3D CNN架构，该架构可以用于从LiDAR和RGBD点云进行高效且准确的对象检测。针对体积形状的DL的示例是Princeton ModelNet数据集，该数据集提出了3D模型的体积表示以及3D体积CNN以用于分类。然而，这些解决方案还依赖于高密度（高射束计数）LiDAR，因此它们将不适用于具有八射束Quanergy M8 LiDAR传感器的系统，该LiDAR传感器是用于部署在移动工业车辆（诸如，货物拖拉机）上的经济上可行的LiDAR传感器。
在融合了不同数据以用于对象检测的系统中，如在本文中描述的实施例中那样，用于对象检测的不同传感器具有它们的优点和缺点。传感器融合的实施例可以集成不同的传感器以用于更加准确且鲁棒的检测。例如，在对象检测中，相机可以提供LiDAR通常缺少的丰富的基于纹理和基于颜色的信息。在另一方面，LiDAR可以在低能见度下工作，诸如在夜间或在中雾或雨天中工作。在恶劣天气条件下的相机处理可能会退化或甚至完全失效。同样，为了检测相对于传感器的对象位置，与相机相比，LiDAR可以提供准确得多的空间坐标估计。由于相机和LiDAR两者都具有它们的优点和缺点，因此在将它们融合在一起时，基于融合数据来改进和增强对象检测的实施例可以利用它们的优点并且消除它们的缺点。用于相机和LiDAR融合的一种方法使用了外部校准（extrinsic calibration）（例如，使用各种棋盘（checkerboard）图案、或者在LiDAR和相机图像两者中寻找对应点或边缘的方法，在LiDAR和相机图像两者中寻找对应点或边缘以便执行外部校准的另一种方法）。然而，这种已知方法需要LiDAR传感器是昂贵的，其具有相对高的垂直特殊分辨率（例如，基于32或64个射束）。另一种方法估计LiDAR与相机之间的变换矩阵。但是这些方法是有限的，并且仅适用于对室内和短距离环境的建模。
另一种方法使用了相似性度量，该相似性度量会自动寄存LiDAR和光学图像。然而，这种方法还使用密集的LiDAR测量。第三种方法使用立体相机和LiDAR以用于融合，该方法融合了稀疏3D LiDAR和密集立体图像点云。然而，立体图像中的对应点的匹配在计算上是复杂的，并且如果图像中存在很少纹理，则易于出错。这两种方法都需要密集的点云，并且在较小LiDAR（诸如Quanergy M8）的情况下将不会有效。与先前的方法相比，本文中描述的实施例以独特且有创造性的方式而不同，例如通过将单个相机和相对不昂贵的八射束LiDAR用于室外碰撞避免系统，这避免了对于基本上实时的碰撞避免系统而言可能无法忍受的滞后。
实施例可以在处理相关元素时部署模糊逻辑作为解决方案的一部分。与“模糊逻辑”实现有关的一个术语是模糊集，其被定义为具有连续等级的隶属度的对象的类。本领域技术人员将领会，语言变量与模糊集之间的关系可以是：可以使用模糊集来解释语言变量，这基本上意味着模糊集可以是语言变量的数学表示。模糊集的示例是“高个子学生的类”。隶属度函数向每个对象指派隶属度等级，其范围在零与一之间。模糊逻辑使用真实程度来代替给出“真”或“假”的结论。模糊逻辑的过程包括三个步骤。首先，将输入模糊化成模糊隶属度函数。然后，应用IF-THEN规则以产生模糊输出函数。最后，对模糊输出函数进行去模糊化以获得具体的输出值。因此，模糊逻辑可以用于对具有不确定性的输入进行推理，并且可以用于对来自相机和LiDAR的得分（例如，置信度得分）进行组合以获得针对最终融合结果的检测得分（也被称为关于检测概率的最终置信度得分），如下面更详细地描述的那样。
图20-37提供了进一步实施例的附加细节。现在参考图20，图示了根据本发明实施例的示例性系统架构2000，该系统架构2000具有示例性传感器2005（例如，LiDAR传感器2005a、相机传感器2005b、（一个或多个）IMU传感器2005c、ECU传感器2005d和制动器压力传感器2005e）、传感器信号处理系统2010、碰撞避免控制系统2015（涉及数据库2015a、模型预测性控制器2015b和车辆致动系统2015c）、以及车辆致动器2020。由此，示例性系统架构2000类似于图3中所示的以及上面关于示例性系统300而描述的系统架构。
如图20中所示，IMU是惯性测量单元的缩写；GPU是图形处理单元的缩写；CPU是中央处理单元的缩写；SVM是支持向量机的缩写；并且CNN是卷积神经网络的缩写。在图20中，示例性相机2005b和LiDAR 2005a是外部感觉传感器，并且它们的输出去往信号处理系统2010。LiDAR传感器2005a检测信标并且拒绝其他对象。LiDAR信号处理输出给出了信标位置作为以米为单位的距离（在工业车辆的前方）、以度为单位的方位角、以及判别值，该判别值用于判别信标与非信标。相机2005b将检测结果报告为图像中的相对边界框位置、以及检测和分类的置信度。LiDAR和相机信息被融合以创建更加鲁棒的检测结果，作为信号处理系统2010的一部分。
图21示出了将该系统用于碰撞避免的示例应用。现在参考图21，图示了根据本发明实施例的车辆2100，该车辆相对于不同信标2110被设置在路径2105上并且在路径2105上移动，信标被放置在受保护区域2115附近。中间的受保护区域2115被隔离，并且被指定为针对工业车辆（诸如车辆2100）的禁止进入区域。模型预测性控制器（MPC）2015b和车辆致动系统2015c控制工业车辆2100的移动和方向。这些系统对车辆动力学和系统运动学进行建模，并且在内部维持检测到的对象周围的虚拟障碍物107。MPC是一种基于处理的系统，当其被编程并且执行其编程时是一种基于模型的方法，该方法并入了预测性控制方法以逼近最优系统控制。通过效用函数的评估来确定控制解决方案，该效用函数基于对当前环境的观察来对未来结果的分支网络的计算进行比较。所实现的MPC程序代码（实现这种算法步骤并且如在MPC硬件（诸如，利用图4中的控制器410所描述的硬件）上运行）预测出车辆系统与检测到的对象（诸如，无源信标）的碰撞路径。由MPC系统针对直到预测范围的连续未来时间步长来计算出车辆速度控制解决方案。效用函数从一系列可能的未来控制解决方案中确定最优控制解决方案。最优控制解决方案在本申请中被定义为以下解决方案：通过车辆致动系统和车辆致动器的操作，该解决方案允许车辆以被定义为速度限制的最大可能速度来操作，该速度限制确保了该车辆在制动器致动子系统的控制限制内操作，使得可以防止对检测到的对象周围的虚拟边界的突破。例如，这种碰撞避免系统的实施例可以是超过5秒的预测范围。在最大可能车辆速度下，该范围与该实施例的传感器网络的检测范围一致。
图22是根据本发明实施例的用于数据融合的示例性框图。在该图示的示例性系统2200中，通过处理块示出了当不同类型的数据被捕获、单独地处理、并且然后融合以确定反射性信标的位置时的示例性数据流和处理。如图22中所示，首先，由相机2205（例如，相机2005b）捕获图像，并且然后使捕获到的图像上的数据通过相机对象检测系统2210（例如，作为传感器处理系统2010的一部分）。根据由相机检测块2210执行的处理，估计信标的边界框坐标、以及每个边界框的置信度得分。接下来，通过神经网络（NN）（例如，通过相机映射块2215（传感器处理系统2010的另一部分））将来自单个相机的检测边界框映射到距离和角度估计中，以便能够在融合块2230（例如，传感器处理系统2010的融合处理）中将该信息与LiDAR处理的距离和角度估计进行融合。
在另一侧，从LiDAR 2220（例如，LiDAR 2005a）生成并且提供点云信息，并且然后使该点云信息通过LiDAR数据处理2225（例如，传感器处理系统2010的一部分）。由LiDAR处理块2225生成检测到的信标的所估计的距离和角度信息，并且将其提供至融合块2230。通过LiDAR处理块2225，还将伪置信度得分提供给融合块2230。利用来自相机和LiDAR两者的以距离和角度形式的LiDAR检测结果，融合块2230将它们融合在一起以获得针对每个检测的最终距离、角度和置信度得分。
在示例性实施例中，车辆的最大速度约为每秒5米。为了有足够的反应时间以用于碰撞避免，检测频率需要为5Hz或更高。这可以使用例如一个或多个NVIDIA Jetson TX2计算模块作为传感器处理系统2010的一部分、以及使用用于MPC控制器的另一个TX2作为MPC系统2015的一部分来实现。为了针对实时性能实现期望的5Hz更新速率，实施例包括某些特征以改进软件速度从而足以满足要求。值得注意的是，使用了用于从LiDAR点云中去除地面点的在计算上较不复杂的方法来改进软件速度，而不是使用在计算上更加复杂的可能更准确的方法。此外，与内核SVM或其他非线性方法相对照，实施例可以通过使用具有有限特征集的线性SVM来增加速度。
为了管理传感器驱动器与信号处理功能之间的过程内（intra-process）通信，在TX2计算模块上使用了机器人操作系统（ROS）作为基于灵活框架的操作系统，该操作系统具有开源工具、库、以及由该操作系统提供的服务的约定。本领域技术人员将领会，ROS提供了已经实现的传感器驱动器，以用于分别从LiDAR和相机提取点云和图像数据。附加地，ROS通过使用被称为节点的个体ROS过程之间的虚拟化传输控制协议（TCP）连接来对过程内数据传递进行抽象和简化。作为该方法的结果，制作了多个多余的存储器拷贝，这在大型对象（如LiDAR点云）的情况下可能使性能退化。为了改善这种影响，可以将ROS Nodelet用于适当的LiDAR过程。本领域技术人员将领会，Nodelet建立在ROS节点上，以提供用于将多个ROS过程池化成单个多线程过程的无缝接口。在一实施例中，这使得能够在用于高带宽LiDAR计算的信号处理步骤之间进行高效的零拷贝数据传递。
在图23中，可以看到相关ROS节点的高级流程图以及它们在Jetson TX2的硬件2300上的执行位置。在一实施例中使用的示例性NVIDIA Jetson TX2具有256 CUDA核心GPU、双CPU、8 GB存储器，并且支持包括以太网的各种接口。作为在用作传感器处理系统2010的一部分的Jetson TX2模块上的最计算密集的操作，实施例可以将整个图形处理单元（GPU）2310分配到或专用于相机CNN。由此，感觉处理系统2010的传感器驱动器、信号处理和融合节点部分可以被降级到CPU 2305。由于来自LiDAR的高核心利用率，实施例可能需要分配足够的CPU 2305资源来将图像馈送到GPU 2310，或者可能发生CNN的不期望的节流。
类似于图5中所示的那些，图24提供了示例性无源信标2400的图示。如图24中所示，示例性信标2400可以由高可见度的28英寸橙色交通锥体与2英寸直径的高反射性杆构成，该杆垂直延伸两米。信标2400在LiDAR扫描中呈现为一系列高强度值，并且因此与大多数背景对象相比提供了高信号强度。信标描出了工业园区中对于车辆而言禁止入内——通常用以保护高价值资产——的区域（例如，图21中所示的区域2115）的轮廓。
在本文中，可以在传感器处理系统2010的相机CNN部分中实现被称为YOLO的深度学习模型，以检测单个相机图像中存在的对象。本领域技术人员将领会，YOLO深度学习方法在速度上胜过大多数其他深度学习方法，这在用于避免碰撞的实施例中是重要的。YOLO通过将区域和类的预测组合到一个网络中来实现这种速度，这与基于区域的方法（其具有单独的网络以用于区域提议）不同。为了训练该深度学习神经网络，在不同的日期和天气条件下收集了信标图像的大训练数据集，并且对该训练数据集进行了手工标记。所收集的训练数据集涵盖了相机的整个视场（FOV）（-20度至+ 20度）和相机（例如，具有Fujinon 6mm镜头的FLIR Chameleon3 USB相机）的检测范围（5至40米）。它可靠地表示从不同角度和距离的检测准确度。在示例性实施例中，每一个信标具有一致的构造，具有接近相同的大小、形状和颜色。这些特性允许由碰撞避免系统进行的检测过程在各种光照条件下以例如多达40米的范围来可靠地识别信标。
LiDAR检测模式被设计成检测信标，但是其他对象也可以处于工业车辆的直接或接近直接的路径中。可以利用LiDAR（例如，LiDAR传感器2005a）和其他传感器（诸如，相机）来实现前方防护系统。本领域技术人员将领会，LiDAR擅长以更远的距离来检测地面上方的对象，但是相机能够向该系统提供对更靠近拖拉机（以及更靠近地面，如垫木）的较小对象的更好的检测。因此，示例性前方防护系统的实施例可以依赖于使用来自LiDAR和相机两者的数据（并且在适当的情况下对它们进行融合或比较）以确定/检测对象以便避开。
由于许多对象缺少任何明亮点（因此被LiDAR信标检测所遗漏），因此实施例可以使用示例性前方防护系统，该系统基于来自LiDAR和相机两者的数据对工业车辆正前方的地面上方的矩形区域中的点进行群集，以检测对象以用于避开的目的。然后，可以使用前方防护来保持车辆以免撞击障碍物或人员。在地面点去除之后，将检测车辆正前方的矩形实心区域内的所有剩余点，并且将其报告给控制系统。
更详细地，在实施例中收集的LiDAR数据可以采用三维（3D）和360度视场（FOV）点云的形式，其由x、y、z坐标、以及强度和射束编号（有时被称为环（ring）编号）组成。坐标x、y和z表示每个点相对于在LiDAR内居中的原点（origin）的位置。强度表示返回的强度，并且是针对该LiDAR模型的整数。高反射性对象（诸如，金属或逆向反射性带）将具有较高的强度值。射束编号表示返回点位于哪个射束。我们使用的LiDAR发射了八个射束。射束编号在图25中被示为从源2500（例如，LiDAR传感器2005a）发出，并且暴露于例如在源2500前方的示例性无源信标2400。假定LiDAR被水平安装到地面，则如图25中所示的射束7是顶部射束，并且向上瞄准大约3度。射束6水平地指向。这些射束以大约3度而间隔开。图26示出了LiDAR点云的示例性扫描。在该图中，地面点用黑色点来示出。信标2400在水平方向上呈现为一系列紧密间隔的点，如方形2600中所示的那样。
通常，LiDAR中的一般对象检测是计算机视觉领域中的困难且未解决的问题。对象基于它们距LiDAR传感器本身的距离以不同的比例而出现，并且可以从任何角度来观看它们。然而，本文中描述的实施例实际上仅对检测全部都具有类似特性（例如，相同的几何形状）的信标感兴趣。在一实施例中，工业车辆可能仅仅行进得如此之快，使得该实施例仅需要检测大约20米远或更近的信标。此外，示例性信标可以被设计成具有非常明亮的返回。然而，其他对象也可以在场景中具有明亮的返回，诸如穿着具有逆向反射性带的安全背心的人员、或其他工业车辆。由此，实施例可以包括一种系统，该系统首先标识场景中呈现有明亮返回的点的集群。接下来，使用线性SVM分类器将信标集群与非信标集群进行区分。LiDAR检测系统通过在LiDAR点云上利用基于强度和基于密度的群集（修改的DBSCAN算法）来进行工作。然后，该系统通过提取特征并且使用线性SVM来判别信标与非信标，从而检查群集质心附近的所有点。在下面讨论了这些的进一步细节。
可以使用一种修改的DBSCAN群集算法来对明亮点进行群集，该算法基于点云密度以及强度来进行群集，如下面的算法示例1中所示。基于信标的大小通过经验将集群参数e确定为0.5m。更大的值可以将两个附近的信标（或者一个信标和另一个附近的对象）一起分组到一个集群中，并且我们想要将它们保持为分离的集群。在下面的等式1中，距离是在只有x（前至后）和y（左至右）坐标的情况下使用欧几里得距离来估计出的。有效地，该算法示例通过将明亮的LiDAR点向下投影到x-y平面上来对它们进行群集。可替代地，可以使用所有三个坐标x、y、z，但是这些特征不需要这样，这是因为它们会能够将高和矮的对象进行分离。与在群集算法中使用所有三个坐标相比，该方法还在计算上更高效。
算法示例1：LiDAR明亮像素群集
输入：具有NP个点的LiDAR点云P = {x j ，y j ，z j ，i j ，r j }
输入：高强度阈值：T H
输入：集群距离阈值：e（米）
输入：地面Z阈值：T G （米）
输出：点云中的每个明亮点的集群编号
去除非返回点：
for点云中的每个点do
从点云中去除所有非返回点（NAN）
去除地面点：
for经修改的点云中的每个点do
从点云中去除具有低于TG的Z值的所有点
去除非明亮点：
for经修改的点云中的每个点do
从点云中去除具有低于TH的强度值的所有点
对明亮点进行群集：
将所有点指派给集群0
设置 cl
for经修改的点云中的每个点P j do
if该点不属于集群then
将该点添加到集群
使集群编号递增：cl
将P j 指派给集群cl
将集群cl的质心设置为P j
扫描通过所有剩余点，并且如果必要的话进行重新群集
for每个点P m ，其中j＜m≤NP do
if 从点P m 到cl的质心的距离具有距离<e then
将P m 添加到集群cl
重新计算集群cl的质心。
为了提取特征，在发生特征处理之前要去除地面点，不然可能会发生假警报。由于该工业应用具有针对地面的平滑平坦区域，因此实施例采用简单的垂直阈值来去除地面点。如果该系统将被一般化到具有更多变化的地面条件的区域，则可以利用地面估计方法。然而，对于该特定实施例，这不是必需的。
接下来，将点强度与通过经验确定的阈值进行比较。在该实施例中，信标被设计成使得它经由逆向反射性垂直杆向LiDAR提供明亮的返回。这能很好地起作用，但是场景中还存在可能具有高返回的其他对象，诸如具有逆向反射性标记的其他工业车辆、或穿着具有逆向反射性条纹的安全背心的工人。为了将对象分类为信标和非信标，利用了特定特征（诸如，信标的高度和强度）。在地面去除并且对强度点进行阈值处理之后，剩下的是一组明亮点。也对第二组强度点进行分析，该第二组强度点由所有的非地面点（例如，在地面去除之后的点云）组成。明亮点云中的点被群集。信标看起来是高且细的对象，而其他所有对象看起来不高或者看起来更宽。该实施例在以每个对象的质心居中的小矩形体积中提取集群中心周围的特征。该实施例还使用也在对象质心周围居中的较大矩形体积来提取特征。特征包括：对每个区域中的明亮点的数量进行计数，确定每个区域中的点的x、y和z区间（extent）等。信标主要具有较小区域中的较大值，而其他对象具有较大区域中的值。图27中示出了两个区域2705、2710。使用内部2710和外部2705分析区域的想法是：信标大多数将具有位于内部分析区域中的明亮点，而其他对象（诸如，人类、其他工业车辆等）将延伸到外部区域中。下面的等式1和2定义了具有坐标（xj，yj，zj）的LiDAR点pj是分别在内部区域还是外部区域中，其中该对象的质心具有坐标（xC，yC，yC）。
图27图示了示例信标返回2700，其具有叠加的分析窗口。内部2710和外部2705分析区域两者具有以质心位置2715居中的x和y坐标。内部分析区域的深度（x坐标）为0.5米，宽度（y坐标）为0.5米，并且高度包括具有-1.18米及以上的z坐标值的所有点。外部区域在x和y方向两者上均延伸2.0米，并且具有与内部区域相同的高度约束。这些值是基于信标的尺寸和基于LiDAR高度来确定的。参数DxI、DyI和zMIN定义了相对于质心坐标的内部区域。类似地，参数DxO、DyO和zMIN定义了相对于质心坐标的外部区域。如果
则点在内部区域中；并且如果
则点在外部区域中。
为了鲁棒，我们还提取了强度返回上的特征。在大量信标和非信标对象上训练了线性SVM，并且基于每个特征区分信标与非信标的能力而对每个特征进行了排序（sort）。通常，性能中存在显著的增加，然后曲线趋于平稳（level out）。所发现的是，需要十个特征来实现非常高的检测率和低的假警报。这十个特征被实时利用，并且该系统以LiDAR的帧速率5 Hz实时操作。该系统通过首先在独立于训练集合的另一个大型测试集合上运行而被验证，作为结果，其具有出色的性能。然后，使用了广泛的现场测试以进一步验证结果。
在检测之后，然后将对象分类为信标或非信标。这些被附加到两个分离的列表，并且通过它们与工业车辆前方的距离（以米为单位）、它们的方位角（以度为单位）、以及它们的判别值而被报告。通过广泛的实验，我们可以在从3至20米的LiDAR FOV中可靠地看到信标。
LiDAR特征提取遵循下面在算法示例2中示出的总体算法。输入是LiDAR点云P = {x j ，y j ，z j ，i j ，r j }，其中j是第j个点的索引变量，x、y、z、i和r分别指代针对第j个点的x点（以米为单位）、y点（以米为单位）、z点（以米为单位）、强度和射束编号。要注意的是，所有坐标都是相对于点（0，0，340 0）处的LiDAR中心。x坐标在LiDAR的前方为正，而在其后方为负。y坐标在LiDAR的左侧为正，而在其右侧为负。z坐标在LiDAR的上方为正，而在其下方为负。
为了提取对象的特征，去除了没有向LiDAR提供返回的任何点。这些点在LiDAR点云中将呈现为NaN（无编号）。接下来，去除所估计的地面点。非地面点被划分成两个数据子集：高阈值（HT）数据和低阈值（LT）数据。HT数据点仅包含高强度返回，而LT数据包含大于或等于低强度阈值的点。这两个数据子集都不包含任何地面点。高强度阈值被设置为15，而低强度阈值被设置为0。这些阈值是通过实验基于对各种距离处的多个信标返回的检查来确定的。
算法示例2：LiDAR高级特征提取预处理
输入：LiDAR点云P = {x j ，y j ，z j ，i j ，r j }
输入：低强度阈值：T L
输入：高强度阈值：T H
输入：地面Z阈值：T G （米）
输出：特征向量f
去除非返回点：
for点云中的每个点do
从点云中去除所有非返回点（NAN）
去除地面点：
for经修改的点云中的每个点do
从点云中去除具有低于T G 的Z值的所有点
创建阈值点云：
设置P HT = ∅
设置P LT = ∅
for 经修改的点云中的每个点Pj do
if 点Pj具有强度_TH then
将Pj添加到PHT
if 点Pj具有强度_TL then
将Pj添加到PLT
提取特征：
使用算法示例3（如下所示）来提取特征f。
算法示例3：LiDAR特征提取
输入：LiDAR高强度点云PHT = fxj，yj，zj，ij，rjg
输入：LiDAR低强度点云PLT = fxj，yj，zj，ij，rjg
输入：内部区域x区间：DxI（米）
输入：内部区域y区间：DyI（米）
输入：外部区域x区间：DxO（米）
输入：外部区域y区间：DyO（米）
输入：高于地面的LiDAR高度：ZL = 1.4（米）
输出：特征向量f
对高强度点云进行群集：
for 高强度点云中的p中的每个点 do
对点进行群集并且确定集群中心
计算特征：
for 点云中的每个集群中心点c =（xC，yC，zC）do
使用等式1来确定在内部区域中的PHT中的所有点，并且根据表1来计算特征1
使用等式2来确定在外部区域中的PHT中的所有点，并且根据表1来计算特征4
使用等式1来确定在内部区域中的PLT中的所有点，并且根据表1来计算特征6、7、9和10
使用等式2来确定在外部区域中的PLT中的所有点，并且根据表1来计算特征2、3、5和8
返回f = [f1，f2，f3，_ _ _，f20]。
图28是描述了所提取特征的表2800（上面被引用为表1）。例如，特征1是从仅仅由高强度点组成的高阈值数据来生成的。在被标记为“数据子集”的列中，术语HT = 高阈值数据，而LT = 低阈值数据。仅针对内部分析区域中的高强度点来分析该数据。该特征仅仅计算Z（高度）区间，即最大Z值减去最小Z值。要注意的是，特征中的一些是仅在某些射束上被处理的，诸如特征2。这些特征按其判别能力以降序次序而列出，例如特征1是最具判别力的，特征2是下一个最具判别力的等等。
为了检测3D LiDAR点云中的信标，实施例可以使用线性SVM，该线性SVM基于在针对区分出信标而开发的手工（hand-crafted）特征上操作的经学习的线性判别规则来做出决策。在该实施例中，使用liblinear来训练SVM。本领域技术人员将领会，线性SVM通过找到最佳地将训练数据分离的特征的最优线性组合来操作。如果针对测试实例的M个测试特征由f =[f 1 ，f 2 ，f 3 ，_ _ _，f M ]T来给出，其中上标T是向量转置运算符，则SVM评估如下判别式：
其中w是SVM权重向量，并且b是SVM偏差（bias）项。在该实施例中，M被选择为20。（上面的）等式3将线性权重应用于每个特征并且添加偏差项。该判别式在SVM训练期间被优化。SVM优化权重向量中的个体权重，以最大化余量（margin）并且提供SVM的最佳总体判别能力。偏差项使最优分离超平面从原点漂移。图30示出了具有两个特征的示例情况（并且其中在图30中所示的余量是从D =-1至D = 1超平面的距离）。在这种情况下，D = 0超平面是决策边界。D =+1和D = -1超平面由支持向量来确定。SVM仅使用支持向量来定义最优边界。SVM是利用通过多次数据收集而提取的信标和非信标数据来训练的。存在13190个信标训练实例和15209个非信标训练实例。测试数据具有12084个信标和5666个非信标实例。
在该实施例中，选择M＝ 20个特征。首先，通过从训练数据中减去特征值的平均值并且将每个特征除以四倍的标准差加上10-5（以便防止除以非常小的数字），来对每个特征进行归一化。减去平均值使特征概率分布函数（PDF）在零周围居中。除以四倍的标准差383将几乎所有的特征值映射到范围[-1，1]中，这是因为大多数值位于±4σk内。归一化的特征是使用如下等式来计算的：
其中μk是特征k的平均值并且σk是特征k的标准差，其中k= 1，2…M。从训练数据估计出平均值和标准差，并且然后将其应用于测试数据。使用上面的等式3来计算最终判别式，其中特征向量是归一化的特征向量。
该示例性实施例的最优特征权重如图29中所示。由于所有特征是归一化的，因此特征1、3和8对最终判别函数具有最大影响。
如果判别式D≤0，则该对象被声明为信标。否则，它被声明为非信标（并且被LiDAR信标检测系统所忽略）。一旦SVM被训练，实现等式3中给出的判别式就使用最少的处理时间。
图31分别示出了针对信标3105和非信标3110的LiDAR判别值的概率分布函数（PDF）。PDF几乎是线性可分离的。判别值越负，则对象越像信标。
LiDAR（例如，LiDAR传感器2005a）和相机（例如，相机传感器2005b）两者都提供了关于对象检测的信息，尽管是在完全不同的坐标空间中。如参考图22一般解释的那样，LiDAR利用判别值提供了准确的角度和范围估计，该判别值提供了置信度的粗略指标。相机处理算法返回边界框坐标、类标签、以及在范围[0，1]内的置信度值。然而，在一实施例中，有效的融合使用共同的坐标空间。因此，在一实施例中部署了映射函数以将这些根本不同的传感器测量结果合并到共享的坐标空间中。为了构建该映射函数，一实施例可以将相机和LiDAR安装到工业车辆，并且LiDAR的准确位置测量结果与相机的边界框一起被用来收集训练数据。然后，使用该数据来训练神经网络。最终结果是一神经网络（NN），该神经网络可以将相机的边界框投影到LiDAR坐标系中的范围和角度估计中，如图32中所见的那样。在该图中，中间部分3210仅仅表示来自相机系统的边界框3205，并且在映射结果3220之前的较小的框3215在一实施例中表示示例性NN映射器，该映射器处理基于相机的信息并且将其映射到距离和角度信息的LiDAR坐标空间中。
图33是根据本发明实施例的来自相机的边界框的数据流的更详细示图，该边界框在使用用于映射这种信息的示例性神经网络结构的情况下被投影到LiDAR坐标系中的范围/距离和角度估计中。详述的NN结构在图33中被示出为十个完全连接层：十个神经元的八个层3305和二十个神经元的两个层3310、以及求解器3315。本领域技术人员将领会，可以利用具有例如多个完全连接层3305和3310的卷积神经网络来实现图33中的示例性网络3300以提供结果，同时仍维持相对小的网络3300。更详细地，示例性网络3300中的完全连接层3305可以具有十个输入权重以及一输入偏差项。类似地，示例性网络3300中的完全连接层3310可以具有二十个输入权重以及一输入偏差项。可以使用反向传播优化过程来调整权重，直到网络3300可以基于输入x top、y top、x bottom和y bottom来准确地估算出距离和角度为止。然后，求解器层3315从最后的完全连接的十神经元层3305取得最终输出，并且将该输出调整为其最终形式：距离（以米为单位）和角度（以度为单位）。可以用该结构来实现实施例，这是由于其计算简单，同时胜过其他线性和非线性回归方法。
在相机边界框被映射到LiDAR范围角的情况下，仍然保留了来自LiDAR的判别值和来自相机的置信度得分到共享空间中的映射。为此，相比于LiDAR针对判别值的[-∞，∞]范围，相机置信度的[0，1]范围提供了更直观的度量。因此，用于该组件的映射函数会将LiDAR判别映射到[0，1]空间以用于与相机进行融合。为此，在使用以下形式的实施例中使用了逻辑S形（sigmoid）：
。
将判别值乘以增益项α。最终结果是一函数，该函数将判别值映射到具有与相机置信度得分足够类似的范围的伪置信度得分以用于有效的融合。
下面解释了关于实施例中的这种融合和超参数优化的更多细节。利用具有两个映射组件的上述融合算法过程，现在可以建立完整的流水线，以将LiDAR和相机数据组合成足够类似的形式，以用于在实施例中进行有效的融合。使用来自相机和LiDAR两者的距离和角度信息，实施例可以将LiDAR和相机检测关联在一起。然后，可以融合它们的置信度得分，如在下面描述的算法示例4中所示：
算法示例4：LiDAR和相机检测的融合
输入：以[距离，角度，伪置信度得分]形式的来自LiDAR的检测
输入：以[距离，角度，置信度得分]形式的来自相机的检测
输入：角度阈值：A，针对经融合的相机和LiDAR检测之间的角度差
输入：置信度阈值：C，针对最终检测置信度得分阈值
输出：以[距离，角度，检测置信度]形式的经融合的检测
for来自相机的每个检测do
if存在具有小于A的角度差的对应LiDAR检测then
通过使用来自LiDAR的距离和角度来进行融合，并且使用模糊逻辑来对置信度得分进行组合，以确定经融合的检测置信度
else
使用来自相机的距离、角度和置信度得分作为最终检测结果来创建来自相机的新检测
for不具有对应相机检测的每个LiDAR检测do
使用来自LiDAR的距离、角度和置信度得分作为最终检测结果来创建来自LiDAR的新检测
for 每个经融合的检测do
去除具有低于C置信度阈值的最终置信度的检测
返回经融合的检测结果。
在该示例性实施例中，用于距离和角度估计的融合的策略不同于置信度得分的融合，这在图34的数据流程图中示出。在距离和角度融合3400的过程中，对于每个相机检测，当存在来自LiDAR的对应检测时，实施例可以使用来自LiDAR的距离和角度信息，这是因为LiDAR可以提供准确得多的位置估计。当不存在对应的LiDAR检测时，实施例可以使用来自相机的距离、角度和置信度得分以创建新检测。对于不具有对应相机检测的来自LiDAR的每个检测，实施例可以使用来自LiDAR的距离、角度和置信度得分作为最终结果。对于置信度得分融合3405（如图34的部分（b）中所示），当存在对应的相机和LiDAR检测时，实施例可以使用模糊逻辑来产生最终置信度得分。在一实施例中，在用于数据融合的这种模糊逻辑系统中使用的示例性模糊规则如下：
1. 如果LiDAR置信度得分为高，则检测的概率为高；
2. 如果相机置信度得分为高，则检测的概率为高；
3. 如果LiDAR置信度得分为中等，则检测的概率为中等；
4. 如果LiDAR置信度得分为低且相机置信度得分为中等，则检测的概率为中等；
5. 如果LiDAR置信度得分为低且相机置信度得分为低，则检测的概率为低。
在该实施例中，示例性模糊规则是由于以下原因以这种方式来选择的：第一，如果LiDAR或相机在它们的检测中示出高置信度，则检测很可能是正确的。这是针对规则1和2的原因。第二，LiDAR在直到大约20米的检测处都是鲁棒的。在该范围内，来自LiDAR的置信度得分通常为高或中等。超出该范围，该值将下降至低。这是针对规则3的原因。第三，超出20米的检测范围，该系统将仅依赖于相机来进行检测。这是针对规则4和5的原因。图35示出了使用模糊逻辑来对来自相机和LiDAR的置信度得分进行组合的过程。相机输入、LiDAR输入和检测输出被模糊化到模糊隶属度函数中，如图35（a）、35（b）和35（c）中所示。输出如图35（d）中所示。在该示例中，当来自LiDAR的置信度得分为80并且来自相机的得分为20时，通过应用这五个预定义的模糊规则，输出检测得分在56左右（如图35（d）中所示）。
本领域技术人员将领会，在机器学习中，超参数的值是在学习过程之前设置的。在等式5中，α控制LiDAR类似S型的压缩函数（squashing function），并且是要确定的超参数之一。在上面示出的算法示例4中，存在用于最终检测的另一个超参数阈值C。图36是根据本发明实施例的使用不同的处理技术以及在使用超参数的置信度得分融合的情况下的LiDAR和相机信息的数据流和处理的示图。现在参考图36，示例性数据流3600示出了：其中，这两个超参数可以用作示例性融合过程的一部分。在参考图36的示例中，示例性LiDAR 3605可以提供针对每个返回点的点云（x、y、z坐标）和强度数据。然后，可以标识候选对象，并且针对每个对象，SVM 3610然后确定判别值（例如，如上面关于LiDAR点封闭（close）以及所评估和优化的判别式而解释的）。超参数α控制S型函数3615的形状，该函数将范围（-∞，∞）内的SVM判别值转换成范围[0，1]内的伪置信度得分。进行该转换的原因是，相机3625和YOLO检测器3630也针对所有检测到的对象输出边界框、类标签（例如，信标、非信标等）以及在范围[0，1]内的置信度得分。具有来自两个传感器的在相同范围内的置信度估计允许模糊逻辑系统3620融合这两个得分，这类似于在上面并且参考图35所描述的那样。最后，在图36中的决策点3635处，将经融合的置信度得分与阈值超参数C进行比较。可以通过对参数执行网格搜索来确定超参数α和C。对于超参数的优化，本领域技术人员将领会，常用方法可以包括边缘似然、网格搜索和进化优化。
在下面解释的示例性实施例中，该实施例利用了网格搜索。在网格搜索中，通过为每个超参数选择候选值、然后生成其向量积的2D矩阵来研究这两个超参数。由于我们具有两个要调整的超参数α和C，因此本领域技术人员将领会，该实施例使用Kolmogorov-Smirnov测试（也被称为KS测试）来确定选择哪些超参数值。由此，在其中使用了KS测试的实施例中，检查了在使用真阳性率（TPR）、假阳性率（FPR）和Kolmogorov-Smirnov测试结果的2D矩阵情况下的各种参数组合的影响，以找到使TPR减去FPR的值最大化的α和C。为了最大化TPR并且最小化FPR，KS测试的目的是找到这两个指标之间的平衡。
在该示例性实施例中，针对α选择的值是1/100、1/500、1/1000、1/5000、1/10000、1/50000、1/100000、1/500000和1/1000000，而针对C的值是0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9和0.95。为了TPR与FPR之间的平衡，KS测试结果指示：该实施例应当具有1/500000的超参数α和0.65的超参数C作为最优值。因此，在一示例中并且基于用于在该实施例中确定这种超参数的结果，将α = 1/500000和C = 0.65选择为最优值，并且总体融合结果有利地提供了比仅利用相机3625或仅利用LiDAR 3605更好的结果。
在用于各种实验的示例性实施例中，LiDAR被实现为Quanergy M8-1 LiDAR。它具有八个射束，这些射束具有大约3度的垂直间隔。相机图像由具有Fujinon 6mm镜头的FLIRChameleon3 USB相机来收集。为了收集数据并且在相关环境中测试示例性系统实施例，使用了开放的室外空间，该空间具有：办公建筑物以及与该建筑物相邻的大的相对平坦的混凝土区域；几辆停放的汽车；拖车；以及几个储气罐等。
作为测试的一部分，进行了二十次广泛的数据收集。这些测试被设计成收集用于示例性系统实施例的训练数据、以及用以检查系统性能并调整系统参数的测试数据。许多测试由信标组成，这些信标被放置在传感器FOV中的随机位置中。其他测试具有在已知位置中的信标，以便评估LiDAR和相机用于估计范围和距离的准确度。稍后的测试将LiDAR用作“基本事实”，这是因为它在估计范围和距离方面高度准确。
大多数初始测试具有固定的工业车辆。稍后，测试在工业车辆正在移动的情况下执行。对于其中信标位置已知的初始测试而言，用不同的距离和角度标记了地面。LiDAR径直下方的地面点被用作0米距离，并且0度角处于工业车辆的正前方。从那里，跨0度角的线标记了以每米的间隔从3米直到40米的距离。0度角处于工业车辆的正前方。我们还标记了针对信标位置的-20度、-15度、-10度、-5度、0度、5度、10度、15度和20度线。以这种方式，该测试构建了具有经标记的基本事实的信标的数据集。对于静态信标测试，信标被放置在已知和未知位置两者、以及所记录的数据中。
对于固定车辆测试，若干个测试评估了该系统实施例的不同部分。例如，信标被放置在非常短的木制小车上，该小车附接到长绳子。这允许该信标移动，同时移动该信标的人员不在传感器的视场内。这允许该信标沿着0度角的线被放置在已知距离处，并且被拖动朝向该车辆，以在连续位置处收集数据。我们还沿着-40度、-20度、-10度、10度、20度和40度角的线进行了类似测试。最后，我们收集了在该信标以大致固定的距离从-40度角一直被拖动到40度角的情况下的数据。这些数据收集提供了大量的数据，以用于训练和测试用于避免碰撞的示例性系统实施例。
还利用人类执行了示例性数据收集。背心上的逆向反射性条纹向LiDAR呈现了明亮返回，这可能会导致假阳性。为了测量这些影响，不同的人员穿着高反射性背心，并且站立在该系统的LiDAR和相机前方的已知位置中。在人员处于面向和背离相机的多个取向上的情况下采集了数据。还在没有反射性安全背心的情况下执行了该测试。其他测试还让人员在传感器的FOV内随机地走动。这里收集的数据是用于训练SVM的非信标数据的一部分。
为了检查人员和信标也在该场景中时的干扰，人员在已知位置中穿着背心，靠近信标站立。然后记录了数据，这有助于该系统区分信标和人员，即使它们紧密接触。此外，利用紧密接近的信标和人员的一些动态情况执行了示例性系统实施例的测试。为了采集该数据，使用绳子和小车将信标来回拉动，同时第二个人员在信标周围移动。还在车辆径直驶向信标或其他对象、或者仅仅经过信标或其他对象的情况下进行了一系列数据收集，以测试该传感器系统在操作条件下是稳定的。该车辆以恒定速度、加速和制动（以使该车辆摇摆）来行驶，并且以蜿蜒的方式行驶。最后，在该车辆在有不同障碍物和信标存在时来回行驶的情况下，执行了数据收集。这主要是为了支持系统集成并且调整MPC控制器和致动器。所有的这些收集提供了用于这种示例性实施例的系统分析、调整和性能评估的丰富数据集。
与相机检测训练有关，用于YOLO的示例性训练图像还包括了由尼康D7000相机拍摄的图像和来自PASCAL VOC数据集的图像。在一个示例中，训练图像的总数约为25,000。在该示例中，YOLO的网络结构与默认设置基本相同。一个区别是最后一层中的过滤器的数量。该数量与我们尝试检测的对象类别的数量、以及YOLO将图像划分成的每一个网格区段的基本边界框的数量有关。例如，如果一实施例将每个图像划分成13乘13的网格，则针对每个网格，YOLO预测5个边界框，并且针对每个边界框，存在5+N个参数（N表示要预测的类别的数量）。作为结果，最后一层过滤器大小为13×13×5×（5+N）。另一个区别是，一实施例可以将学习速率改变为10-5以避免发散（divergence）。
与LiDAR检测训练有关，通过一系列步骤处理了示例性LiDAR数据。一实施例实现了地面杂波去除算法，以防止地面点向我们给出假警报，以避免地面上的反射性涂料的高反射，并且减小我们点云的大小。点的集群被分组成不同的对象，并且使用SVM被分类。可以使用具有信标和非信标对象的大数据集来训练该实施例中的SVM。示例性LiDAR数据被划分到两个不相交的集合中：训练和测试。在训练数据集中，存在13,190个信标和15,209个非信标。测试数据集包含5,666个信标和12,084个非信标。图37的表2（训练）和3（测试）中示出了用于训练和测试的混淆矩阵，该混淆矩阵说明了将信标与非信标进行分类的性能。结果示出了针对训练和测试数据集的良好性能。在使用示例性LiDAR数据的该特定示例的示例性实施例中，两个数据集都示出了超过99.7%的真阳性（信标）和大约93%的真阴性（非信标）。
因此，如以上更详述的实施例中所解释的，实施例可以被实现为多传感器检测系统，该系统融合了相机和LiDAR检测以用于更加准确且鲁棒的信标检测系统。这种系统的实施例可以被设计为用于碰撞避免的实时工业系统。实现这种类型的数据融合的实施例有助于针对每个检测获得更准确的位置和标签信息，作为可以部署在工业移动车辆（诸如，货物拖拉机）上的碰撞避免解决方案的一部分。作为实施例的一部分，这种类型的数据融合还可以有助于在处于相机范围内的同时在超出LiDAR的常规范围的情况下创建检测。
总之，应当强调的是，执行本文中的实施例中描述的任何方法和方法变型的操作的顺序仅仅是示例性的，并且可以遵循各种操作顺序，同时仍然是正确的并且依照了如本领域技术人员所理解的本发明的原理。
上面概述的示例性实施例的至少一些部分可以与其他示例性实施例的部分相结合地使用，以使用增强的工业车辆（诸如，货物拖拉机以及装载有货物/包裹的相关联的小车）来增强并且改进物流操作（例如，货物和包裹的装载、运输和卸载），该工业车辆被改进以在较少检测到的假阳性和改善的自动反馈系统的情况下更好地避免碰撞。如上所指出，本文中公开的示例性实施例可以彼此独立地和/或彼此组合地使用，并且可以具有向本文中未公开的设备和方法的应用。此外，本领域技术人员将领会，实施例可以提供一个或多个优点，并且并非所有实施例都一定提供了如此处阐述的所有或多于一个的特定优点。附加地，对于本领域技术人员将显而易见的是，可以对本文中描述的结构和方法做出各种修改和变型。因此，应当理解的是，本发明不限于说明书中讨论的主题。相反，如下面的权利要求书所记载，本发明旨在涵盖修改和变型。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：用于车辆的传感器组件和用于监控传感器的方法