具体实施方式

上面描述的本发明的特性、特征和优点以及实现它们的方式将结合下面的示例性实施例的描述变得更加清晰和明确，这些示例性实施例将结合图示进行更详细的解释。

下面在优选实施例的基础上，并参照附图对本发明进行更详细的解释。在图中，相同的附图标记表示相同或相似的元件。附图是本发明各种实施例的示意性表示。图中示出的元件不一定是按真实比例显示的。而是，以本领域技术人员可以理解其功能和通用性的方式来描绘图中所示的各种元件。如图所示，功能单元和元件之间的连接和联接还可以实现为间接连接或联接。可以有线或无线方式实现连接或耦合。功能单元可以实现为硬件，软件或硬件和软件的组合。

下面介绍与传感器融合相关的技术。传感器融合涉及到对多个传感器的传感器数据的组合。在这种情况下，传感器融合可能涉及使用多种测量模式对共同场景进行成像的多个传感器。换句话说，不同的传感器因此可以使用不同的测量模式对场景进行成像。这可能意味着不同传感器的测量场具有重叠区域。

一般来说，本文所描述的技术可用于各种应用领域。例如，可以基于传感器融合来控制场景中机器人的移动。例如，可以使用移动机器人，并且可以基于传感器融合来计划移动机器人的轨迹。在另一个示例中，可以使用以固定方式安装并且具有一个或多个铰接的机器人臂的机器人。然后，可以基于传感器融合来移动机器人臂。例如，可以监测机器人臂是否靠近操作者或另一个限制区域。

一般来说，在不同的实施例中，与传感器融合相关的传感器的数量和类型可以有所不同。例如，在传感器融合中通常可以考虑到2至10个传感器的范围。示例性的传感器包括有源传感器，例如，ToF(飞行时间)传感器；雷达传感器；激光雷达传感器，例如，带扇形照明的1-D/2-D扫描/旋转或闪光激光雷达；超声波传感器，例如，单个传感器或超声波传感器阵列。替代的或补充地，还可以使用无源传感器，例如，摄像机或立体摄像机。可以在红外光谱、可见光谱或紫外光谱中使用摄像机。可以使用单目摄像机或立体摄像机。还可以使用主动式摄像机，它能投射出图案－例如，线状图案等，并能由此确定表面形貌。从这些示例中可以清楚地看出，测量模式根据传感器类型的不同而变化。例如，雷达传感器和激光雷达传感器使用不同波长范围的电磁波，雷达传感器，例如，使用千兆赫范围的波，而激光雷达传感器通常使用红外范围的波，例如950nm或C波段的波。超声波传感器使用空气的密度波动而不是电磁波作为测量模式。

一般来说，既可以使用相对于场景固定的传感器，还可以使用可移动的传感器。例如，可以在机器人上安装一个或多个传感器，该机器人的移动是基于传感器融合来控制的；替代的或补充地，可以相对于机器人以固定的方式安装一个或多个传感器。

传感器数据还可以根据传感器的不同而不同。传感器数据对场景进行成像。根据测量模式，用不同的物理观测值对场景进行成像。例如，传感器数据的信息内容可以变化。一些传感器数据可能不具有任何空间分辨率：例如，超声波传感器可能只提供单个距离值，但不提供横向分辨率。其他传感器数据可能具有1-D分辨率：例如，一维扫描的激光雷达传感器就属于这种情况。然而，其他传感器数据可能具有2-D分辨率，例如，基于2D相干传输阵列的二维扫描激光雷达传感器或照相机图像或雷达传感器。在这种情况下，传感器数据的分辨率可能因传感器而异：例如，雷达传感器的横向图像点数量通常少于激光雷达传感器。

各种示例都是基于这样的见解，即各种传感器可能根据场景提供不正确或错误的信息。一个示例涉及将照相机作为传感器，例如：照相机通常不能检测在相应的波长范围内透明的物体，或者只能在有限的程度上检测它们。例如，通不能通过照相机检测到一块玻璃或只能在有限的程度上检测到一块玻璃。另一方面，例如，超声波传感器可以特别好地检测玻璃。另一个示例与镜子有关：例如，照相机可以检测到镜子中反射的物体，但不能检测到镜子本身，因此可以提供与场景有关的错误信息。另一方面，例如，镜子可能对雷达波的反射率不是特别高，因此可以通过雷达传感器可靠地检测到。另一个示例涉及例如在没有场景照明的情况下被动摄像机的有限范围。另一个示例涉及在烟雾或雾气情况下减小的基于光的传感器的范围。

因此，可能经常需要对来自各种传感器的传感器数据进行验证。在这种情况下，本文所描述的各种示例是基于以下认识：仅基于传感器数据本身，不可能或仅在有限的程度上验证来自传感器的传感器数据。因此，以下描述与传感器融合相关的与传感器数据的验证有关的技术，其通过考虑使用多个测量模态对共同场景成像的多个传感器的可用性来进行。

在参考实施例中，通常会分别评估来自不同传感器的传感器数据。然后，例如基于传感器数据的加权组合作为传感器融合来进行障碍物检测。例如，可以根据障碍物存在的概率来进行加权。在例如US 2017/0 197 311 A1中描述的这种参考实施例中，通常仅在有限的程度上感知场景，这例如在控制机器人的运动时可能导致不准确或错误。

为了消除这样的缺点，可以为多个传感器中的每个传感器确定各自传感器数据中的至少一个相应特征。然后可以在传感器数据的特征之间进行相互对应分析。因此，例如，可以比较在第一传感器数据中确定的特征是否也存在于第二传感器数据中。

这种相互对应分析可以使验证不同的传感器数据成为可能。例如，如果在第一传感器数据中确定的特征也在第二传感器数据中确定(并且，也可能反过来)，即如果第一传感器数据与第二传感器数据对应，则可以高概率地假设第一传感器和第二传感器的正向验证。

然而，有时可能会出现这样的情况，即来自两个不同传感器的传感器数据之间没有或只有有限的对应关系。这可能是由于不同的原因：第一个原因是第一传感器或第二传感器的操作中出现了故障。传感器可能已损坏。第二个原因是通过第一传感器或第二传感器的测量模式捕捉特定特征的可能性不存在或可能性有限。例如，对于可见光来说，透明的物体往往不能被传统照相机捕获或者只能在有限的程度上被捕获。

下文将介绍在传感器数据特征的相互对应分析过程中检测到的、能够区分传感器数据之间差异的这两种原因的技术。

为此，根据各种示例，还可以为多个传感器数据中的每个传感器获得相应的性能规格数据。然后，可以考虑到相应的性能规格数据在各种传感器数据的特征之间进行相互对应分析。然后可以在对应分析的基础上进行传感器融合。

一般来说，性能规格数据用于成像特征的相应传感器的特定功能。因此，性能规格数据可以指示对具有特定属性的成像特征的相应测量模态的至少一个限制。

因此，通常可以根据相应的测量方式来确定性能规格数据。性能规范数据可以是预先定义的。

照相机的性能规格数据可以描述，例如，这样的事实，即，照相机无法对相应光谱范围内具有高透明度的物体进行成像，或者只能对它们进行有限范围内的成像。超声波传感器的性能规格数据可以描述，例如，这样的事实，即，距离超声波传感器超过10米以上的物体不能被超声波传感器成像，或者只能在有限的范围内被超声波传感器成像－也就是说，性能规格数据通常可以描述范围。超声波传感器的性能规格数据可以描述，例如，这样的事实，即，横向范围(垂直于深度测量方向)小于5厘米的物体不能被超声波传感器成像，或者只能在有限的范围内被超声波传感器成像－也就是说，性能规格数据通常可以描述分辨率。性能规格数据还可以描述，例如，这样的事实，即，以特定方式定向的物体表面－例如，相对于相应传感器的位置和/或方向(姿势)的定向－不能成像或只能在有限的范围内成像。例如，一个示例涉及相对于表面和超声波传感器之间的直接连接线倾斜并且使声波沿不同方向偏转远离超声传感器的表面。因此，即使是激光雷达传感器也无法检测到倾斜的反射表面，或者只能在有限的范围内检测到它们。这对应于与雷达传感器有关的所谓隐身技术。可以结合物体的反射率来考虑这种特性和其他特性，特别是包括物体表面的材料特性。例如，LIDAR传感器无法检测到远距离反射率特别低的特定物体。

因此，在更一般的情况下，由性能规格数据指示的至少一个限制可能包括场景中物体的横向范围的较低阈值。替代的或补充地，由性能指标数据指示的至少一个限制也可能包括场景中物体的几何方向。有时，有可能基于相应传感器相对于物体的姿态来参数化此几何方向。替代的或补充地，至少一个限制还可以包括场景中物体表面的反射率。

通过在相互对应分析期间考虑性能规格数据，可以将不同传感器数据中确定的特征之间的差异分配给各传感器的性能规格的限制。然后，可以在传感器融合过程中将其考虑在内。这样可以实现特别准确和可靠的传感器融合。

图1示出了一个示例性系统70。移动机器人90在一个场景80内移动。场景80包括多个物体81-83，例如，固体障碍物81和83以及玻璃板82。从图1可以明显看出，障碍物83相对于机器人90布置在玻璃板82的后面。

有两个传感器111、112。在图1中的示例中，传感器111、112安装在机器人90上。然而，通常可以使用固定传感器作为这种移动传感器的替代或补充。

传感器111、112各自具有相应的测量区域211、212。测量区域211、212在深度测量方向(Z方向)上具有特定的范围。测量区域211、212在横向方向(X方向和Y方向)上也具有特定的范围。与测量区域211、212相关的特定参数可以，例如，包括在传感器111、112的相应性能规格数据的范围内。

可以对来自传感器111、112的传感器数据进行传感器融合。然后，可以根据传感器融合来控制机器人90在场景80中的运动。例如，可以对轨迹91进行规划，从而避免与物体81-83发生碰撞。

与传感器融合相关的细节将结合图2进行描述。

图2示出了关于处理来自传感器111、112的传感器数据的各方面。特别是，图2示出了关于传感器111、112的传感器融合的各方面。

对传感器数据的处理通常使搜索各种传感器数据之间对应的几何性质或一般对应的特征成为可能。在此基础上，可以验证各种传感器数据的合理性。例如，传感器111可以是超声波传感器，并且可以提供距离信息。例如，传感器112可以是，例如，照相机，其提供具有多个图像点的图像。在这种情况下，各图像点的对比度值也可能与距离信息相关联。然后，来自照相机112的这种深度图像信息项可以用于解释来自超声波传感器111的传感器数据。例如，可以检测由超声波传感器111检测到的特征与由照相机112检测到的特征之间的差异。如果检测到这种差异，则可以启动对传感器数据的进一步处理或解释，也就是说，例如，可以使用场景重建算法。现在将结合图2详细描述这种技术和进一步的技术。

详细地，图2示出了这样的事实，即，可变数量的传感器111-114将传感器数据121-124传输到校准模块131(通常在软件中实现)。校准的性能，以及因此校准模块131的性能通常是可选的。校准使得可以以自动的、外在的方式校准传感器111-114成为可能。可以根据不同的事件启动校准。例如，可以根据预先定义的调度反复启动校准。例如，如果很多差异超过阈值，则也还可以根据相互对应分析启动校准。可以启动校准的事件的另一个示例涉及机器人90与障碍物81-83的碰撞。

可以通过校准来确定校准数据。校准数据可以描述各传感器111-114的成像特性，可选地考虑到相应的测量模式。在一个示例中，校准数据可以补偿，例如，测量区域211、212的偏移和/或测量区域211、212相对于彼此的旋转。然后，可以基于校准数据对传感器数据121-124进行进一步处理，特别是确定各传感器数据中的特征。这意味着，校准通常可以将来自不同传感器的传感器数据相互联系起来。

然后在模块132中确定传感器数据121-124中的特征，可选择地考虑校准数据。模块132又可以在软件中实现。这些特征可以描述传感器数据的特定特性。这些特征可以对应于场景80中的物体81-83。

如上所述，取决于所使用的传感器111-114的类型，传感器数据的信息内容可以变化。因此，特征确定的复杂度还可以根据传感器的类型而变化。例如，对于超声波传感器，特征的确定可以包括单个距离值的确定。另一方面，对于照相机，特征的确定可以包括对象检测，例如使用机器学习和/或图像分割。

一般来说，至少一个特征可以分别基于传感器数据的单个测量来确定。这意味着，来自各种传感器111-124的多个时间序列测量的传感器数据没有被组合。如果使用单独的测量，则可以对下游传感器融合使用更高的刷新率。

然后，在模块133中进行各种传感器数据121-124的特征之间的对应分析。该对应关系分析是在考虑到性能规格数据172的情况下进行的。

对应分析特别是在各种传感器数据121-124的特征之间相互进行。这意味着，例如，可以检查在传感器数据121中确定的特征与在传感器数据122中确定的特征的对应关系，以及检查在传感器数据123中确定的特征与在传感器数据124中确定的特征的对应关系。相应地，可以反过来检查在传感器数据122中确定的特征与在传感器数据123中确定的特征的对应关系等。

在图2的示例中，性能规格数据由模块171接收。在一些示例中，性能规格数据可以被永久地存储在存储器中，也就是说是预先定义的。图2中的示例还说明了这样一个事实，即，有时可能在传感器111-114的操作期间适应性能规格数据。例如，因此可以考虑传感器111-114的特定操作状态等。例如，如果能可以设置传感器111-114的测量模式，这可能是有益的。

然后，可以根据对应关系分析的结果进行传感器融合。例如，如果对应关系分析表明在各种传感器数据121-124中确定的特征之间具有良好的对应关系，则可以通过组合各种传感器数据121-124，即通过叠加各种确定的特征来容易地进行传感器融合，例如，对应于输出141的特征。

在对应分析期间检测到差异的情况下－也就是说，例如，在各种传感器数据121-124的解释存在差异的情况下，可以使用场景重建算法。特别是，当对应关系分析的结果表明有限的对应关系时，可以使用场景重建算法，然而，有限的对应关系在相应的性能规格数据的范围内是合理的。如果对应关系在相应的性能规格数据的范围内不合理，则可以认为传感器有故障。

在场景重建期间，可以对场景做出特定的典型假设，例如，在重建规则的范围内。例如，可以将玻璃板插入由照相机112检测到的框架中。也就是说，通常可以添加特定的特征，特别是当它们在相应的传感器数据121-124中缺失时，在性能规范数据的范围内是可信的。例如，在图1中的示例中，可以结合从相机112的传感器数据122中确定的一组特征来添加玻璃板82。

对于所做出的每个场景假设，然后，可以检查所有的传感器数据是否因此可以被宣布为可信，例如，模块136。在这种情况下，可以再次考虑到性能规格数据172。如果，例如，在照相机112检测到的框架中重建并添加了一个平面玻璃板，那么可以验证在玻璃板82后面的物体83还是被确定为相机112的传感器数据122中的特征。这通常意味着场景重建算法可以基于针对场景的预期特征的预先定义重建规则来修正有限的对应关系。如上所述，这些重建规则可以描述，例如，特定典型特征之间的几何关系。在图2的示例中，从模块135接收重建规则。

在一些示例中，有可能在机器学习的基础上训练重建规则。例如，如果通过使用对应规则的特定变化获得场景的特别合理的重构，则该信息将有可能被用于训练提供对应规则的对应算法。

如果模块136中的分析表明场景重建成功，则可以通过叠加特征(包括场景重建添加的特征)再次进行传感器融合，对应输出142。在这种情况下，补充的场景或补充场景的特定属性还可以作为先验知识，通过反馈相应的先验数据143来确定特征132。

场景重建134的结果还可以用于适应性能规范数据172。因此，可以向模块171输出相应的校正数据144。

如果不可能对场景进行合理的重建，则可以输出警告149。

通过这样的技术，因此可以稳健地解释场景－即环境。特别是，可以将所有可用的传感器数据结合起来，并可能与场景重建期间典型特征的假设相结合。这种传感器融合提供了详细的场景图像。高度的细节导致更少的空间限制。例如，这可能是会有帮助的，特别是与轨迹91的规划有关(比较图1)。例如，在具有诸如门框之类的物体的场景，诸如柱子等紧密靠近的障碍物的情况下，可以正确地解释环境，从而能够通过。

图3是一个示例性方法的流程图。例如，根据图3的方法可以在处理器上通过后者从存储器中读取程序代码来实现。根据图3中的示例的方法用于根据多模态传感器数据稳健地寻找场景中的特征。

首先在方框1001中6接收传感器数据。在这种情况下，通常可以从至少两个不同的传感器接收传感器数据，即分配给不同传感器类型的传感器。各种传感器可以使用不同的模式对共同的场景进行成像。例如，可以从照相机接收传感器数据，并且可以从超声波传感器接收进一步的传感器数据。

然后在方框1002中根据传感器数据分别确定一个或多个特征。在方框1002中的评估最初可以针对不同的可用传感器数据分别进行。特别是，可以在方框1002中考虑到校准数据。这些校准数据可以将不同的传感器数据相互联系起来。为此，校准数据可以描述各个传感器的成像属性，例如姿势、放大系数、延迟、图像刷新率等。

然后，在方框1003中获得各个传感器的性能规格数据。性能规格数据指示与相应的传感器对具有特定属性的特征进行成像的能力有关的相应测量模态的至少一个限制。

然后在方框1004中进行特征的相互对应分析，其中，在这种情况下，考虑相应的性能规格数据。这可能意味着在来自不同传感器的传感器数据中找到相应的特征。因此，在不同的传感器数据中确定的特征可以相互关联或分配。

在这种情况下，不同传感器的性能规格数据支持对应分析，并且可以更准确地评估在对应分析过程中识别出的差异。例如，性能规格数据可以确定不同传感器的重叠测量场的边界。例如，性能规格数据可以确定对物体的几何形状施加的要求，即，例如，表面方向或到传感器的距离，其结果是可以将物体作为特征进行检测。

然后在方框1005中检查对应分析的结果。如果存在对应关系，则可以在方框1007中直接进行传感器融合。为此，可以将确定的各种特征进行叠加。例如，当来自传感器的传感器数据的所有特征对应于其他传感器数据的特征(在特定的精度限制内)时，可以确定是否存在对应关系。

但是，如果没有对应关系，则可以在执行方框1007中的传感器融合之前，先执行方框1006。在方框1006中使用场景重建算法。该算法可以用于重建没有对应关系的特定特征。在这种情况下，可以执行方框1007，特别是，当尽管没有对应关系时，则在性能规格数据所指示的限制内缺乏对应关系是合理的(否则，可以输出警告，未在图3中示出)。

关于场景重建算法，可以使用与场景相关的先验假设，例如，在重建规则的范围内。例如，先验假设可以包括与使用领域相关的信息项，例如，是涉及内部场景或外部场景等。因此，可以更有效地重建经常出现的典型物体，这些特殊物体只能通过特定的传感器类型很难检测到。例如，框架中的玻璃板或高吸收性或有光泽的特征性基底/衬里。

机器学习方法还可以作为场景重建算法的一部分。例如，可以在机器学习的基础上训练描述特征重建的对应规则。这使得能够更健壮和更有效地重建环境。

还可以进一步利用场景重建算法的具体结果。例如，可以根据场景重建算法的结果来调整性能规格数据。具体地，例如，如果检测到在特定的传感器数据中没有检测到特定的特征，并且对该特征进行了重构，则可以将该特征的属性作为无法被相应的传感器类型检测到而存储在性能规格数据中。例如，可以使用机器学习，特别是强化学习来实现这种反馈。

场景重建算法的结果还可以用于检测系统性故障，例如，基于差异频率的增加。

毋庸置疑，上述本发明实施例和各方面的特征可以相互结合。特别是，这些特征不仅可以在所描述组合中使用，而且还可以在不脱离发明范围的情况下以其他组合使用或单独使用。