阅读说明：本技术 确定变换矩阵的方法 (Method for determining transformation matrix ) 是由 阿拉斯·帕帕德利斯 奥古斯特·贝尔格 丹尼尔·斯托尔 西蒙·琼森 于 2019-05-24 设计创作，主要内容包括：公开了一种确定变换矩阵的方法(200),该变换矩阵用于将测距数据从用于测距传感器的第一坐标系统变换到用于图像传感器的第二坐标系统。该方法包括：提供(201)测距传感器和图像传感器；获取(202)测距帧序列和图像帧序列；确定(203)每个获取的帧序列的帧中的运动点；对于所述帧序列之一中的每个帧：评估(204)是否已在所述帧中确定单个运动点,且假如已确定单个运动点,则评估(206)是否已在另一帧序列的时间上相对应的帧中确定单个运动点,且在该情况下,将时间上相对应的帧进行配对(207),从而形成一组帧对,并基于该组帧对来确定(209)所述变换矩阵。(A method (200) of determining a transformation matrix for transforming ranging data from a first coordinate system for a ranging sensor to a second coordinate system for an image sensor is disclosed. The method comprises the following steps: providing (201) a ranging sensor and an image sensor; acquiring (202) a sequence of ranging frames and a sequence of image frames; determining (203) motion points in frames of each acquired sequence of frames; for each frame in one of the sequence of frames: it is evaluated (204) whether a single motion point has been determined in the frame, and if a single motion point has been determined, it is evaluated (206) whether a single motion point has been determined in a temporally corresponding frame of another sequence of frames, and in this case the temporally corresponding frames are paired (207), forming a set of frame pairs, and the transformation matrix is determined (209) on the basis of the set of frame pairs.)

确定变换矩阵的方法

技术领域

本发明涉及确定变换矩阵的领域，尤其是用于将譬如雷达数据的测距数据从用于测距传感器的第一坐标系统变换到用于图像传感器的第二坐标系统的变换矩阵。

背景技术

存在用于使场景成像的不同传感器。常见的传感器类型包括：图像传感器，记录光波并提供场景的2D视图；测距传感器，发出信号并记录其回声，以确定场景中的物体所处的距离。测距传感器提供场景的2D或3D视图，但相较于图像传感器，一般处于不同空间。

图像传感器可以适配为接收不同类型的光波，包括可见光和红外(IR)光。测距传感器的示例为雷达传感器、光达传感器和声呐传感器。

所有传感器类型都有它们的优缺点。例如，它们的性能在指定环境(日、夜、雨、太阳等)中相异，并且它们提供不同类型的信息(颜色、对比度、距离、物体速度等)。许多成像系统，诸如监视/监控系统之类，使用不同传感器的组合来描绘场景。取决于组合目的，可以以许多方式、且在数据处理的不同阶段来组合传感器采集的数据。

例如，测距传感器能够用来向图像传感器生成的数据提供额外信息。将测距数据和图像传感器数据组合的问题在于它们通常在不同的空间采集。测距传感器，例如雷达传感器，对水平且在深度延伸的空间进行成像，而图像传感器对水平且垂直延伸的空间(如从传感器看到的每个空间)进行成像。

因此，需要在不同的空间之间变换传感器数据。

为了将传感器数据从传感器之一的一个坐标系统变换为另一传感器的第二坐标系统，能够确定变换矩阵。变换矩阵的确定基于将由测距传感器和图像传感器中的每一个(公共视野的)获取的帧中的兴趣点关联。能够通过诸如时空相似度过程之类的高级分析方法来确定将兴趣点关联。为了找到关联，这些方法可以包括传感器数据的旋转、平移和缩放。能够通过许多公知的方法进行变换矩阵的随后计算。Wang(王)等人的“将毫米波雷达与单目视觉传感器集成以用于公路障碍检测应用”(传感器2011,11,8992-9008)中公开了一个示例。

如讨论的，现有的确定变换矩阵的方法计算非常繁重且耗时。因此存在较简单方法的需求。

发明内容

本发明的目的是提供一种比已知方法更简单的确定变换矩阵的方法。特定目的是提供一种以简单方式在来自不同传感器的数据中确定关联点的方法，其能够用于确定用于传感器的变换矩阵。

根据第一方面，这些及其它目的完全或至少部分由一种确定变换矩阵的方法实现，该变换矩阵用于将测距数据从用于测距传感器的第一坐标系统变换到用于图像传感器的第二坐标系统，该方法包括：

提供具有至少部分重叠的视野的测距传感器和图像传感器，

由测距传感器获取测距帧序列，并且由图像传感器获取图像帧序列，

确定测距帧序列和图像帧序列中每一个的帧中的运动点，

对于测距帧序列和图像帧序列之一中的每个帧，

评估是否已在该帧中确定了单个运动点，并且

假如已确定了单个运动点，则评估是否已在测距帧序列和图像帧序列中另一个的时间上相对应的帧中确定了单个运动点，并且在该情况下，将时间上相对应的帧进行配对，

从而形成时间上相对应的帧的一组帧对，

基于该组帧对来确定变换矩阵。

如本文所用的，“单个运动点”意指一个且仅有一个运动点。

如本文所用的，“图像传感器”意指通过获取光波来成像的传感器，并且“测距传感器”意指通过发出并记录信号(诸如光信号、无线电信号或声信号之类)的回声来成像的传感器。

如在背景部分所讨论的，确定变换矩阵的动作是已知的，并且不同的方法对于技术人员是公知的。因此，本申请中将不讨论变换矩阵的确定/计算的细节。

本发明因此提供了一种如何确定变换矩阵的新型方法，尤其是一种如何确定变换矩阵的确定所基于的关联的新型方法，该变换矩阵用于将来自测距传感器的数据变换为来自图像传感器的数据的图像空间。

图像传感器能够为IR传感器、可见光传感器或在提供的定义内的任一其它类型的图像传感器。测距传感器的非限制性示例为雷达传感器、光达传感器和声呐传感器。

测距传感器和图像传感器每个都配置为具有场景的视野。用于测距传感器的视野至少部分与用于图像传感器的视野重叠。换言之，测距传感器和图像传感器从场景的公共部分获取数据。对于图像传感器和测距传感器，不必物理地位于彼此的特定距离内，只要它们具有至少部分公共的场景视图。

帧序列由相应的传感器以图像处理领域中的已知方式获取。处理算法在用于本文讨论的方法之前，能够应用于帧序列。

运动检测单元，通常为图像处理管道的一部分，可以用于确定测距帧序列和图像帧序列中每一个的帧中的运动点。运动确定单元能够为在帧中检测到的运动提供坐标形式的信息，可选地具有关于检测到的物体的信息(诸如物体类型之类)和关于检测到的运动的速度之类的信息。

测距帧序列和图像帧序列因此变得与检测到的运动点相关联。从帧序列之一开始，评估每个帧，以确定是否已在那个帧中确定了单个运动点。若是，评估帧序列中另一个的时间上相对应的帧，以确定是否也在那个帧中确定了单个运动点。在两个时间上相对应的帧各包括一个且仅一个运动点的情况下，时间上相对应的帧被关联为一对，并添加到该组帧对中。基于此组帧对，能够确定变换矩阵。

时间上相对应的帧意指同时或几乎同时获取的帧。基于每个帧的时间指示，能够确定哪些在帧序列之间时间上相对应的帧。时间指示通常包含在标准的图像处理中，且能够使用硬件时钟振荡器设置。

当确定了变换矩阵时，它能够存储为对于处理图像传感器所获取的帧的图像处理器是可访问的，且应用于随后获取的图像帧序列。变换后的测距数据能够例如用来确定从图像帧序列生成的图像中的不同点之间的距离，且此信息能够显示给注视图像的用户。一个场景示例为用户在显示的图像中标记两个兴趣点，且(在显示器中)被提供这些点(像素)之间的距离。由于变换矩阵的确定，能够实现此场景。通过了解变换矩阵，可以按需计算距离(即，一旦选择了点)。不需要为了计算、用测距传感器做进一步测量。

本创造性方法能够为摄像机(例如，监视摄像机)的校准模式的一部分，其中在能够暂时处于查看场景的位置的测距摄像机的帮助下确定变换矩阵。校准模式之后，且因而在确定了变换矩阵后，能够拿走测距传感器，仅留下现在与它的变换矩阵相关联的摄像机。

在一个实施例中，每个获取的帧(测距帧或图像帧)与表示获取时间的时间戳相关联。在那一情况下，假如测距帧和图像帧相关联的时间戳之差低于预定的时段，测距帧和图像帧能够被定义为是时间上相对应的。能够通过硬件时钟来设置时间戳。

可以基于测距帧序列的帧速率和/或图像帧序列的帧速率来确定预定的时段。

而且，每个确定的运动点可以与物体速度相关联。该方法可以在此类实施例中进一步包括：对于测距帧序列和图像帧序列之一中的每个帧，评估物体速度是否低于预定的速度阈值，且只有物体速度低于预定的速度阈值，才执行时间上相对应的帧的配对。

物体速度的此限制有助于将真匹配的物体(即在两个帧中相同的物体)进行配对的较高可能性，即使在帧序列之间的帧速率不同(像通常那样)时。具有高速度(高于阈值)的物体冒着在时间上相对应的帧之间的时间差期间移动太远的风险，这样它们或被认为是不充分的匹配(因而需要不必要的处理)，或移近另一运动点并触发假匹配(然而可能被认为是真的)。因此，通过引入所讨论的物体速度的限制，减少造成坏配对的风险。

在一个实施例中，该方法进一步包括：在用于图像传感器的视野中和/或在用于测距传感器的视野中限定兴趣区，其中仅在帧中的相应兴趣区内执行评估是否已确定单个运动点的动作。兴趣区能够例如为公路区、步行区或在特定场景中具有兴趣的任一其它区。兴趣区还可以被限定为避免不让人感兴趣的其它区域。兴趣区可以由用户限定。

可替代地，或作为补充，该方法可以包括：在图像传感器的视野中和/或在测距传感器的视野中限定排除区，其中仅在排除区外的区域中执行评估是否已确定单个运动点的动作。排除区可以例如为建筑，尤其在用于测距传感器的视野中，这可能触发那个信号进行的假检测，且回声被建筑反射。

在一个实施例中，确定运动点的动作包括：确定与运动相对应的物体的类型或位置，以及确定仅用于与具有预定物体类型或预定运动位置的物体相对应的运动的运动点。

确定与运动相对应的物体的类型或位置是许多运动检测算法的已知特征部分。例如，运动检测算法能够配置为检测脸、人、车等。通过此实施例，执行该方法的成像系统能够配置为确定仅用于与某个物体(例如人)相对应的运动的运动点。因此，通过使诸如树和灌木之类的或多或少静态的物体不包含在用于确定的基础内，能够实现更优和/或更快的变换矩阵的确定。

而且，通过此实施例，在确定中能够考虑具有某个位置(例如处于视野下方区域)的物体。因此，天空中的物体，例如鸟或移动的云，不包含在变换矩阵的确定中。或者，仅具有某个位置的物体(例如与诸如车或人之类的物体可能所处的公路或人行道相关联)包含在确定中。

在一个实施例中，确定测距帧序列的帧中的运动点的动作包括：确定一组动作检测和确定表示该组运动检测的单个运动点。例如，诸如移动的车之类的物体将导致获取的雷达帧的多个检测点。将此组检测点分组，例如通过任意已知的算法。在此实施例中该组由单个运动点表示。单个运动点可以从多个检测点选择，或者形成为具有代表该组的位置的额外运动点。

在一个实施例中，确定图像帧序列的帧中的运动点的动作包括：确定表示与运动相关联的物体的包围体。而且，该动作包括(在此实施例中)将表示运动的单个运动点确定为包围体的下边缘上的位置。包围体能够为例如包围盒或包围多边形。将单个运动点确定为下边缘上的位置、优选为中央位置是有利的，因为单个运动点更可能位于对于变换最优的平面内。该平面能够为可能是变换矩阵的计算所基于的公共平面的地面。例如，在包围盒(矩形)的情况下，中央位置将与包围盒下边缘的中间位置相对应。

雷达及摄像机系统可以配置不同，在此类情况下，确定的包围盒上的其它位置可以优选为用于设置单个运动点。

在一个实施例中，在预定的时段期间同时获取测距帧序列和图像帧序列。这与缓冲过程相对应，在此过程中帧序列被获取、存储在存储器中、之后用于变换矩阵的确定。

在另一实施例中，迭代在确定变换矩阵之前所执行的动作，直至到达该组帧对中预定数目的帧对。例如，该方法能够(部分)迭代，直至帧对的数目达到以百为单位的阈值。能够基于用于执行该方法的每个系统或每类系统的具体参数来设置具体的阈值。

在另一实施例中，该方法进一步包括评估确定的变换矩阵，以确定变换矩阵是否满足预定的质量水平，其中该方法至少部分迭代，直至确定变换矩阵满足预定的质量水平。

在一个实施例中，该方法进一步包括评估该组帧对，以排除不充分的配对。该评估可以通过使用鲁棒的估计方法、例如作为公知方法的随机采样一致性(RANSAC)方法来执行。

如本文所用的，“不充分的配对”可能为假配对或噪声配对。假配对意指不与同一运动源相对应的运动点的配对。噪声配对意指可以与同一运动源相对应的运动点的配对，但是坏配对，因为在图像传感器数据中和/或在雷达传感器数据中存在太多噪声。噪声可能影响传感器数据，这样运动点难以在雷达或图像帧中正确地检测并定位。

根据第二方面，提供了一种非暂时性计算机可读存储介质，在该介质上存储有用于在具有处理能力的设备上执行时、实现根据上面结合第一方面所讨论的任一实施例的方法的程序。

根据第三方面，提供了一种系统，包括：

被布置为获取测距帧序列的测距传感器，

被布置为获取图像帧序列的图像传感器，

处理单元，布置为：

确定在测距帧序列和图像帧序列中每一个的帧中的运动点，

对于测距图像帧和图像帧序列之一中的每个帧，

评估是否已在帧中确定单个运动点，

假如已确定单个运动点，评估是否已在测距帧序列和图像帧序列中另一个的时间上相对应的帧中确定单个运动点，在那种情况下，将时间上相对应的帧进行配对，

从而形成时间上相对应的帧的一组帧对，

基于该组帧对，确定用于将测距数据从用于测距传感器的第一坐标系统变换为用于图像传感器的第二坐标系统的变换矩阵。

第三方面的系统可以通常以与具有附加特征及优点的第一方面的方法相同的方式体现。

可以安装并配置测距传感器和图像传感器，这样它们各自的视野至少部分重叠。传感器无需具有精确的相同视野，或精确地位于相同的位置。传感器的位置可以相互分离，只要它们的视野重叠到某种程度。传感器无需在同一方向指向场景。换言之，传感器可以从不同角度对场景进行成像。例如，传感器可以位置彼此相对，因而指向对方。

测距传感器可以是从雷达传感器、光达传感器和声呐传感器的组选择的一个。还可以使用基于其它测距技术的传感器。可能需要公开的方法及系统的一些适配，然而对于本领域技术人员全都在范围内。

根据下面给出的详细描述，本发明的进一步可应用性范围将变得显而易见。然而，应该理解，详细描述和具体示例尽管指示了本发明的优选实施例，但仅是通过图示给出，因为根据此详细描述，本发明范围内的各种改变及更改对于本领域技术人员将变得显而易见。

因此，要理解本发明不限于所描述的设备的特定组成部件或所描述的方法的动作，因为此类设备及方法可以改变。还要理解，本文使用的术语仅出于描述特定实施例的目的，不旨在是限制性的。必须注意到，如说明书及所附的权利要求所用的，术语“一”、“该”及“所述”旨在意指有一个或更多元件，除非上下文另有明确指示。因此，例如，引用“一物体”或“该物体”可以包括数个物体等。而且，词语“包括”不排除其它元件或步骤。

附图说明

现在通过举例且参考所附的示意图来更详细地描述本发明，其中：

图1图示了注视场景的摄像机和雷达设备。

图2图示了用于确定变换矩阵的方法。

图3图示了如雷达设备所看到的场景的第一视图和如摄像机所看到的场景的第二视图。

图4图示了帧序列。

图5图示了一种用于系统的不同模式的方法。

具体实施方式

在图1中，图示了系统1，系统1包括摄像机10(包括图像传感器)和形式为雷达设备12的测距设备，注视场景时具有它们各自的视野。纵贯详细描述，雷达设备12将表示能够用于本发明的测距设备组。然而，要理解雷达设备12可以是另一类型的测距设备，诸如光达设备或声呐设备之类。

摄像机的视野11部分与雷达设备的视野13重叠。如能够看到的，视野11、13位于不同空间。摄像机的视野11位于图像空间中，而雷达设备的视野13位于雷达空间中。这些空间能够由不同的坐标系统表示，用于第一视野13的第一坐标系统和用于第二视野11的第二坐标系统。第一坐标系统可以是极坐标系统或球坐标系统，两者均适合表示测距传感器数据，并且第二坐标系统可以是笛卡尔坐标系统，其适合表示图像传感器数据。

以此方式将雷达设备12与摄像机10组合的目的是：能够提供额外的特征给能够由摄像机10提供给用户的信息。摄像机10能够为监视/监控摄像机。为了将雷达设备12提供的信息添加给摄像机10提供的信息，需要对来自雷达设备12的数据进行从第一坐标系统到第二坐标系统的变换。这是通过变换矩阵实现的。变换本身是公知过程；然而，矩阵可能计算繁琐。

图2中图示了确定变换矩阵的方法200。方法200包括提供201雷达传感器和图像传感器。可以安装并配置雷达传感器和图像传感器，使得它们各自的视野至少部分重叠，如图1所图示的。传感器无需具有精确的相同视野，或精确地位于相同位置。传感器可以位置彼此分离，且可以从不同角度查看场景，只要它们的视野重叠到某种程度。

能够在处理器中执行方法200，该处理器位于摄像机10中、雷达设备12中或处于另一位置(例如，处于服务器)，并且由来自摄像机10和/或雷达设备12的网络连接所访问。该方法的不同动作可以由不同处理器或在同一处理器中执行。该处理器可以例如为通常作为摄像机内包含的图像处理设备的一部分的图像处理器。

方法200包括由雷达传感器和图像处理器获取202帧序列。这以常规方式执行。

方法200包括确定203测距帧序列和图像帧序列中的每一个的帧中的运动点。运动检测单元能够用于此目的。存在能够应用的不同已知运动检测算法。运动检测单元能够为帧中检测到的运动提供形式为坐标的信息，可选地用关于检测到的物体的信息(诸如物体类型之类)和关于检测到的运动的速度的信息。

为了表示帧中检测到的运动，例如，可以为图像帧的物体形成包围体。包围体可以是包围盒。包围体的其它非限制性示例为包围囊、包围圆柱、包围椭圆体、包围球、包围板、包围三角形、凸多边形、离散定向多边体、最小包围矩形。对于包围体，表示包围体的运动点能够被确定为在包围体的边缘上。优选地，运动点被确定为在包围体的下边缘上，且更优选地在下边缘上的中央位置上。因此，运动点更可能位于对于变换最优的平面内。

在雷达帧中，多个运动点检测能够由通过运动点的确定203中所包含的多对一点确定的单个运动点表示。在此情况下，通过使用常规的聚类算法使运动检测聚类。该聚类可以基于例如运动检测点之间的距离或运动检测点组的密度。将运动点(运动检测)群/组设为由能够从检测选择的单个运动点或通过形成新的运动点来表示。已知的聚类算法可以用于使运动检测聚类。或者，其中在具有预定或动态调整大小的区域内的所有运动检测都可以被确定为由单个运动点表示。

作为运动检测算法的补充，追踪算法(可以由追踪单元执行)可以用于追踪确定的运动，例如用于追踪被设为表示一群运动检测的特定的确定的单个运动点。方法200包括从雷达帧序列或图像帧序列开始评估204是否已在帧中确定单个运动点。从哪个序列开始能够逐个选择，或被设为对于每次运行方法200都相同。可以将可能包括多个(或无)运动点的序列选作起始序列，以避免不必要的额外处理。

为帧序列中的帧执行评估的迭代。首先，评估204是否已在帧n中确定单个运动点，n初始被设为起始值，通常n＝1。假如还未确定单个运动点，将n设置205为n+1，评估204下个帧，现在是n。假如已确定单个运动点，评估206是否已在帧序列中的另一帧序列(即，不是起始帧序列)的时间上相对应的帧中确定单个运动点。

时间上相对应的帧意指同时或几乎同时获取的帧。这将结合图4更具体地讨论。

假如评估206还未确定单个运动点，将n设置205为n+1，评估204起始帧序列的下个帧，现在为n。假如评估206已确定单个运动点，将帧序列的时间上相对应的帧n进行配对，并添加到一组帧对。该组帧对可以暂时存储在存储器内。

动作204至208迭代，直至n到达在动作208中评估的N。N表示帧序列中要评估的帧数。N可以与帧序列中的实际帧数相对应，然而那不必要。

评估了预定数目的帧N时，该组帧对包含相关联的帧对，该帧对包括单个运动点且被设置为帧序列中时间上相对应的帧。

方法200可以可选地包括评估210帧对中的对数是否高于预定的帧对数目X。例如，动作202至208能够迭代，直至帧对的数目到达以百为单位的阈值X。能够为执行方法200的一个系统或一类系统特别设置阈值X。较高的阈值需要较长的确定过程和更多获取的帧，然而更正确的变换矩阵的可能性也可能更高。这些因素之间的平衡在设置用于阈值X的特定值时应该考虑，且可能在不同的系统安装之间变化。

到达预定的帧对数目X时，可以评估该组帧对以排除不充分的配对。可以通过使用例如作为公知方法的随机采样一致性(RANSAC)方法的鲁棒的估计方法来执行评估。不充分的配对可能是例如假配对或噪声配对。假配对意指不与同一运动源相对应的运动点的配对。噪声配对意指与同一运动点相对应的运动点的配对，但是坏配对，因为存在太多噪声。评估后，该组配对仅包括被视为对变换矩阵的确定足够好的配对。

然后，基于该组配对来确定变换矩阵209。如在背景部分讨论的，鉴于该组配对(即，为时间上相对应的帧对齐测距传感器数据和图像传感器数据之间的点)，确定变换的动作是公知的，本文将不会具体讨论。

可选地，方法200可以包括评估(未图示)与检测到的运动(如运动检测单元所提供的)相对应的物体的速度是否低于预定的速度阈值和如果物体速度低于预定的速度阈值、执行配对207。此动作能够在方法200的不同阶段执行，例如作为评估204是否已确定单个运动点的一部分，或作为仅在时间上相对应的帧的配对207之前的独立动作。

可选地，方法200可以包括确定与确定的运动相对应的物体的类型。这可以在雷达设备12和摄像机10中为其中相应的传感器所获取的雷达帧序列和图像帧序列进行。方法200可以在此类实施方式中包括评估确定的帧序列的雷达帧和图像帧(例如，时间上相对应的雷达帧和图像帧)的物体类型是否相同，例如人或车辆。假如确定物体的类型不相同，方法200可以包括终止当前迭代，并且通过将n设置205为n+1来启动下个迭代，以及从评估204是否已在帧n中确定单个运动开始。物体检测可以由雷达设备12和摄像机10的处理器分别包含的已知算法来执行。

可选地，方法200可以包括评估211确定的变换矩阵，以确定变换矩阵是否满足预定质量水平L。可以通过对一组参考图像(一个雷达图像和一个图像传感器图像)测试变换矩阵来执行评估211，对于该组参考图像，其中点之间的真关联是已知的。能够将变换矩阵的质量参数设置为变换矩阵所确定的位置和真实位置之间的偏差。要满足的预定质量水平能够被设置为用于单个变换矩阵(即，仅单个变换矩阵需要满足该质量水平)或用于所评估的变换矩阵序列的偏差均值。假如评估211发现未到达预定质量水平L，方法200可以从获取202(新)帧序列的动作开始迭代。假如由评估211确定到达预定质量水平L，方法200可以视为结束212。

要理解，图2和上面的公开提供了本创造性方法的示例性实施方式，并且其它过程流在所附的权利要求的范围内是可能的。因此，可以更改方法200。更改的非限制性示例是无需逐个评估帧序列中的帧(即，起始帧序列中的一个，接着其它帧序列中的一个，等等)，相反能够评估204一个帧序列中的若干帧，之后能够评估206另一序列中的若干帧。另一更改是无需按n＝1,2,3，…的次序评估帧，相反按另一次序。另一更改是方法200的动作无需串联执行或一次执行一个动作。相反，可能实现并行的动作流和/或同时执行多个动作。这些更改对于本领域技术人员都在范围内，且在所附的权利要求的范围内。

图3图示了两个视图：表示(图1的)雷达设备12可以描绘的场景的第一雷达传感器视图31，以及表示(图1的)摄像机10可以描绘的同一场景的第二图像传感器视图32。该场景包括树33、房屋34、公路35和在公路35的人行道上行走的人36。如之前所解释的，图像空间和雷达空间彼此切入，且图3中标记了切点37a、37b，以减缓理解视图31、32之间重叠的痛苦。

视图31、32中的每一个由传感器所获取的帧序列中的帧表示。(雷达设备12中的)雷达传感器获取包括与第一雷达传感器视图31相对应的雷达帧的雷达帧序列，而(摄像机10中的)图像传感器获取包括与第二图像传感器视图32相对应的图像帧的图像帧序列。雷达帧和图像帧时间上相对应。将结合图4来具体公开如何确定时间上相对应的帧的示例。

假设贯穿帧序列的获取、人36都在传感器的视野中移动。因此，人36表示移动的物体。评估获取的帧序列时，根据图2给出的方法200，有或无讨论的更改，将为与视图31、32相对应的帧确定用于人36的运动点。在首先评估雷达帧序列的实施例中，将评估与雷达传感器视图31相对应的帧，且将确定整个帧中的任意运动点。将人36导致的若干检测点缩为单个运动点38的预处理动作可以先于运动点的确定。

接下来，评估是否在雷达帧中确定了单个运动点，且特别如在此实施例中，是否在排除区310外的区域中确定了单个运动点。换言之，仅在排除区310外的区域中执行评估是否已确定单个运动点的动作。此排除可以降低用于(在此示例中)信号反射或房屋34上的回声所导致的假运动检测的风险。排除区310能够由用户在雷达12的安装/设置过程中设置。可以在用于雷达传感器的视图中和/或在图像传感器的视图中设置排除区。因传感器具有不同的用于运动检测的错误源，所以不同视图中的排除区位置可能不同，或可以仅为(用于图像传感器或雷达传感器的)视图之一设置排除区。

因此，排除区310内可能有运动点，然而断定已在帧中确定单个运动点38，即使其它运动点位于排除区310内。

因在雷达帧中确定单个运动点38，评估与图像传感器视图32相对应的图像帧。而且对于此帧，已为整个帧确定运动点。围绕检测的物体(在此情况下为人36)形成包围盒330的预处理动作可以先于运动点的确定，且将运动点39确定为包围盒的下边缘上的中央位置。

接下来，评估是否已在图像帧中确定单个运动点，特别是如在此实施例中，是否在兴趣区320内的区域中确定单个运动点。换言之，仅在兴趣320区中执行评估是否已确定单个运动点的动作。此过滤可以增大用于仅评估与诸如车辆(在公路上移动)和步行者/人(在人行道上移动)之类的物体相对应的运动点的可能性，因而可能减少分析不感兴趣的物体的风险，这使方法200更有效且需要较少的处理时间及资源。兴趣区320可以由用户在摄像机10的安装/设置过程中设置。

因此，可能有位于兴趣区320外的运动点，然而断定在帧中存在单个运动点39，即使其它运动点位于兴趣区320外。

因为所分析的时间上相对应的雷达帧和图像帧被确定为每个都具有单个运动点，所以将帧进行配对，并存储在任意之前配对的帧所处的一组帧对中。最终，在例如满足了预定条件(诸如该组帧对到达预定数目的帧对之类)时，基于该组帧对来确定变换矩阵。

变换矩阵可以存储在摄像机10内或对于摄像机10可访问，这样变换矩阵可以用于图像处理。出于确定变换矩阵的目的，雷达设备12不再需要，且可能被禁能或从它的位置移除。在一个实施例中，雷达设备12可以用于动态更新变换矩阵，例如以某种更新频率，以适应所获取的传感器数据的变化。在具有电动马达控制焦距功能的摄像机的情况下，执行变焦后，雷达设备12能够用于更新用于摄像机的变换矩阵。而且，出于需要雷达设备12保持活跃的其它目的，可能需要或想要雷达设备12。

现在转向图4，将具体公开时间上相对应的帧的确定。图4图示了两个帧序列R(表示雷达帧序列)和I(表示图像帧序列)(的部分)。第一帧序列R包括雷达帧R₁-R₆，第二帧序列I包括图像帧I₁-I₃。如能够看到的，第一帧序列R具有比第二帧序列I高的帧速率(每秒帧数)。在其它实施例中，该关系可能反过来。

用于确定变换矩阵的本方法的完美条件是帧序列R、I的帧在时间上完美地对齐且同时被捕获，如同雷达帧R₅和图像帧I₃一样，然而对于帧序列R、I的其它帧不是如此。实践中，完美的条件情况很少，因为那需要图像传感器和雷达传感器具有相同的帧速率(可能对于图像处理管道的其它功能是不想要的)，并需要雷达传感器和图像传感器之间的时间同步，这可能非常难以实现且随着时间过去难以维持。相反，本方法中限定了一种确定时间上相对应的帧的方式。时间上相对应的帧意指同时或几乎同时获取的帧。这能够在与雷达帧R₁-R₆和图像帧I₁-I₃中的每一个相关联的时间戳的帮助下决定。时间戳能够在获取每个帧时提供，且为标准的图像处理动作。摄像机10和雷达设备12中的每一个中(或仅在它们之一中)包含的硬件时钟振荡器可以用于设置用于每个获取的帧的时间戳。

在此类实施例中，时间上相对应的帧的定义是假如两个帧的时间戳之差低于预定的时段、则两个帧是时间上相对应的。换言之，帧都位于预定的时段内。

在图示的实施例中，雷达帧R₂和图像帧I₁之间的时间差(即，时间戳之差)为t₁，雷达帧R₃和图像帧I₂之间的时间差为t₂。这些时间差t₁和t₂低于预定的时段T_max，因此将图像帧I₁和雷达帧R₂定义为时间上相对应，还有图像帧I₂和雷达帧R₃。预定的时段T_max能够被设为帧序列R、I的帧速率的最高帧速率的一半(或稍低，以避免一个帧序列中的帧与另一帧序列中的两个帧时间上相对应)。

图5为示出讨论的方法如何能够为成像系统设置400的一部分的流程图。在要安装例如注视停车区的监视摄像机的摄像机的场景中，能够首先安装摄像机。雷达设备也被安装并配置为具有与摄像机公共的视野。该系统在包括确定402变换矩阵的方法的校准模式401中被设置，该系统包括包含雷达传感器的雷达设备和包含图像传感器的摄像机。其它过程403还可以是校准模式401的一部分。当校准模式401的过程402、403结束时，该系统在摄像机能够用于监控停车区的运行模式404中被设置。在一些系统中，出于与确定变换矩阵(运行模式404中不需要)不同的其它目的，雷达设备留在该系统内，而在其它系统中，雷达设备被禁能或从该系统移除。

在此申请中，关于将测距数据从用于测距数据的坐标系统变换到用于图像传感器数据的坐标系统来讨论确定变换矩阵的方法。对于此类变换，与已知方法比较时，该方法提供简单得多且耗时少得多的确定变换矩阵的过程。将测距数据变换为图像数据的坐标系统还可能特别有益，因为一些监视或监控系统已经包含雷达传感器和图像传感器。该方法因而能够被实现为提供额外利益的额外软件组件，无需安装额外硬件。

本领域技术人员意识到本发明绝不限于上面描述的优选实施例。相反，在所附的权利要求的范围内可能有许多更改及改变。例如，可以以许多不同于本文所讨论及图示的配置来实现该方法。可以使用与本文所讨论的类型不同的其他类型的测距传感器，并且图像传感器还可以具有与示例性类型不同的类型。该方法非常灵活，且无需任何严重的更改就能适配为适合不同类型的图像及测距传感器系统。