具体实施方式

如前所述，可以使用传感器来提供关于车辆以及车辆内部和外部的环境的信息。可以依赖于不同类型的传感器来提供不同类型的信息，以用于自主或半自主车辆操作。例如，雷达或激光雷达系统可以用于物体检测，以识别、跟踪和避开车辆的路径中的障碍物。被定位成用于获得车辆的客厢内的图像的相机可以用于确定乘客的数量和驾驶员行为。被定位成用于获得车辆外部的图像的相机可以用于识别车道标记。不同类型的信息可以用于执行自动化操作(例如，碰撞规避、自动制动)或提供驾驶员警告。

本文详细描述的本发明系统和方法的实施例涉及汽车传感器融合。在芯片上处理和组合来自各种传感器的信息，以获得对可能影响车辆操作的所有状况的综合评估。即，当与其他信息(例如，驾驶员分心)联系在一起时，本身可能并不呈现出危险的情况(例如，车辆靠近检测到的道路边缘标记)可能就被认为是危险的。基于综合评估来选择所采取的措施(例如，驾驶员警告、自主或半自主操作)。

图1是实施根据本发明的一个或多个实施例的汽车传感器融合的示例性车辆100的框图。车辆100包括用于实施根据一个或多个实施例的传感器融合的控制器110。控制器110在汽车领域可以被称为电子控制单元(ECU)。参考图2进一步详细描述了传感器融合所涉及的控制器110的部件。控制器110从若干个示例性传感器获得数据。控制器110包括处理电路系统，该处理电路系统可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的一个或多个处理器和一个或多个存储器装置、组合逻辑电路、或提供所描述的功能的其他合适的部件。传感器融合所涉及的控制器110的部件可以被视作多芯片模块，如进一步详细描述的。

所示出的用于车辆100的示例性传感器包括相机120、周围视像相机130、内部相机140、超声传感器150、雷达系统160和激光雷达系统170。图1中示出的示例性传感器和部件总体上不旨在限制车辆100内或车辆上所可以包括的数量或位置。例如，虽然示例性内部相机140被示出为具有指向左驾驶车辆100中的驾驶员的视场FOV3，但是附加的内部相机140可以指向驾驶员或者一个或多个乘客。一个或多个内部相机140可以包括红外(IR)发光二极管(LED)。

作为另一个示例，可以存在多达三个相机120和多达十二个超声传感器150。超声传感器150向车辆100外部发射超声信号，并基于该发射和来自物体101的任何反射的渡越时间(time-of-flight)来确定到物体101的距离。示例性的面向前方的相机120的视场FOV1与示出在侧视镜下的示例性周围视像相机130的视场FOV2的比较表明，与周围视像相机130相关联的FOV2比FOV1更靠近车辆100。

图2是实施根据本发明的一个或多个实施例的汽车传感器融合的示例性控制器110的框图。在详细描述控制器110的各方面时，进一步参考图1。融合处理器200获得并融合来自其他部件的信息。这些部件包括图像处理器210、周围视像处理器220、超声处理器230和通信端口240。这些部件中的每一个都将被进一步详细描述。融合处理器200可以是微控制器。

图像处理器210和周围视像处理器220从解串器250获得经解串数据。提供给图像处理器210的经解串数据来自一个或多个相机120以及可选地一个或多个内部相机140。图像处理器210可以被实施为片上系统(SoC)，并且可以执行机器学习算法以识别来自一个或多个相机120以及可选地来自一个或多个内部相机140的图像中的图案。图像处理器210基于来自一个或多个相机120的经解串数据来检测并识别车辆100附近的物体101。示例性物体101包括车道标记、交通标志、道路标记、行人和其他车辆。基于从一个或多个内部相机140获得的经解串数据，图像处理器210可以检测驾驶员状态。即，经解串数据可以是来自车辆100的驾驶员的面部图像数据。基于此数据，图像处理器210可以检测疲劳、困倦或分心。当车辆100正以超过阈值(例如，30千米每小时(kph))的速度行驶时，融合处理器200可能会对来自图像处理器210的信息加以更大权重(与来自其他部件的信息相比)。

提供给周围视像处理器220的经解串数据来自一个或多个周围视像相机130以及可选地一个或多个内部相机140。与图像处理器210类似，周围视像处理器220可以被实施为SoC，并且可以执行机器学习算法以识别并报告图案。周围视像处理器220可以将来自每个周围视像相机130的图像拼接在一起，以提供周围视像(例如，360度)图像。除了将此图像提供给融合处理器200之外，周围视像处理器220还可以将此图像提供作为后视镜显示260。如先前参考图像处理器210所述，当来自一个或多个内部相机140或相机的图像被提供给周围视像处理器220时，周围视像处理器220可以检测驾驶员状态(例如，疲劳、困倦或分心)。当车辆100正以低于阈值(例如，10kph)的速度行驶时，融合处理器200可能会对来自周围视像处理器220的信息加以更大权重(与来自其他部件的信息相比)。例如，可以在泊车期间使用来自周围视像处理器220的信息。

超声处理器230基于由超声传感器150获得的渡越时间信息来获得到车辆100附近的物体101的距离。例如，在诸如泊车等低速场景期间，融合处理器200可以将其距离由超声处理器230获得的物体101与由周围视像处理器220识别出的物体101进行关联。可以基于由图像处理器210或周围视像处理器220进行的识别来过滤掉不感兴趣的噪声和其他物体101。通信端口240从雷达系统160、激光雷达系统170和任何其他传感器获得数据。基于来自这些传感器的数据，通信端口240可以将关于物体101的范围、角度信息、相对速度、激光雷达图像和其他信息传输到融合处理器200。

除了来自控制器110的处理器的信息之外，融合处理器200还获得用于车辆100的地图信息205。根据示例性实施例，融合处理器200可以将所有融合后的信息(即，基于融合的综合信息)提供给高级驾驶员辅助系统(ADAS)275。此综合信息包括：基于由相机120和周围视像相机130进行的检测而识别出的物体101、以及这些物体的基于超声传感器150的距离、基于对由相机140获得的图像的处理而识别出的驾驶员状态、来自传感器(例如，雷达系统160、激光雷达系统170)的信息以及地图信息205。如前所述，最相关的信息可以基于车辆100的速度。通常，在较高速度下，来自外部相机120、雷达系统160和激光雷达系统170的信息可能是最有用的，而在较低速度下，来自周围视像相机130和超声相机150的信息可能是最有用的。无论车辆100的速度如何，在任何场景中，内部相机140和关于驾驶员状态的信息都可以是相关的。

基于综合信息，ADAS 275可以提供地图上指示出的物体101的音频或视觉输出270(例如，通过车辆100的信息娱乐屏幕)。例如，可以在地图上指示出检测到的物体101对于车辆100的相对位置。ADAS 275还可以提供触觉输出280。例如，在基于图像处理器210确定来自一个或多个内部相机140的图像指示驾驶员注意力不集中，并且还确定来自一个或多个外部相机120的图像指示即将到来的危险(例如，车辆100的路径中的物体101)的情况下，可以使驾驶员座椅振动以警告驾驶员。ADAS 275(其可以是控制器110的一部分)可以另外地有助于车辆100的自主或半自主操作。

根据替代性实施例，融合处理器200可以执行针对ADAS 275本身讨论的功能。因此，融合处理器200可以直接提供音频或视觉输出270或者可以控制触觉输出280。融合处理器200可以实施机器学习以对来自图像处理器210、周围视像处理器220、超声处理器230和通信端口240的信息进行加权和融合。控制器110还包括功率监测器201。功率监测器201向控制器110的其他部件供应功率，并且监测正确的功率水平被供应给每个部件。

图3是根据本发明的一个或多个实施例的使用控制器110(即，车辆100的ECU)来实施汽车传感器融合的方法300的过程流程。继续参考图1和图2来讨论这些过程。在框310处，从多个源获得数据，这些源包括图3中指示的和参考图1详细描述的所有源。由一个或多个相机120获得来自车辆100外部的图像。由周围视像相机130获得近景图像。由内部相机140获得来自车辆内的驾驶员或另外地乘客的图像。超声传感器150发出超声能量并接收来自物体101的反射，使得可以记录超声能量的渡越时间。雷达系统160指示到物体101的范围、对于该物体的相对速度和相对角度。激光雷达系统也可以指示范围。地图信息205使用全球参考来指示车辆100的位置。如前所述，并非所有源在所有场景中都是同等相关的。例如，在诸如泊车等低速场景中，周围视像相机130和超声传感器150可以比其视场距离车辆100更远的相机120更加相关。在诸如高速公路驾驶等较高速度场景中，相机120、雷达系统160和激光雷达系统170可以更加相关。

在框320处，处理并融合数据以获得综合信息涉及使用控制器110的各种处理器(如参考图2所讨论的)。图像处理器210和周围视像处理器220处理图像以指示物体101并确定驾驶员状态。这些处理器210、220使用解串器250来获得图像。超声处理器230使用来自超声传感器150的渡越时间信息来确定到物体101的距离。通信端口240从诸如雷达系统160和激光雷达系统170等传感器获得数据。融合处理器200对处理后的数据进行加权和融合以获得综合信息。如前所述，该加权可以基于车辆100的速度。

如图3所指示的，在框330处的过程可以是可选的。此过程包括将来自融合处理器200的综合信息提供给ADAS 275。无论是直接来自融合处理器200还是通过ADAS 275，都可以执行框340处的提供输出或车辆控制。输出可以呈音频或视觉输出270或触觉输出280的形式。车辆控制可以是车辆100的自主或半自主操作。

上面已经描述的是本发明的示例。当然，不可能为了描述本发明的目的而描述部件或方法的每种可想到的组合，但是本领域的普通技术人员将认识到，本发明的许多其他组合和置换是可能的。因此，本发明旨在涵盖落入所附权利要求的精神和范围内的所有这样的更改、修改和变型。