阅读说明：本技术 确定头部定向/定位的方法、控制器和计算机程序产品 (Method, controller and computer program product for determining head orientation/positioning ) 是由 约尔格·安格迈尔 于 2020-02-18 设计创作，主要内容包括：本发明涉及确定车辆乘员的头部定向/定位的方法、控制器和计算机程序产品,该方法包括以下步骤：依赖于相对于第一传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的第一成像传感器的针对头部定向和/或定位的第一检测区域；依赖于相对于第二传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的至少一个第二成像传感器的针对头部定向和/或定位的第二检测区域；并且依赖于车辆乘员的头部定向和/或定位地利用如下那个传感器来确定头部定向和/或定位,在这个传感器的检测范围中能比在另一传感器的检测范围中更好地确定头部定向和/或定位。(The present invention relates to a method, controller and computer program product for determining the head orientation/positioning of a vehicle occupant, the method comprising the steps of: determining a first detection region for head orientation and/or positioning of a first imaging sensor arranged in an interior space of the vehicle in dependence on a different head orientation and/or positioning relative to the arrangement of the first sensor; determining a second detection region for the head orientation and/or positioning of at least one second imaging sensor arranged in the interior space of the vehicle in dependence on a different head orientation and/or positioning relative to the arrangement of the second sensor; and depending on the head orientation and/or positioning of the vehicle occupant, the head orientation and/or positioning is determined by means of a sensor whose detection range can be determined better than in the detection range of another sensor.)

确定头部定向/定位的方法、控制器和计算机程序产品

技术领域

本发明涉及用于确定车辆乘员的头部定向和/或定位的方法、控制器和计算机程序产品。此外，本发明涉及具有根据本发明的控制器的车辆的内部空间监控系统。此外，本发明还涉及计算机可读的数据载体，在其上存储有根据本发明的计算机程序产品。

背景技术

用于控制机动车中的安全系统的设备是公知的。例如，DE19932520A1公开了一种用于依赖于来自用于检测机动车辆的座椅上的对象和/或人的定位的传感器的输出信号来控制机动车辆中的至少一个安全系统的设备，其中，将至少两个指向座椅的相机设置为传感器，其中，在评估单元中，用在相机中记录的二维图片获得对象和/或人的三维图像，从该三维成像推导出输出信号，其中，能经由评估单元将位于座椅上的人的头部的大小和/或形状作为输出信号输出。

在凭借相机系统进行探测的情况下可行的是，由头部来确定定位和定向。实现针对所有头部姿势的高精度是大问题。

发明内容

基于此开始本发明。本发明的任务在于优化头部定位数据。

在说明书和附图中阐述了本发明和本发明的实施例。

根据本发明的方法用于确定车辆乘员的头部定向和/或定位。该方法通过如下方式来解决，即，首先依赖于相对于第一传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的第一成像传感器的针对头部定向和/或定位的第一检测区域。此外，首先依赖于相对于第二传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的至少一个第二成像传感器的针对头部定向和/或定位的第二检测区域。依赖于车辆乘员的头部定向和/或定位地，利用如下那个传感器来确定头部定向和/或定位，在这个传感器的检测范围中能比在另一传感器的检测范围中更好地确定所述头部定向和/或定位。

通过使用多个成像传感器，基于传感器在内部空间中的定位，获得了针对不同的头部姿势的不同的精度。根据本发明，借助前两个方法步骤事先测定了两个传感器的精度。例如，第一成像传感器布置在车辆的方向盘后面的挡风玻璃上。第二成像传感器例如布置在车辆乘员右侧的车辆顶篷上。当车辆乘员朝方向盘看时，第一成像传感器具有每+/-1°下+/-0.5cm的精度。在这种情况下，第二成像传感器仅具有每+/-1°下1.0cm的精度。当车辆乘员向右上方看时，第一个成像传感器具有每+/-10°下+/-3.5cm的精度。在这种情况下，第二成像传感器具有每+/-1°下0.5cm的更高精度。这些精度例如事先通过测试来获知，其中，利用测量系统测定头部定向和/或定位。在主动使用中，于是只使用如下那些传感器的数据，在这些传感器的各自的检测区域中达到了用于确定头部定向和/或定位的更高的精度。当检测区域是已知的时，则可以自动化地切换到各自的检测区域。例如当头部从第一定位(在其中，第一传感器直接沿车辆乘员的视线装配)转动到第二定位(在其中，视线指向第二传感器)时，则第二传感器可以比第一传感器更好地确定头部定向。头部基本上位于第二检测区域的中心。通过根据本发明更准确地确定头部定向和/或定位，使得更准确地确定和触发了依赖于准确了解头部定向和/或定位的与安全相关的功能，例如触发安全气囊。因此，利用本发明总体上提高了在行驶时的安全性。车辆乘员例如是驾驶员或副驾驶员或乘客。根据本发明，因此提高了确定头部定向和/或定位的精度。利用更准确地确定头部方向和/或定位，可以更有效地驱控安全系统，尤其是安全气囊或安全带张紧器。

根据本发明的另一方面，使用了多个成像传感器。为了确定车辆乘员的头部定向和/或定位，仅将如下那些传感器的数据融合，在这些传感器的各自的检测范围都能准确地确定头部定向和/或定位。因此优化了数据融合，并在安全性和计算能力方面改善了头部定向和/或定位的确定。

优选地，该方法由计算机实施。

根据本发明的控制器被配置成用于自动化的驾驶功能。控制器包括至少一个第一接口，以便获得第一成像传感器和至少一个第二成像传感器的数据。控制器还包括计算机。该计算机包括存储器，在存储器中已经存储了根据本发明的方法的前两个方法步骤的结果。计算机被配置成用于也利用多个传感器和数据融合来实施根据本发明的方法的最后的方法步骤，以便依赖于车辆乘员的被确定的头部方位和/或定位地来确定信号。此外，控制器还包括第二接口，以便输出该信号。

控制器将来自传感器的数据作为输入信号进行整理，该输入信号借助计算机，例如计算机平台进行处理，并且提供逻辑和/或功率电平作为调节或控制信号。所确定的信号是调节或控制信号。利用所确定的信号经由第二接口来调节并控制车辆执行器，尤其是用于纵向和/或横向控制部的和/或安全系统的执行器，以便能够实现自动化的或自主的驾驶运行。控制器经由第一接口在信号技术上与传感器连接。第一接口可以是一个构件或包括多个构件，即每个传感器一个构件。数据交换有线地或无线地进行，例如经由无线电技术进行。控制器被整合在道路车辆的车载电网中。控制器尤其是用于自动化的驾驶功能的电子控制器，其在英语中被称为域ECU、尤其是ADAS/AD域ECU。

控制器的计算机例如作为具有模块化的硬件构思的片上系统(System-on-a-Chip)来实现，也就是说，全部的或其中至少大部分的功能被集成在一个芯片上并且可以以模块化的方式扩展。该芯片能被集成到控制器中。该计算机包括例如多核处理器和存储器模块。多核处理器被配置成用于与存储模块进行信号/数据交换。例如，多核处理器包括总线系统。存储器模块形成主存储器。存储器模块例如是RAM、DRAM SDRAM或SRAM。在多核处理器中，多个核被布置在唯一的芯片上，也就是说半导体结构元件上。与多处理器系统相比，多核处理器实现了更高的计算能力并且更廉价地在一个芯片中实施，在多核处理器中，每个单个的核布置在处理器插槽中，而各个处理器插槽布置在主板上。计算机优选包括至少一个中央处理器，在英语中被称为Central Processing Unit，简称为CPU。计算机还包括至少一个图形处理器，英文被称为Graphic Processing Unit，简称GPU。图形处理器具有用于对进程进行并行处理的特殊的微体系结构。尤其地，图形处理器包括至少一个处理单元，该处理单元被特别地实施成用于实施张量和/或矩阵乘法。张量和/或矩阵乘法是用于深度学习的中央计算操作。计算机优选还包括用于人工智能的硬件加速器，尤其是所谓的深度学习加速器(Deep Learning Accelerator)。此外，计算机或控制器被配置成用于模块化地利用多个、优选是至少四个这样的芯片进行扩展。因此，计算机整体上针对机器学习进行了优化并可扩展，也就是说计算机可以匹配不同的SAE J3016级别。

在本发明的优选的改进方案中，计算机被配置成用于确定针对成像传感器的数据的置信度。这意味着计算机规定了针对成像传感器的数据的置信度，也就是说计算机在识别到对象时可靠性是怎样的。例如，如果成像传感器被遮挡，则计算机确定该传感器的置信度＝0，在这种情况下，使用来自另一个成像传感器的数据。例如，当乘员向右看时，则例如布置在方向盘后方的相机的置信度为50％，而例如沿车辆乘员的视线布置的相机的置信度为100％。因此可以确保仅将如下那些成像传感器用于对象识别，这些成像传感器提供了最佳数据，也就是说具有最大置信度的数据。如果两个成像传感器提供了具有相同的置信度的数据，则可以将这些数据融合。

根据本发明的车辆的内部空间监控系统包括第一成像传感器和至少一个第二成像传感器。内部空间监控系统还包括根据本发明的控制器。在传感器与控制器之间进行数据交换。

内部空间监控系统是用于对车辆乘员进行定方位和/或分类、优选是三维识别的传感器系统。内部空间监控系统尤其提供用于与安全相关的方面的数据，例如依赖于车辆乘员的定位或内部空间温度地利用哪种力来触发安全气囊和/或安全带张紧器。内部空间监控系统还确定了另外的自适应的安全功能的使用。利用根据本发明的控制器，使得内部空间监控系统可以特别准确地确定头部的定向和/或定位。因此，内部空间监控系统可以例如特别准确地确定驾驶员是否正在注视道路，以便如果车辆先前被自动控制，决定驾驶员是否可以接管车辆的控制，在英语中被称为take-over。

优选地，第一传感器优选是2D相机的传感器，而第二传感器是3D相机、尤其是飞行时间相机的传感器。2D相机是廉价的。2D相机是例如2D单目相机。替选地，第二传感器是2D立体相机系统的传感器。2D立体相机系统相当于3D相机。3D相机提供深度信息并且因此改善了对头部定向和/或定位的确定。借助融合来自2D相机和3D相机的数据，可以进一步优化对头部定向和/或定位的确定。使用飞行时间相机(在英文中被称为time-of-flight(TOF))可以经由对光飞行时间进行逐像素测量来获得头部的深度图像。第二传感器尤其是LIDAR传感器。使用LIDAR传感器，借助光脉冲扫描环境，以便获得环境的2D或3D表示。

根据本发明的计算机程序产品用于确定车辆乘员的头部定向和/或定位。该计算机程序产品包括软件代码段。当计算机程序在根据本发明的内部空间监控系统的控制器上运行时，该软件代码段引起了根据本发明的内部空间监控系统实施根据本发明的方法。

计算机程序产品的软件代码段是命令序列，通过该命令序列，使得控制器在加载计算机程序时促使了对车辆乘员的头部定向和/或定位的确定，并且依赖于该确定结果输出信号，尤其是用以控制与安全相关的车辆功能。因此，计算机程序产品引起技术上的效果。

优选地，计算机程序产品包括如下软件代码段，该软件代码段引起控制器确定对来自内部空间监控系统的成像传感器的数据的置信度。

本发明的另一方面是计算机可读的数据载体，在其上存储了根据本发明的计算机程序产品。例如，控制器将数据载体在计算机的存储模块中加载并实施。数据载体例如是USB棒、SD卡，有利的是具有集成的WLAN功能的SD卡、CD、DVD或BlueRay-Disc(蓝光)。

附图说明

在附图中说明了实施例。其中：

图1示出根据本发明的内部空间监控系统的第一实施例；

图2示出根据本发明的内部空间监控系统的第二实施例；并且

图3示出根据本发明的控制器的实施例，其具有根据本发明的方法的示意图。

在附图中，相同的附图标记标注了相同或功能相似的参考部分。为了清楚起见，在附图中仅说明了分别相关的参考部分，以便避免重复。

具体实施方式

图1和2中示出了在乘用车辆的内部空间2中的车辆乘员1。车辆乘员1是坐在方向盘3后面的驾驶员座位上的驾驶员。

内部空间2包括内部空间监控系统20。在图1中示出了内部空间监控系统20中的第一成像传感器S1和第二成像传感器S2。第一成像传感器S1是2D单目相机，其装配在方向盘3后面的挡风玻璃上。在第一成像传感器S1的第一检测区域E1中，能特别精确地确定当向正前方看时的第一头部定向K1和定位。第二成像传感器S2是3D相机，其装配在车辆乘员右上方的车辆顶篷上。在第二成像传感器S2的第二检测区域E2中，能特别精确地确定当向右看时的第二头部定向K2和定位。检测区域E1和E2已经依赖于不同的头部定向和定位被确定。如果车辆乘员1向正前方看，则使用第一成像传感器S1的数据来确定头部定向K1和定位。如果车辆乘员1向右看时，则使用第二成像传感器S2的数据来确定头部定向K2和定位。在这种情况下，利用第二成像传感器S2更精确地确定头部定向K2和定位。如果车辆乘员1的视线指向第一成像传感器S1与第二成像传感器S2之间的空间，则两个传感器S1和S2的数据被融合。

图3示出了在内部空间监控系统20中的根据本发明的控制器10。

控制器10包括第一接口11。控制器10经由第一接口11在信号技术上与内部空间监控系统20的成像传感器S1和S2连接。传感器S1和S2的数据经由第一接口11提供给控制器的计算机12。计算机12包括存储器13。在主动使用内部空间监控系统20之前，已经执行了以下方法步骤：

·V1：依赖于相对于第一传感器S1的布置的不同的头部定向K1、K2和/或定位来确定第一成像传感器S1的针对头部定向K1、K2和/或定位的第一检测区域E1

并且

·V2：依赖于相对于第二传感器S2的布置的不同的头部定向K1、K2和/或的定位来确定至少是第二成像传感器S2的针对头部定向K1、K2和/或定位的第二检测范围E2。

方法步骤V1和V2的结果存储在存储器13中。计算机12实施方法步骤V3，即依赖于车辆乘员1的头部定向K1、K2和/或定位地利用如下那个传感器S1、S2来确定头部定向K1、K2和/或定位，在这个传感器的检测范围E1、E2中能比在另一传感器S1、S2的检测范围E1、E2中更好地确定头部定向K1、K2和/或定位。在实施方法步骤V3期间，计算机12访问存储在存储器13中的结果。计算机12依赖于所确定的头部定向K1、K2和/或定位地获得用于驱控车辆执行器的信号S作为结果。该信号S经由控制器10的第二接口14提供。

附图标记列表

1 车辆乘客

2 内部空间

3 方向盘

E1 第一检测区域

S1 第一成像传感器

K1 第一头部定向

E2 第二检测区域

S2 第二成像传感器

K2 第二头部定向

10 控制器

11 第一接口

12 计算机

13 存储器

14 第二接口

20 内部空间监控系统