用于评估车辆的乘员的疲劳度的方法和装置
阅读说明：本技术 用于评估车辆的乘员的疲劳度的方法和装置 (Method and device for assessing the fatigue of an occupant of a vehicle ) 是由 M·沃尔弗拉姆 F·巴德 M·布卢默 M·布赫纳 J·尼曼 J·沃尔特斯 C·伊泽特 于 2018-09-12 设计创作，主要内容包括：本发明说明了一种用于评估车辆的乘员的疲劳度的方法。为此提供一定数量的第一疲劳指标(MW1-1、...、MW1-n),第一疲劳指标按照一个或多个计算规则由多个第一传感器值求出并且分别代表了乘员的疲劳度,其中,第一传感器值代表了车辆的测量值和/或代表了涉及当前的行驶的测量值。将相应的第一元数据记录(MD1-1、...、MD1-n)配设给所述一定数量的第一疲劳指标(MW1-1、...、MW1-n),其中,第一元数据记录(MD1-1、...、MD1-n)代表了有关传感器的特性的信息,传感器的第一传感器值在相应的第一疲劳指标(MW1-1、...、MW1-n)中加以处理。此外提供一定数量的第二疲劳指标(MW2-1、...、MW2-m),所述第二疲劳指标按照一个或多个计算规则由一个或多个第二传感器值求出并且分别代表了乘员的疲劳度,其中,第二传感器值代表了乘员的生理参数和/或物理参数。将相应的第二元数据记录(MD2-1、...、MD2-m)配设给所述一定数量的第二疲劳指标(MW2-1、...、MW2-m),其中,第二疲劳指标(MW2-1、...、MW2-m)代表了有关传感器的特性的信息,传感器的第二传感器值在相应的第二疲劳指标(MW2-1、...、MW2-m)中加以处理。通过对所述一定数量的第一疲劳指标(MW1-1、...、MW1-n)和所述一定数量的第二疲劳指标(MW2-1、...、MW2-m)加权求出了代表了乘员的疲劳度的总疲劳指标(GMW),其中,根据在第一元数据记录(MD1-1、...、MD1-n)和第二元数据记录(MD2-1、...、MD2-m)中包含的有关传感器的特性的信息执行加权。(The invention describes a method for assessing the fatigue of an occupant of a vehicle. For this purpose, a number of first fatigue indicators (MW1-1, MW1-n) are provided, which are determined from a plurality of first sensor values according to one or more calculation rules and each represent the fatigue of the passenger, wherein the first sensor values represent a measured value of the vehicle and/or a measured value relating to the current driving. Assigning a respective first metadata record (MD1-1, e.g., MD1-n) to the number of first fatigue indicators (MW1-1, e.g., MW1-n), wherein the first metadata record (MD1-1, e.g., MD1-n) represents information about a characteristic of a sensor, and a first sensor value of the sensor is processed in the respective first fatigue indicator (MW1-1, e.g., MW 1-n). Furthermore, a number of second fatigue indicators (MW2-1, MW2-m) are provided, which are determined from one or more second sensor values according to one or more calculation rules and each represent the fatigue of the occupant, wherein the second sensor values represent a physiological and/or physical parameter of the occupant. The number of second fatigue indicators (MW2-1, MW2-m) is assigned to a corresponding second metadata record (MD2-1, MW, 2-m), wherein the second fatigue indicators (MW2-1, MW2-m) represent information about the properties of the sensor, and the second sensor values of the sensor are processed in the corresponding second fatigue indicators (MW2-1, MW, 2-m). A total fatigue indicator (GMW) representing the degree of fatigue of the passenger is determined by weighting the number of first fatigue indicators (MW1-1,.., MW1-n) and the number of second fatigue indicators (MW2-1,.., MW2-m), wherein the weighting is performed on the basis of information about the characteristics of the sensor contained in the first metadata record (MD1-1,.., MD1-n) and the second metadata record (MD2-1,.., MD 2-m).)
技术领域
本发明涉及用于评估车辆的乘员、特别是驾驶员的疲劳度的方法和装置。
背景技术
已知如下技术，在所述技术中，例如根据机动车驾驶员的转向行为和驾驶时间、必要时结合白天时间、路线类型或昼夜节律来检查是否产生了通过疲劳度表征的驾驶员的疲劳。但上述指标不够精确用于安全和可靠地监视疲劳度。由此可能引起对驾驶员或其它交通参与者而言危险的状况。特别是在由一个或多个驾驶员辅助系统进行辅助时可能出现疲劳增加，也就是说出现疲劳度提高。例如与自动驾驶或自主驾驶的技术相关联地可以尤为强烈地提高疲劳度。但在通过一个或多个驾驶员辅助系统广泛地辅助驾驶员的这些场景中，可能值得追求的或必要的是，驾驶员具有很小的疲劳度。
驾驶员的疲劳度可以基于监控驾驶员的摄像机实现。通过基于图像的方法可以例如监控驾驶员的眼皮合上的持续时间(所谓的眼皮合上时间)。眼皮合上时间是眼皮停留在合上的状态中的持续时间。这样可以例如确认驾驶员的打盹并且由此较为精确地确定疲劳度。
但这种技术较为不灵活。尽管驾驶员会适当地或与状况匹配地注意驾驶状况，但可能会由于眼皮合上时间延长而确定疲劳度提高。
因此需要用于评估驾驶员的疲劳度的更好的技术。这些技术尤其应当能灵活地并且和状况匹配地监控驾驶员的疲劳度。
由DE102011100564A1例如已知一种用于监控车辆中的至少一个乘员的方法，在该方法中，求出乘员的至少一个生命体征参数的当前生命体征参数值和必要时车辆外部环境的至少一个环境参数的当前环境参数值。当前的生命体征参数值和当前的环境参数值一起储存并且与乘员的至少一个已经储存的旧的生命体征参数值相比较，该旧的生命体征参数值必要时和旧的环境参数值一起储存，旧的环境参数值则和当前的环境参数值对应。生命体征参数值通过对乘员的借助图像采集单元采集的图像作图像评估求出。这可以例如是脉搏或心率和/或呼吸频率和/或呼气量。环境参数值用于与上下文相关地分析所求出的生命体征参数值。环境参数值例如是车辆的当前的位置。
发明内容
本发明的任务是，说明一种方法和一种装置，它们提高了评估车辆的乘员、特别是车辆驾驶员的疲劳度的鲁棒性。
该任务通过一种按照权利要求1的特征所述的方法、按照权利要求11的特征所述的计算机程序产品和一种按照权利要求12的特征所述的装置解决。有利的设计方案由从属权利要求得出。
建议了一种用于评估车辆的乘员、特别是驾驶员的疲劳度的方法，该方法包括下列步骤：
提供一定数量的第一疲劳指标，所述第一疲劳指标根据一个或多个计算规则由多个第一传感器值求出并且分别代表了乘员的疲劳度，其中，第一传感器值代表了车辆的测量值和/或涉及当前的行驶的测量值。第一疲劳指标的数量可以是1或大于1。第一疲劳指标可以按照一种计算规则由一个单个的第一传感器值求出。第一疲劳指标备选可以按照一种计算规则由多个第一传感器值求出。若提供多个第一疲劳指标，那么能以任意组合按照前述方案求出所述第一疲劳指标。第一传感器值可以是车辆的测量值，如转向角、转向频率、驾驶员辅助系统的触发频率、车辆的速度变化的频率、车辆的踏板的操纵频率、驾驶员用来遵循车道的精确度、操纵车辆的转向的变化曲线、转向角、转向角的变化曲线、转向角速度或转向矩。涉及当前的行驶的测量值尤其指的是驾驶状况参数，如驾驶时间(驾驶持续时间)、白天时间、路线类型、昼夜节律等。
将相应的第一元数据记录分配给所述一定数量的第一疲劳指标，其中，第一元数据记录代表有关传感器的特性的信息，传感器的第一传感器值在相应的第一疲劳指标中加以处理。换句话说，尤其为每个第一疲劳指标配设一个第一元数据记录。相应的第一元数据记录可以包括一个或多个元数据。关于传感器的特性的信息可以例如包括传感器值的可用性和/或传感器值的检测精确度。因此借助配设给第一疲劳指标的第一元数据记录可以表明相应的第一疲劳指标的质量。
提供一定数量的第二疲劳指标，所述第二疲劳指标按照一个或多个计算规则由一个或多个第二传感器值求出并且分别代表了乘员的疲劳度，其中，第二传感器值代表了乘员的生理参数和/或物理参数。第二疲劳指可以标按照计算规则由一个第二传感器值求出。第二疲劳指标备选可以由多个第二传感器值求出。若提供多个第二疲劳指标，那么这些第二疲劳指标能以任意组合按照前述方案求出。第二传感器值尤其代表了例如通过对乘员的借助至少一个图像采集单元所采集的图像的图像评估求出的参数。第二传感器值尤其广义地涉及应当评估其疲劳度的乘员的当前的生命体征参数值。第二传感器值可以例如是脉搏、呼吸频率、呼气量、心率变化、皮肤温度、心脏的泵送能力、血压、乘员的血液中的氧浓度(也称为氧饱和度)、自主的身体机能等。可以用车辆的传感器和/或乘员随身携带的传感器、如可穿戴设备(智能手表、健康追踪器、心率传感器、心脏起搏器等)检测第二传感器值。
将一个相应的第二元数据记录配设给所述一定数量的第二疲劳指标，其中，第二元数据记录代表了有关传感器的特性的信息，所述传感器的第二传感器值在相应的第二疲劳指标中加以处理。尤其为每个第二疲劳指标配设第二元数据记录。相应的第二元数据记录可以包括一个或多个元数据，所述元数据分别或组合地代表了有关传感器的特性的信息，所述传感器的第二传感器值在相应的第二疲劳指标中加以处理。这尤其可以是在传感器值检测时间点上传感器值的可用性和/或传感器值的精确度。因此实现了对相应的第二疲劳指标的质量评估。
通过对所述一定数量的第一疲劳指标和所述一定数量的第二疲劳指标加权来求出代表乘员的疲劳度的疲劳指标，其中，根据在第一元数据记录和第二元数据记录中包含的有关传感器的特性的信息来执行加权。尤其通过由配设给第一或第二疲劳指标的第一或第二元数据求出的加权因数，分别对第一或第二疲劳指标加权。换句话说，由在第一元数据记录和第二元数据记录中包含的有关传感器的特性的信息确定相应的加权参数，处理所述加权参数以对所配设的第一或第二疲劳指标进行加权。由此求出代表乘员的疲劳度的总疲劳指标。
结果是由此可以提高评估乘员的疲劳度的鲁棒性。所述处理方式基于这样的思考，即，代表了车辆的测量值和/或代表了涉及当前的行驶的测量值的第一传感器值，仅有限地说明了乘员的实际的注意力，尽管第一传感器值原则上是准确的数据。与此相对，代表了乘员的生理参数和/或物理参数的第二传感器值，虽然较难检测到，但却直接说明了车辆驾驶员的注意力。通过对相应的疲劳指标的组合和加权可以提高评估疲劳度的精确度。
按照一种适宜的设计方案，以如下方式对所述一定数量的第一疲劳指标以相应配设的第一元数据记录并且对所述一定数量的第二疲劳指标以相应配设的第二元数据记录进行加权，即，由相应的元数据记录的信息确定加权因数。用这个加权因数能根据传感器值的质量更强或更弱地对每个疲劳指标加权，以便总体上改进对乘员的疲劳度的评估。
另一种适宜的设计方案规定，第一元数据记录和/或第二元数据记录代表了有关所求出的第一传感器值和/或第二传感器值的精确度和/或可用性的信息。此外，原则上考虑将所有这些元数据用于使用在一个元数据记录中，所述元数据适用于能就传感器值的质量来评估传感器的特性，所述传感器的传感器值在相应的疲劳指示器中加以处理。
适宜的是，加权选择得越强烈，第一传感器和/或第二传感器值的精确度和/或可用性就越高。尤其也可以在运行所述方法时调整加权。由此可以不断改进对乘员疲劳度的评估。特别是能够将配设给相应的第一或第二疲劳指标的第一元数据记录和/或第二元数据记录储存在车辆的存储器中并且适应性地在一段时间内加以调整，也就是说加以优化。第一元数据记录和/或第二元数据记录最开始可以设有先验专业知识以确定加权因数。通过在运行期间实施所述方法然后可以适应性地改进加权。
此外，适宜的是，将为乘员求出的个人特征数据(Personenprofil)考虑到加权中。这尤其可以由此实现，即，通过检测和评估第二传感器值在一段时间内产生和处理特定于个人的第二元数据记录。例如低心跳频率通常意味着乘员的较高的疲劳度，因而可以通过考虑个人特征数据，在评估传感器检测到的低心跳频率时考虑到针对个人所确定的典型较高的或较低的心跳频率。
此外还适宜的是，在由经加权的第一疲劳指标和第二疲劳指标求出总疲劳指标时，附加地处理第一传感器值和/或第二传感器值。由此可以再一次改进不同的疲劳指标的融合。同时可以通过这种以名称为“流水线技术(Pipelining)”的公知方案来提高所述方法的反应性。
所述优点也可以在另一种设计方案中达到，在该另一种设计方案中，按照预先确定的方案为总疲劳指标配设分类值，其中，该分类值通过对第一传感器值和/或第二传感器值的进一步的评估得到验证并且可选加以调整。
按照一种设计方案，可以通过基于调节的方法求出总疲劳指标。在另一种设计方案中，可以通过一种基于机器学习的方法求出总疲劳指标，其中，尤其在一开始利用先验的专业知识，以便借助相应的元数据记录实行加权。
本发明还建议了一种计算机程序产品，该计算机程序产品可以加载到数字计算机的内部存储器中并且包括软件代码段，当产品在计算机上运行时，用软件代码段实施按照本申请中所说明的方法的步骤。计算机在当前情况下可以是车辆的计算单元。计算机程序产品可以在CD-ROM、DVD、USB存储棒等上实体化。所述计算机程序产品也可以作为能经由接触式或无接触式网络加载的信号存在。
本发明还建议了一种用于评估车辆乘员的疲劳度的装置，其特征在于，所述装置包括计算单元，该计算单元构造用于实施在本说明书中描述的方法。
按本发明的装置具有相同的优点，所述优点结合按本发明的方法加以说明。
附图说明
接下来借助附图中的实施例详细阐释本发明。附图中：
图1是按本发明的方法的流程的示意图；并且
图2示出了用于评估车辆的乘员、特别是驾驶员的疲劳度的按本发明的方法的流程。
具体实施方式
图1示出了用于评估车辆的乘员、特别是驾驶员的疲劳度的按本发明的方法的流程的示意图。在图中未详细示出的车辆中执行所述方法。车辆已知具有转向轮或用于影响横向引导的其它控制元件、加速踏板和制动踏板或用于纵向引导的相应的控制元件以及用于检测车辆的测量值和/或涉及车辆的当前的行驶的测量值的多个传感器。
在图1中由传感器提供的构成第一传感器值SW1、SW2、SW3的测量值，例如是转向角、转向角的变化曲线、转向角速度、转向矩、车辆转向操纵的时间变化曲线、驾驶员用来遵循车道的精确度等。属于这组第一传感器值的也还有行驶状况参数，即涉及当前的行驶的参数，如驾驶时间(驾驶持续时间)、白天时间、驾驶员辅助系统的触发频率、车辆速度变化的频率、操纵车辆踏板的频率、周围环境亮度、路线类型、昼夜节律等。属于这组第一传感器值的也还有另外的或其它的行驶状况参数或车辆的参数。
每个传感器值SW1、SW2、SW3由车辆的相应的传感器求出和提供。第一传感器值SW1、SW2、SW3备选可以由车辆的计算单元、例如控制器提供，其中，所述第一传感器值形成了这个计算单元的处理的结果。同样可以从车辆外部接收传感器值，例如天气信息。
第一传感器值SW1、SW2、SW3按照一个或多个计算规则BV1-1、...、BV1-n加以处理，其中，处理的结果是相应的第一疲劳指标MW1-1、...、MW1-n。计算规则BV1-1、...、BV1-n例如是软件组件，软件组件将第一传感器值或输送给该软件组件的第一传感器值SW1、SW2、SW3以规定的方式处理成相应的第一疲劳指标MW1-1、...、MW1-n。
仅例如在当前的实施例中在处理计算规则BV1-1、...、BV1-n的计算单元10中明确示出了仅两个计算规则BV1-1和BV1-n。在计算单元10上可以运行任意数量n的计算规则BV1-1、...、BV1-n。这意味着，数量n可以是1或大于1。在图1中例如将单个第一传感器值SW1输送给计算规则BV1-1以进行处理。计算规则BV1-1处理第一传感器值SW1并且由此求出第一疲劳指标MW1-1。与此相对，例如将两个第一传感器值SW2、SW3输送给计算规则BV1-n以进行处理并且求出第一疲劳指标MW1-n。当然可以将任意数量的不同的传感器值输送给相应的计算规则BV1-1、...、BV1-n。同样可能的是，将特定的传感器值SW1、SW2、SW3不仅输送给计算规则BV1-1、...、BV1-n中的其中一个计算规则，而且也输送给计算规则BV1-1、...、BV1-n中的多个计算规则以进行处理。
除了提供相应的第一疲劳指标MW1-1、...、MW1-n外，相应的计算规则BV1-1、...、BV1-n也提供了配属于第一疲劳指标MW1-1、...、MW1-n的相应的第一元数据记录MD1-1、...、MD1-n。这对应图2中的流程的方法步骤S10。
相应的第一元数据记录MD1-1、...、MD1-n包括一个或多个关于传感器的特性的信息、特别是关于传感器值的可用性和/或第一传感器值SW1、SW2、SW3在其检测的时间点上的精确度的信息。借助在第一元数据记录MD1-1、...、MD1-n中包含的信息因此可以评估由计算规则BV1-1、...、BV1-n求出的疲劳指标MW1-1、...、MW1-n的“质量”。当传感器值SW1、SW2、SW3是精确的数据时，这些数据仅有限地说明了乘员的实际疲劳度并且因此称为间接参数。
因此为了改进评估乘员的疲劳度的精确度，通过计算单元20处理第二传感器值SW4、SW5、SW6。第二传感器值SW4、SW5、SW6代表了乘员的生理参数和/或物理参数。可以例如通过对乘员的借助至少一个图像采集单元采集的图像所作的图像评估求出第二传感器值。属于所述第二传感器值SW4、SW5、SW6的例如有脉搏、呼吸频率、呼气量、心率变化、皮肤温度、心脏的泵送能力、血压、乘员的血液中的氧浓度或乘员的其它状态。除了安装在车辆中的传感器外，也可以使用乘员的个人物品、如可穿戴设备(智能手表、健康追踪器、心率传感器、心脏起搏器等)来提供第二传感器值SW4、SW5、SW6。第二传感器值称为直接参数。第二传感器值直接说明了乘员的注意力，但由于与求出第二传感器值相关的困难而经常较为不准确。
在实施例中，将传感器值SW4、SW5、SW6输送给在计算单元20上作为软件组件实施的计算规则BV2-1、...、BV2-m。仅示例性地在本实施例中明确示出了仅两个计算规则BV2-1、...、BV2-m。在计算单元20上可以实施任意数量m的计算规则BV2-1、...、BV2-m。换句话说，数量m≥1。在图2中为了图示的目的，将第二传感器值SW4输送给计算规则BV2-1并且将第二传感器值SW5、SW6输送给计算规则BV2-m。
每个计算规则BV2-1、...、BV2-m由一个或多个输送给它们的第二传感器值SW4、SW5、SW6求出了相应的第二疲劳指标MW2-1、...、MW2-m。此外，为每个第二疲劳指标MW2-1、...、MW2-m配设相应的第二元数据记录MD2-1、...、MD2-m。第二元数据记录MD2-1、...、MD2-m分别包括一个或多个有关提供传感器值SW4、SW5、SW6的传感器的特性的信息，所述传感器的第二传感器值SW4、SW5、SW6在相应的第二疲劳指标MW2-1、...、MW2-m中处理。有关传感器的特性的信息尤其是有关传感器值SW4、SW5、SW6的可用性和/或第二传感器值SW4、SW5、SW6在它们的检测时间点上的精确度的信息。由此也能评估第二疲劳指标MW2-1、...、MW2-m的“质量”。对所述信息的评估对应在图2的流程中的第二步骤S20。
第一疲劳指标MW1-1、...、MW1-n、配设给第一疲劳指标的第一元数据记录MD1-1、...、MD1-n以及第二疲劳指标MW2-1、...、MW2-m和配设给第二疲劳指标的第二元数据记录MD2-1、...、MD2-m被输送给计算单元30以进一步处理和求出总疲劳指标GMW。
计算单元10、计算单元20和计算单元30不需要彼此分离的计算单元。更确切地说，这些计算单元可以是一个共同的计算单元。
计算单元30由第一元数据记录MD1-1、...、MD1-n或第二元数据记录MD2-1、...、MD2-m求出相应的权重以对配设给它们的第一疲劳指标MW1-1、...、MW1-n或第二疲劳指标MW2-1、...、MW2-m加权。这个步骤对应图2中的方法步骤S30。因此在求出总疲劳指标GMW时考虑到了所求出的疲劳指标MW1-1、...、MW1-n或MW2-1、...、MW2-m的质量。第一疲劳指标或第二疲劳指标的相应的加权借助由包含在配设给所述疲劳指标的第一元数据记录或第二元数据记录中的信息求出的加权因数完成。因此由包含在第一元数据记录MD1-1、...、MD1-n和第二元数据记录MD2-1、...、MD2-m中的有关传感器的特性的信息确定了相应的权重参数，该权重参数被处理用于对所配设的第一疲劳指标MW1-1、...、MW1-n或第二疲劳指标MW2-1、...、MW2-m加权。由此求出了代表乘员的疲劳度的总疲劳指标GMW。
求出用于加权的加权因数在此优选地在所述方法运行期间进行并且可选地进行调整，以便例如能考虑到各个传感器值的当前的可用性。在通过图像处理求出的传感器值中，例如可能由于阴影或遮蔽而产生图像缺失，因而由此求出的疲劳指标是失真的或说服力很小。
此外还可能的是，通过根据为乘员求出的个人特征数据适配加权因数来调整加权。这例如由此实现，即，储存通过多次驾驶为相应的乘员求出的疲劳指标并且在一段时间内与所述疲劳指标的元数据记录一起适配所述乘员。因此可以例如考虑到，第一乘员能够在很长的时间内在不出现疲劳的情况下驾驶车辆。与此相对，在另一个乘员中则确认了，已经在较短的行驶后就出现了疲劳或注意力缺失。
可以通过基于调节的方法或通过机器学习方法求出总疲劳指标GMW。在此，例如可以在一开始就使用例如先验的专业知识来确定用于相应的疲劳指标的权重。随着持续时间的渐增和学习进度的渐增，然后可以调整加权因数。
总疲劳指标GMW按照预先确定的方案通过计算单元30输送给分类值K1、...、Kx，其中，分类值K1、...、Kx通过进一步评估一个或多个传感器值(在例如第一传感器值SW3的实施例中)被得以验证并且可选地被调整。例如可以将单个的、极为反应性的传感器值，例如眼皮张开，不仅用作针对疲劳指标BV1-n的输入参量，而且也与所求出的总疲劳指标GMW一起加以分析。若乘员通过总疲劳指标GMW被分类为是睡着的(也就是说疲劳度很高)，但他的眼睛却重新睁开，那么最终的分类就朝清醒的方向改变了一个或多个等级。
此外，按本发明的方法也允许了，在由第一疲劳指标MW1-1、...、MW1-n和第二疲劳指标MW2-1、...、MW2-m求出总疲劳指标时附加地处理第一传感器值和/或第二传感器值。在当前的实施例中，第二传感器值SW4为了直接处理而被额外输送给计算单元30。
附图标记列表
MW1-1、...、MW1-n 第一疲劳指标(n≥1)
MW2-1、...、MW2-m 第二疲劳指标(m≥1)
MD1-1、...、MD1-n 第一元数据记录(n≥1)
MD2-1、...、MD2-m 第二元数据记录(m≥1)
SW1、SW2、SW3 第一传感器值
SW4、SW5、SW6 第二传感器值
BV1-1、...、BV 1-n 计算规则(n≥1)
BV 2-1、...、BV 2-m 计算规则(m≥1)
GMW 总疲劳指标
K1、...、Kx 分类值
10 计算单元
20 计算单元
30 计算单元
S10 方法步骤
S20 方法步骤
S30 方法步骤