用于生成参考表示的方法

文档序号:934023 发布日期:2021-03-05 浏览:1次 >En<

阅读说明:本技术 用于生成参考表示的方法 (Method for generating a reference representation ) 是由 A·法伊尔阿本德 H·赫特莱茵 O·平克 T·格佩尔 于 2020-09-03 设计创作,主要内容包括:提出一种用于生成至少部分自动化的移动平台(130)的周围环境的参考表示的方法,所述方法具有以下步骤:求取(S1)至少一个其他平台,以接收用于所述移动平台(130)的周围环境的参考表示的参考数据;建立(S2)所述移动平台(130)与所述至少一个其他平台(110,120)的通信通道;接收(S3)所述至少一个其他平台(110,120)的用于对所述周围环境进行参考表示的参考数据;求取(S4)所接收的对于生成所述参考表示重要相关的参考数据;存储(S5)所述至少一个其他平台(110,120)的重要相关的参考数据,以生成所述周围环境的参考表示。(A method for generating a reference representation of an environment of an at least partially automated mobile platform (130) is proposed, the method having the steps of: evaluating (S1) at least one other platform to receive reference data for a reference representation of a surrounding of the mobile platform (130); establishing (S2) a communication channel of the mobile platform (130) with the at least one other platform (110, 120); receiving (S3) reference data of the at least one other platform (110, 120) for a reference representation of the surroundings; evaluating (S4) the received reference data that is of significant relevance for generating the reference representation; storing (S5) the critically related reference data of the at least one other platform (110, 120) to generate a reference representation of the surrounding environment.)

用于生成参考表示的方法

技术领域

本发明涉及一种用于生成至少部分自动化的移动平台的周围环境的参考表示的方法。

背景技术

对于借助至少部分自动化的移动平台实现至少部分自动化行驶而言非常重要的是,并且对于驾驶辅助系统越来越重要的是,实现周围环境的感知(英:Perception)或表示。在此借助传感器检测周围环境,例如借助模式识别方法来确定周围环境。因此,将传感器的数据转换成周围环境的重要相关方面的符号描述和语义描述。于是,周围环境的这些符号描述和语义描述构成在这样描述的周围环境中实施动作的基础,或者构成具有至少部分自动化的移动平台的应用或使用目的的基础。周围环境的符号描述的典型示例是借助属性来描述静态对象和/或动态对象,这些属性例如表征相应对象的位置、形状、大小、速度等,并且例如给这些对象分配道德上的、法律的或类似的意义。所述对象例如可以涉及障碍物,必须避免与这些障碍物发生碰撞。

为了开发、保障、评估和验证用于至少部分自动化行驶的不同系统的算法,以及为了训练(用于至少部分自动化行驶的)机器学习方法(例如深度学习),需要不同类型的参考数据来描述环境。此外,参考数据还是借助至少部分自动化的移动平台测量的传感器数据的标记样本,参考数据还是具有“地面实况(Ground Truth)”数据的记录,这些数据表示对移动平台的周围环境的尽可能准确的描述。

发明内容

通常借助特殊的移动平台来产生“地面实况”数据,与待测试的系统相比,这种移动平台配备有更高质量和更准确的传感装置。例如,激光雷达、雷达和视频的组合可以用作开发纯视频AEB功能(英:AEB,Autonomous Emergency Braking(System),自主紧急制动(系统);自动化紧急制动系统)的参考。这种方法的缺点在于,通常(尤其出于经济上的考虑)只有小型测试车队能够配备这种传感装置。

此外,使用专用的“兔子车(Hasenfahrzeugen)”,兔子车配备有通信装置和准确的测量装置,这些装置例如通过固定的通信通道将这些数据传输给测试车辆。

本发明公开一种用于生成周围环境的参考表示的方法、一种设备、一种计算机程序以及一种机器可读的存储介质。这些方法、设备、计算机程序以及机器可读的存储介质至少部分地解决以上提及的任务。

根据一方面,提出一种用于生成至少部分自动化的移动平台的周围环境的参考表示的方法。在该方法的一个步骤中求取至少一个其他平台(Fremdplattform),以接收用于移动平台的周围环境的参考表示的参考数据。在另一步骤中,建立移动平台与至少一个其他平台的通信通道。在另一步骤中,接收至少一个其他平台的用于对周围环境进行参考表示的参考数据。在另一步骤中,求取所接收的对于生成参考表示重要相关的参考数据。在另一步骤中,存储至少一个其他平台的重要相关的参考数据,以生成周围的参考表示。

在本发明的整体描述中,方法步骤的顺序被示出为使得能够简单地理解该方法。但是,本领域技术人员应当认识到,也能够以不同的顺序进行方法步骤中的多个并且导致相同的结果。在这种意义上,也能够相应地改变方法步骤的顺序,并因此也公开了方法步骤的顺序。

借助该方法,可以通过(例如借助随机地或计划地存在于移动平台的周围环境中的其他平台及其传感装置或其周围环境的表示)生成参考表示来在现场试验中求取新的和感兴趣的场景,并且借助参考表示对其进行评估。在此,也可以借助多个其他平台的相应参考数据来生成移动平台的参考表示。

因此,也获得了在以下场景中进行测试、确认或验证的可能性:这些场景超出了在先前定义的场景中(例如在使用“兔子车”时)确定的内容。

因此借助该方法,例如可以将具有高质量传感器配置并且例如具有自动化驾驶功能的车辆(即其他平台)用作“参考传感器装置”,该参考传感装置用于生成附近车辆(具有更简单传感装置)的参考表示。同样,具有在自身车辆(即移动平台)中不存在的传感器的车辆、其他平台或基础设施系统可以补充自身车辆的数据,使得由此能够产生移动平台周围环境的参考表示。

这种方法的优点尤其在HAF系统(HAF:高度自动化驾驶)的验证或“开放上下文”交互的“开放世界”问题或服务机器人技术以及与其相关的复杂性中表现出来,因为验证这种HAF系统的开销非常高,因此成本很高。

在使用该方法时,测试车辆形式的移动平台不是必须配备有参考传感装置,并且其他平台可以是移动的或位置固定的。在此,参考数据可以是其他平台的涉及其他平台自身的数据——例如移动其他平台的位置或一状态(例如交通信号灯系统的状态和/或交通标志的位置和/或含义等)。参考数据还可以具有以下对象属性:其他平台例如已经借助其他平台的传感装置在其他平台的周围环境的表示中确定了这些对象属性。此外,参考数据还可以具有其他平台的直接的传感器数据,或者,参考数据可以涉及其他平台环境的表示的部分信息,或者,参考数据还可以涉及其他平台根据其周围环境的表示求取的分析结果。

根据一个方面提出,为了生成至少部分自动化的移动平台的周围环境的参考表示,将至少一个或多个移动其他平台的所接收的参考数据彼此在时间上同步和/或与至少一个基础设施系统和/或与移动平台在时间上同步。

根据一个方面提出,使移动平台的和/或至少一个移动其他平台的和/或至少一个基础设施系统的相应的内部计时器的时间同步分别与中央时间标准同步。作为这样的时间标准的示例,可以涉及GPS系统(GPS(英):global positioning system,全球定位系统)。

根据另一方面提出,借助无线信息网络来实现移动平台和/或至少一个移动其他平台和/或至少一个基础设施系统的相应的内部计时器的时间同步。这种无线信息网络的一个示例是点对点网络(PTP(英):point to point)。借助这种同步,例如可以将移动平台或移动其他平台或基础设施系统的生成不同数据的系统的数据或参考数据彼此分配和/或比较。

在此,参考表示可以具有与移动平台已经确定的表示不同的格式和不同的内容。在此,参考表示可以适用于在品质或正确性方面检查移动平台的周围环境的表示的一个或多个对象属性或特征。因此,(尤其在移动平台的待测试的部分功能性方面)可以通过所接收的参考数据来改善周围环境的当前的参考表示。

借助移动平台的周围环境的参考表示,既可以在移动平台自身上也可以离线地测试、验证或确认移动平台的系统或部分功能,该移动平台的硬件部件与移动平台连接。

为了建立移动平台的通信通道,移动平台能够无线地发射信号,如果其他平台设置用于向移动平台发送参考数据,则其他平台能够接收和应答所述无线发射的信号。

在此,重要相关的参考数据涉及以下数据:这些数据适用于在品质或正确性方面检查移动平台的周围环境的表示的一个或多个特征。

此外,可以求取:所接收的其他平台的参考数据是否对于移动平台的周围环境的表示而言重要相关,也就是说,移动平台的周围环境与其他平台的周围环境是否重叠。

相比于已经借助移动平台的传感器生成的数据,相应的其他平台的参考数据也可能具有更低的品质,因为也可以通过适当地融合例如多个其他平台的多个参考数据来改善参考表示的整体品质。

这种参考表示可以设置用于测试、验证或确认移动平台的至少部分功能性。对于产生参考表示重要相关的参考数据取决于:哪个参考表示对于移动平台的至少一个待测试的部分功能或部分功能性是必需的,以及哪些数据(例如由于在移动平台上存在的传感器)可用于移动平台。

在下文中示例性地介绍使用所述方法生成参考表示的五种不同场景:

a.至少一个其他平台传输其自身位置、其速度、其尺寸等作为参考。由此,借助该方法可以类似于特殊配备的“兔子车”的测试驾驶地来执行测试驾驶。

b.诸如交通信号灯的基础设施系统会将其位置、其信号状态等作为参考数据传输给移动平台。

c.至少一个其他平台(例如其他车辆)传输表示周围环境的传感器数据和/或周围环境的表示、或其他平台已经生成的环境表示的一部分,以便生成移动平台的周围环境的参考表示。

d.此外,基础设施摄像机可以传输收费桥梁系统的数据,其周围环境的参考数据、和/或其周围环境的表示的参考数据、或其周围环境的表示的一部分的其他参考数据。

e.移动平台将对参考数据的特定请求传输到以下其他平台和/或基础设施系统:该其他平台和/或基础设施系统对于生成移动平台的周围环境的参考表示是必需的。例如检查请求:检查周围环境的特定对象是否也已经被相应的基础设施或其他平台辨识出。或者检查信息:该检查信息关于周围环境的确定位置处的确定动态对象的速度。

f.此外,其他平台可以提供和传输关于其周围环境的周围环境条件的信息,例如道路摩擦、天气、光线和能见度条件。

在该方法中有利的是,例如在受到来自外部的攻击时或者在其他车辆或其他平台或基础结构部件的算法发生错误的情况下,(从车辆传输至基础设施或从车辆传输至车辆的)数据的所使用的可信度是无关紧要的。使用所述数据来进行验证或确认就以下方面而言不是对于安全重要相关的:因为导入(即接收和存储)错误的数据仅会导致验证或确认失败。事后仅须检查该失败是归因于实际待检查的部件、归因于通信通道还是归因于其他系统。但是无论如何,这都揭示了参与的系统中的一个存在实际不足。

根据一个方面提出,通过所建立的通信通道在移动平台与其他平台之间的两个方向上传输信号。由此,移动平台可以向其他平台提出有针对性的信息请求,例如关于移动平台的周围环境中(尤其不确定地)探测到的对象的存在性的比较,或者关于估算有关移动平台和其他平台的周围环境的重叠区域中的场景的比较。

根据一个方面提出,将至少一个其他平台构型为基础设施系统和/或移动平台。

根据一个方面提出,所接收的参考数据包括传感器数据,所述传感器数据具有用于表示移动平台的周围环境的信息。借助这些传感器数据,移动平台可以对在移动平台上存在的传感器数据进行补充,并且必要时自身对传感器数据进行分析处理,或者将传感器数据传输到中央分析处理系统以进行中央分析处理,以便生成移动平台的周围环境的参考表示。

根据一个方面提出,所接收的参考数据具有移动平台的周围环境的对象的、其他平台的周围环境的表示的对象属性。在此,对象属性包括以下属性:所述属性涉及其他平台对象本身。这意味着其他平台例如还可以将其自身位置传输到移动平台,这使得移动平台能够生成移动平台的周围环境的参考表示。通过其他平台将周围环境的对象的对象属性传输至移动平台具有以下优点:借此能够补充或能够检查移动平台自身已经求取的对象属性。

根据另一方面提出,所接收的参考数据具有关于移动平台的周围环境的环境条件的信息。借助这些信息,移动平台例如还可以考虑关于以下环境条件的信息来生成参考表示:移动平台由于其自身的设置而无法访问这些环境条件。

根据另一方面提出,所接收的参考数据具有由移动平台请求的关于移动平台的周围环境的表示的信息。如上面已经阐述的,这使得还能够访问其他平台的分析结果或参考数据的所选择的部分。例如在特殊的场景中能够询问移动其他平台:在该场景中,移动其他平台是否还会触发紧急制动功能。

根据另一方面提出,根据移动平台的周围环境的表示,所接收的参考数据具有由移动平台请求的关于移动平台的动作的信息。移动平台的这种动作(该动作基于在移动平台周围环境的表示方面对移动平台的解释,并且该动作例如借助移动平台的分析处理单元已经确定)例如可以涉及正向的或负向的加速度和/或方向改变,借助这种动作,移动平台根据其在周围环境方面的解释来对周围环境做出反应。

根据一个方面提出,所接收的参考数据的至少一部分具有参考数据的质量度量。借助参考数据的该质量度量,用于生成参考表示的移动平台或中央评估单元可以考虑哪些数据对于参考表示的生成具有更高的质量,并且相应的在生成时进行考虑。

这种质量度量的一种示例可以是关于定位或观察时间的误差间隔。

根据一个方面提出,如果能够借助所接收的参考数据生成周围环境的新的参考表示,或者如果借助所接收的数据改善周围环境的当前的参考表示,则所接收的参考数据对于生成移动平台的周围环境的参考表示是重要相关的。参考表示尤其不一定必须具有与以下表示相同的格式和内容:至少部分自动化的移动平台主动使用该表示。参考表示应该适合于在其品质或正确性方面(例如在移动平台的待确定的部分功能性方面)检查移动平台的表示的一个或多个对象属性或特征。

根据一个方面提出,如果所接收的其他平台的参考数据的质量度量超过移动平台的等效数据的质量度量,则所接收的参考数据改善周围环境的当前参考表示的生成。在此应考虑,如果多个其他平台的各个参考数据与通过移动平台自身提供的数据具有相同或甚至更低的品质,则通过适当地融合多个其他平台的参考数据可以实现参考表示的改善。

根据另一方面提出,如果所接收的参考数据能够实现将对象的其他对象属性添加至周围环境的当前的参考表示,或者如果能够实现对现有的对象属性的检查,或者如果能够实现现有的对象属性的品质的改善,则所接收的参考数据改善周围环境的当前参考表示的生成。

根据另一方面提出,仅当对于移动平台连同所接收的参考数据而言存在关于周围环境的信息的最小度量(Mindestmaβ)时,才将所接收的参考数据存储为周围环境的参考表示。

在此,当能够借助移动平台的周围环境的参考表示检查移动平台的周围环境的表示的至少一个特性或对象属性时,可以实现这种最小度量,所述至少一个特性或对象属性对于移动平台的待检查的部分功能性而言是重要相关的。这例如可以是至前方行驶的车辆的距离。这意味着,关于移动平台的周围环境的信息的最小度量取决于以下测试或验证或确认:所述测试或验证或确认必要时应在稍后的步骤中借助移动平台的周围环境的参考表示来执行。

根据另一方面提出,借助移动平台的存储器来存储所接收的参考数据,并且在行驶之后将所接收的参考数据传输给外部的中央计算单元,或在行驶期间将所接收的参考数据传输给外部的中央服务器。在此,中央计算单元设置用于生成周围环境的参考表示。因为例如移动平台的关于周围环境的表示的分析处理能力受限,所以例如通过传输给中央计算单元来得到以下可能性:可以使用更多的计算能力来确定参考表示。

根据一个方面提出,借助移动平台的存储器来存储所接收的参考数据。在此,移动平台可以设置用于对于所接收的数据的至少一部分生成周围环境的参考表示。

根据一个方面提出,移动平台设置用于针对所接收的参考数据的至少一部分生成周围环境的参考表示,并且借助移动平台的存储器来存储该参考表示。

根据一个方面提出,移动平台设置用于针对所接收的参考数据的至少一部分生成周围环境的参考表示,将该参考表示与移动平台的周围环境的表示的至少一部分进行比较,并且借助移动平台的存储器来存储比较的结果。有利地,因此可以节省移动平台的存储空间。

此外,借助方法的该方面能够实现:例如能够直接在车辆中并且在没有服务器基础设施的情况下至少部分地执行系统的验证或确认。然后,在生成移动平台的周围环境的参考表示之后,立即在车辆中将参考表示与待测试的系统进行比较。借此实现,只有这样的比较的结果立即可用,并且在证伪(Falsifikation)的情况下必要时可以立即或在下个车间访问时通过诊断将关于场景的其他信息传输给服务器(尤其中央服务器)。

根据一个方面提出,基于所接收的参考数据提供用于操控至少部分自动化的车辆的控制信号;和/或,基于所接收的参考数据提供用于警告车辆乘员的警报信号。

在此,在特征“基于所接收的操控信号提供控制信号”方面,应广义地理解术语“基于”。这应这样理解:将所接收的参考数据用于控制信号的任何确定或计算,其中这并不排除,将其他输入参量用于控制信号的确定。这同样适用于“提供警报信号”。

提出一种设备,该设备设置用于执行以上描述的方法之一。借助这种设备可以容易地将方法集成到不同的系统中。

提出一种计算机程序,该计算机程序包括指令,在通过计算机实施该计算机程序时,该指令促使计算机实施以上所描述的方法之一。这种计算机程序使得所描述的方法能够在不同系统中使用。

提出一种机器可读的存储介质,在该存储介质上存储有以上描述的计算机程序。

移动平台可以理解为至少部分自动化的系统,该系统是移动的和/或是车辆的驾驶员辅助系统。一种示例是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。这意味着,在这种情况下至少部分自动化的系统在至少部分自动化的功能性方面包括移动平台,但移动平台还包括车辆和其他移动机械(包括驾驶员辅助系统)。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(例如机器人吸尘器或割草机)、多传感器监控系统、飞机、轮船、制造机、个人助理或进入控制系统。这些系统中的每个都可以是完全或部分自动化的系统。

附图说明

参考图1至图4示出并在下文中更详细地阐述本发明的实施例。在此示出:

图1示出用于生成参考表示的信号流的示意图;

图2示出用于生成参考表示的信号流的具有中央计算系统的另一示意图;

图3示出用于生成参考表示的信号流的具有中央存储器的另一示意图;

图4示出用于生成参考表示的信号流的具有分布式计算的另一示意图。

具体实施方式

图1借助图像100示出:为了生成至少部分自动化的移动平台130的周围环境的参考表示,在步骤S1中如何求取至少一个其他平台110和另一其他平台120,以接收用于移动平台的周围环境的参考表示的参考数据。在另一步骤S2中,建立移动平台130与至少一个其他平台110、120的通信通道。在另一步骤S3中,由移动平台130接收至少一个其他平台110、120的用于对周围环境进行参考表示的参考数据。在另一步骤4中,通过移动平台130求取所接收的对于生成参考表示重要相关的参考数据。在另一步骤S5中,存储至少一个其他平台110、120的对于生成周围环境的参考表示重要相关的参考数据。可以在移动平台130的永久存储器136上进行这种存储。在此,在该实施例中,借助传感器112、113、114、115或由另外的平台借助传感器122、123、124、125提供至少一个平台110的参考数据,并且通过无线连接111至131和其他无线连接121至131将至少一个平台的参考数据传输给移动平台130。在此,至少部分自动化的移动平台130借助传感器132、133、134和135生成移动平台130的周围环境的表示。

可以借助整体算法(holistische Algorithmen)来生成至少部分自动化的移动平台130的周围环境的参考表示,其方式是:不仅考虑之前的和当前的数据,而且还考虑(从所观察的事件角度来看)未来的数据,以确定周围环境的对象属性。

这种方法例如可以用于现场验证,或者用于验证新算法或新系统:

-例如,如果已经由周围环境传感器开发出新的对象识别,则借助该方法可以请求具有相应对象识别的移动平台的周围环境中的其他车辆(即其他平台)的位置,并将所述位置与该新的对象识别的数据进行比较。

-在另一示例中,如果已经开发出用于交通信号灯识别的新的算法,则为了进行验证,可以将由该算法求取的交通信号灯状态与所接收的相应装配的交通信号灯的状态进行比较。

-在另一示例中,如果已经开发出用于车辆定位的新系统,则为了进行验证,可以将所求取的系统的自身位置与以下位置进行比较:其他车辆(即其他移动平台)或基础设施摄像机在该位置处探测到自身车辆(即移动平台)。

-为了验证新开发的紧急制动功能(AEB),可以将AEB功能的触发决策与位于附近的具有更好传感器装备的车辆的周围环境的表示进行比较。

此外,借助该方法可以由大量车辆的现场数据生成“地面实况”数据,以便针对这些生成的现场数据在云服务器上测试现有算法或新算法。在此,所述验证或确认不是在车辆自身中进行的,而是将数据传输给服务器,在服务器中这些数据被提供用于离线处理。

图2在图像200中示出:在另一步骤中,如何将移动平台130的从其他平台110、120接收并存储的参考数据传输给服务器210或具有存储器220的服务器集群210,在服务器或服务器集群上可以借助整体算法来计算所述表示。在传输时也可以传输移动平台自身生成的数据。

图3借助图像300示出:根据方法的另一方面,在移动平台130的行驶期间,如何将在车辆中测量的传感器数据以及从至少一个其他平台120接收的参考数据通过无线连接(例如互联网连接)传输给服务器计算机210或移动平台130外部的服务器集群210。在此,服务器计算机或服务器集群210设置用于生成至少部分自动化的移动平台的周围环境的参考表示。

图4借助图像400示出:根据方法的另一方面,如何由移动平台130使用传感器数据和参考数据来生成参考表示,所述传感器数据由移动平台自身借助传感器132、133、134、135生成,所述参考数据从至少一个其他平台所接收(并且所述参考数据已经借助传感器122、123、124、125生成),其方式是:在移动平台的硬件上生成算法,所述算法用于生成移动平台的周围环境的参考表示。在此使用其他算法来从总体上存在的传感器数据和所接收的参考数据中进行选择,使得仅对于所测量数据的一部分自动地生成周围环境的参考表示。在此,移动平台130具有相应的计算单元410,该计算单元用于由这些数据生成参考表示。

14页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!