阅读说明：本技术 用以收集在自主交通工具中产生的传感器数据的系统、方法及设备 (Systems, methods, and apparatus to collect sensor data generated in an autonomous vehicle ) 是由 G·戈洛夫 于 2020-01-08 设计创作，主要内容包括：本发明涉及用以收集在自主交通工具中产生的传感器数据的系统、方法及设备。所述交通工具的传感器产生传感器数据流,所述传感器数据流分别并行且以循环方式缓冲于第一循环缓冲器及较大的第二循环缓冲器中。所述交通工具的高级驾驶员辅助系统在检测或预测到事故时产生事故信号且在检测到物体检测、辨识、识别或分类中的错误时提供训练信号。所述事故信号致使将传感器数据流区段从所述第一循环缓冲器复制到非易失性存储器的以轮循方式从多个槽中选择的槽中。所述训练信号致使将传感器数据流区段从所述第二循环缓冲器复制到所述非易失性存储器的在为所述第一循环缓冲器保留的所述槽之外的区域中。(The present invention relates to systems, methods, and apparatus for collecting sensor data generated in an autonomous vehicle. Sensors of the vehicle generate sensor data streams that are respectively buffered in parallel and in a circular manner in a first circular buffer and a larger second circular buffer. Advanced driver assistance systems of the vehicle generate an accident signal when an accident is detected or predicted and provide a training signal when an error in object detection, recognition or classification is detected. The fault signal causes copying of a sensor data stream segment from the first circular buffer into a slot of a non-volatile memory selected from a plurality of slots in a round robin fashion. The training signal causes copying of a sensor data stream segment from the second circular buffer into a region of the non-volatile memory outside of the slot reserved for the first circular buffer.)

用以收集在自主交通工具中产生的传感器数据的系统、方法 及设备

相关申请案

本申请案涉及2019年1月31日提出申请且标题为“自主交通工具数据记录器(Autonomous Vehicle Data Recorders)”的序列号为16,263,403的美国专利申请案、2018年3月16日提出申请且标题为“用于自主驾驶交通工具的黑匣子数据记录器(Black BoxData Recorder for Autonomous Driving Vehicle)”的序列号为15/923,820的美国专利申请案、2018年3月28日提出申请且标题为“自主驾驶交通工具中具有人工智能处理器的黑匣子数据记录器(Black Box Data Recorder with Artificial Intelligence Processorin Autonomous Driving Vehicle)”的序列号为15/938,504的美国专利申请案、2018年6月18日提出申请且标题为“响应于事件检测而下载系统存储器数据(Downloading SystemMemory Data in Response to Event Detection)”的序列号为16/010,646的美国专利申请案、2017年12月29日提出申请且标题为“用于增强人工神经网络的分布式架构(Distributed Architecture for Enhancing Artificial Neural Network)”的序列号为15/858,143的美国专利申请案及2017年12月29日提出申请且标题为“用于增强人工神经网络的分布式架构中的自学习(Self-Learning in Distributed Architecture forEnhancing Artificial Neural Network)”的序列号为15/858,505的美国专利申请案，所述申请案的全部内容以引用方式并入本文中。

技术领域

本文中揭示的至少一些实施例涉及记录自主交通工具的传感器数据以用于后续分析，例如事故审查及/或更新高级驾驶员辅助系统(ADAS)所使用的数据、地图及人工神经网络模型。

背景技术

自主交通工具通常包含许多传感器来帮助控制自主交通工具的操作。在涉及自主交通工具的事故、碰撞或接近碰撞的情形中，审查恰好在事故之前及/或在事故期间记录的传感器数据以帮助可能地确定事故的原因及/或是否可存在设计缺陷及/或交通工具故障可为有益的。

在于事故期间失去电力的情况下，存储于易失性存储器中的交通工具传感器数据可丢失。易失性存储器需要电力来维持存储于其中的数据。易失性存储器的实例包含动态随机存取存储器(DRAM)及静态随机存取存储器(SRAM)。

一些存储器集成电路是非易失性的，且可甚至在不被供电达长时间段(例如，数天、数个月、数年)时保持所存储数据。非易失性存储器的实例包含快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)及电子可擦除可编程只读存储器(EEPROM)存储器等。

一些非易失性存储器具有受用以存储新数据的编程与擦除的循环限制的有用寿命期。编程擦除(P/E)预算表示可经可靠执行以用于替换可擦除媒体中的数据的编程与擦除的预定循环次数。在擦除的预定循环次数之后，此可擦除媒体的编程擦除(P/E)预算被用尽；且因此，所述媒体可变得在统计意义上不可靠且因此被视为其有用使用寿命结束。举例来说，单电平单元(SLC)快闪存储器可具有接近100,000个循环的P/E预算；多电平单元(MLC)快闪存储器可具有介于从10,000到30,000个循环的范围内的P/E预算；且三电平单元(TLC)或四电平单元(QLC)快闪存储器可具有介于3,000到5,000个循环之间的P/E预算。

发明内容

根据本申请案的一方面，提供一种自主交通工具。所述自主交通工具包括：传感器，其经配置以在所述自主交通工具在道路上操作期间产生传感器数据流；高级驾驶员辅助系统，其经配置以基于所述传感器数据流而在所述道路上操作所述自主交通工具，其中所述高级驾驶员辅助系统进一步经配置以响应于检测或预测到事故而产生事故信号且响应于在物体检测、辨识、识别或分类中的错误而产生训练信号；非易失性存储器；第一循环缓冲器，其具有用以缓冲由所述传感器在多达第一时间段产生的第一传感器数据的容量；第二循环缓冲器，其具有用以缓冲由所述传感器在多达比所述第一时间段长的第二时间段产生的第二传感器数据的容量，其中所述第一循环缓冲器及所述第二循环缓冲器经配置以在不存在所述事故信号及所述训练信号的情况下分别并行且以循环方式将所述传感器数据流缓冲于所述第一循环缓冲器的所述容量及所述第二循环缓冲器的所述容量内；及控制器，其经配置以响应于所述事故信号而将所述第一传感器数据从所述第一循环缓冲器复制到所述非易失性存储器中，且响应于所述训练信号而将所述第二传感器数据从所述第二循环缓冲器复制到所述非易失性存储器。

根据本申请案的另一方面，提供一种自主交通工具的数据记录器。所述数据记录器包括：非易失性存储器；通信接口，其经配置以从所述自主交通工具的传感器接收传感器数据流；第一循环缓冲器，其具有用以缓冲来自所述传感器数据流的第一传感器数据的容量，所述第一传感器数据是在第一时间段期间产生；第二循环缓冲器，其具有用以缓冲来自所述传感器数据流的第二传感器数据的容量，所述第二传感器数据是在比所述第一时间段长的第二时间段期间产生，其中所述第一循环缓冲器及所述第二循环缓冲器连接到所述通信接口以同时且并行地执行缓冲；及控制器，其经配置以：响应于第一类型的信号而将所述第一传感器数据从所述第一循环缓冲器复制到所述非易失性存储器中；且响应于第二类型的信号而将所述第二传感器数据从所述第二循环缓冲器复制到所述非易失性存储器。

根据本申请案的又一方面，提供一种方法。所述方法包括：在自主交通工具的数据记录器中接收由所述自主交通工具的传感器在所述自主交通工具在道路上操作期间产生的传感器数据流；分别并行且以循环方式将所述传感器数据流缓冲到所述数据记录器的第一循环缓冲器及所述数据记录器的第二循环缓冲器中所述第一循环缓冲器的容量及所述第二循环缓冲器的容量内，其中：所述第一循环缓冲器的所述容量经配置以缓冲多达所述传感器数据流的第一区段，所述第一区段是由所述传感器在第一时间段中产生；且所述第二循环缓冲器的所述容量经配置以缓冲多达所述传感器数据流的第二区段，所述第二区段是由所述传感器在比所述第一时间段长的第二时间段中产生；在所述数据记录器中接收由高级驾驶员辅助系统检测或预测到事故而产生的事故信号；响应于所述事故信号，将所述传感器数据流的所述第一区段从所述第一循环缓冲器复制到非易失性存储器中；在所述数据记录器中接收由所述高级驾驶员辅助系统检测到物体检测、辨识、识别或分类中的错误而产生的训练事故信号；及响应于所述训练信号，将所述传感器数据流的所述第二区段从所述第二循环缓冲器复制到所述非易失性存储器中。

附图说明

在附图的各图中以实例而非限制方式图解说明各实施例，其中相似参考指示类似元件。

图1展示其中交通工具配置有用以收集传感器数据以用于改进其高级驾驶员辅助系统(ADAS)及/或用于事故审查的数据记录器的系统。

图2展示根据一个实施例具有数据记录器的自主交通工具。

图3展示根据一个实施例的数据记录器。

图4展示根据一个实施例操作数据记录器的方法。

图5展示根据一个实施例操作数据记录器的另一方法。

具体实施方式

本文中揭示的至少一些实施例提供用以在不同条件下且出于不同目的而收集及存储在自主交通工具或具有高级驾驶员辅助系统(ADAS)的另一交通工具中产生的传感器数据的系统、方法及设备。

在一个实例中，在事故(例如，碰撞或接近碰撞)或接近事故事件之后，可审查传感器数据以确定事件的原因。此传感器数据可在本文中称为事故传感器数据。事故传感器数据可经分析以(举例来说)识别事故或接近事故事件的原因及/或自主交通工具的不安全方面或设计。所述分析可产生用于自主交通工具及/或类似交通工具的安全操作的经改进控制设计及/或配置。

在另一实例中，在交通工具的ADAS(例如，自主驾驶系统)检测到处理传感器数据时的错误/差错或依据传感器数据识别物体时的不匹配或无法依据传感器数据对物体进行识别/分类或者无法以最小置信级对物体进行辨识、检测、识别或分类之后，可使用所述传感器数据来改进高级驾驶员辅助系统(ADAS)。不与事故或接近事故事件相关联的此传感器数据可在本文中称为训练传感器数据。可(举例来说)通过使用传感器数据执行机器学习及/或更新ADAS中用于对物体进行分类或识别的数据模型而做出改进。此类数据模型可包含自主交通工具在其中行进的道路系统的高清晰度(HD)地图及/或用于物体检测、分类、辨识及/或识别的人工神经网络。

高清晰度(HD)地图通常在自主交通工具中用于运动规划。此地图可以厘米级具有高精度。HD地图可提供关于交通工具在其中操作的环境(例如，道路系统)的几何及语义信息。在HD地图中提供的几何信息可包含由光检测与测距(激光雷达)、雷达、相机、声呐、GPS等收集的原始传感器数据。语义信息可识别物体，例如车道边界、交叉路口、停车位、停车标志、交通信号灯以及其它信息，例如交通速度、车道变更限制等。

已开发进一步使用HD地图来产生用于使用人工神经网络(ANN)执行的物体检测、分类、识别及/或辨识的表示/输入的一些技术。

可将在HD地图中识别的物体与经由数码相机、激光雷达(光检测与测距)、雷达(无线电检测与测距)、超声波声呐(声导航与测距)等产生的传感器数据识别的物体进行比较。当在物体检测、分类、辨识或识别中存在不匹配时，可在分析中使用传感器数据来更新HD地图及/或训练用于物体检测、分类、辨识或识别的人工神经网络(ANN)。

在本文中揭示的一些实施例中，自主交通工具的数据记录器配置有用于缓冲事故传感器数据以用于后续事故审查及用于缓冲训练传感器数据以用于改进ADAS的两个单独循环缓冲器(例如，HD地图及/或ANN模型)。单独循环缓冲器可单独经配置以满足用于缓冲传感器数据以用于不同用途(例如，事故审查及ADAS改进)的不同需要。在本文中揭示的其它实施例中，由控制器控制单个循环缓冲器以满足对两个单独循环缓冲器的不同需要。

举例来说，数据记录器可配置有用以缓冲事故传感器数据以用于后续事故审查的事故数据循环缓冲器及用以缓冲训练传感器数据以用于改进ADAS的训练数据循环缓冲器。

举例来说，数据记录器可从安装于交通工具上的各种相机接收含有实时视频数据的数据流及从其它传感器(例如雷达、激光雷达、超声波声呐等)接收各种输出信号。传感器数据可为来自传感器的原始数据或经压缩图像/视频数据。

循环缓冲器中的每一者经配置而以循环方式缓冲数据，其中传入数据填充到缓冲器中直到缓冲器已满为止，且接着其它新数据经缓冲以替换循环缓冲器中的最旧数据。循环缓冲器可使用具有极高耐久性(例如，允许将万万亿字节的数据写入及重新写入于循环缓冲器中)的一类存储器来实施。举例来说，循环缓冲器可经由易失性且需要电力来保持其内容的SRAM或DRAM来实施。替代地，循环缓冲器可使用具有极高耐久性的非易失性存储器(例如交叉点存储器)来实施。

交叉点存储器使用无晶体管存储器元件，所述无晶体管存储器元件中的每一者具有一起堆叠成一列的存储器单元及选择器。存储器元件列经由两个垂直导线层来连接，其中一个层位于存储器元件列上面且另一层位于存储器元件列下面。每一存储器元件可在两个层中的每一者上的一个导线的交叉点处个别地选择。交叉点存储器装置是快速且非易失性的，且可用作用于处理及存储的统一存储器池。

具有极高耐久性的一些非易失性存储器遭受短数据保持(例如，数分钟或数小时)。

自主交通工具可经配置以产生指示事故的发生或对潜在事故的预测的信号。此信号可在本文中称为事故信号。

事故信号可由ADAS(例如，自主驾驶系统)基于传感器数据而产生。举例来说，激活自动紧急制动可致使为数据记录器产生事故信号。举例来说，激活防锁制动系统可致使向数据记录器产生事故信号。举例来说，比阈值更快的加速可致使向数据记录器产生事故信号。举例来说，当交通工具的避撞系统检测到撞击威胁或确定撞击的概率高于阈值时，可以为数据记录器产生事故信号。举例来说，当安全气囊传感器在冲撞的初始撞击期间确定正发生碰撞时，可以为数据记录器产生事故信号。举例来说，当ADAS依据传感器数据检测到危险情境(例如另一汽车或物体与自主交通工具相距比阈值更近)时，为数据记录器产生事故信号。

交通工具的数据记录器经配置为具有非易失性存储器。数据记录器的非易失性存储器可使用可在不被供电的情况下保持数据达数个月及/或数年的高密度及高数据保持快闪存储器来实施。举例来说，三电平单元(TLC)或四电平单元(QLC)NAND快闪存储器可用作数据记录器的非易失性存储器。

响应于事故信号，数据记录器将事故数据循环缓冲器的内容复制到非易失性存储器中，使得可在可防止对数据记录器供电达长时间段的事故之后保留事故传感器数据。

优选地，数据记录器的非易失性存储器经配置为包含用于事故传感器数据的若干个槽。所述槽中的每一者为用于保存从事故数据循环缓冲器复制的传感器数据的专用存储空间。响应于每一事故信号，将事故数据循环缓冲器的内容复制到非易失性存储器中的槽中的一个可用槽中。最初，所有槽均可用于存储从事故数据循环缓冲器复制的传感器数据。在已响应于过去的事故信号而使用所有槽之后，可使存储与最旧事故信号相关联的传感器数据的槽可用于存储响应于当前事故信号而从事故数据循环缓冲器复制的新的当前传感器数据。

数据记录器经配置以甚至当事故致使数据记录器的电力供应器断开时确保完成传感器数据从事故数据循环缓冲器到非易失性存储器的复制。举例来说，数据记录器可具有甚至当数据记录器的外部电力供应器紧接在事故信号之后移除时足以为完成传感器数据从事故数据循环缓冲器到非易失性存储器的复制的操作供电的备用电源。备用电源可经由电容器实施，所述电容器经充电以存储用于操作的电力，而数据记录器通常经由外部电力供应器供电(例如，在于事故之前将数据记录于事故数据循环缓冲器中的操作期间)。替代地或以组合方式，备用电源可包含安装于数据记录器的外壳内的电池。

事故数据循环缓冲器经配置以在紧接在事故信号之前的一段时间(例如，30秒)内缓冲传感器数据。响应于事故信号，将在此时间段内缓冲的传感器数据复制到数据记录器的非易失性存储器中的槽中；且在将相应数据复制到槽中之前，不用来自传感器的新数据覆写在事故信号时在事故数据循环缓冲器中的现有数据。

在一个实施方案中，响应于事故信号，事故数据循环缓冲器暂时停止缓冲传入的新传感器数据以保留其内容且在已将事故数据循环缓冲器中的内容的至少最旧部分复制到数据记录器的非易失性存储器中的槽之后重新开始缓冲数据。任选地，事故数据循环缓冲器可在完成将事故信号的现有数据存储到非易失性存储器中之后重新开始缓冲传入的新传感器数据。任选地，事故数据循环缓冲器可在已将事故数据循环缓冲器的内容的预定部分复制到非易失性存储器中的槽中之后且在将事故数据循环缓冲器的全部内容复制到槽中之前重新开始缓冲传入的新传感器数据，其中缓冲传入的新传感器数据不会覆写待复制到数据记录器的非易失性存储器的事故传感器数据。

在另一实施方案中，响应于事故信号，事故数据循环缓冲器经配置以读取事故数据循环缓冲器中的内容的最旧部分以便记录于非易失性存储器中且接着将传入的新传感器数据记录于适当位置中以覆写事故数据循环缓冲器中的最旧部分。因此，数据记录器将事故数据循环缓冲器中的内容清空到非易失性存储器中的槽中，同时继续将传入的传感器数据记录于事故数据循环缓冲器的经清空部分的部分中；且数据记录器可继续缓冲传入的传感器数据，而不会无法缓冲任何传入的传感器信号，同时将与事故信号相关联的内容(例如，在紧接在事故信号之前的30秒时间段期间产生)复制到非易失性存储器中的槽中。

任选地，数据记录器及/或自主交通工具可经配置以经由通信网络/连接将非易失性存储器中的槽中的数据内容上传到远程服务器。举例来说，数据传送可经配置以在数个选项中的一者中执行。一个选项是经由蜂窝式通信网络将数据无线地发射到服务器。另一选项是经由无线局域网(例如，Wi-Fi)将数据无线地发射到服务器。又一选项是经由有线连接在自主交通工具的诊断端口上进行发射。再一选项是从自主交通工具移除数据记录器以实现到数据记录器的通信端口的有线连接。

记录于数据记录器的非易失性存储器的槽中的事故传感器数据可用于调查事故或接近事故事件。

自主交通工具可产生指示要保存传感器数据以用于训练及/或改进ADAS的请求的信号。此信号可在本文中称为训练信号。

举例来说，训练信号可由ADAS(例如，自主驾驶系统)响应于在HD地图中识别的道路物体(例如，车道边界、障碍物、交通标志等)与依据传感器数据检测或辨识的对应物体之间的不匹配而产生。与所述不匹配相关联的传感器数据可用于在辨识物体方面训练ADAS及/或针对道路的对应区段更新HD地图。

训练数据循环缓冲器经配置以与事故数据循环缓冲器缓冲事故传感器数据并行地缓冲训练传感器数据。训练数据循环缓冲器经配置为具有用以存储在比事故数据循环缓冲器(例如，30秒)长的时间段(例如，3分钟)中收集的数据的容量。

响应于训练信号，将训练传感器数据从训练数据循环缓冲器复制到数据记录器的非易失性存储器中。响应于训练信号而复制的训练传感器数据可包含在训练信号之前产生的一部分及在训练信号之后产生的其余部分。在一些例子中，在训练信号之前产生的部分达等于或长于缓冲于事故数据循环缓冲器中的流区段的长度的时间段(例如，30秒或更多)。在其它例子中，响应于训练信号而复制的全部训练传感器数据是在训练信号之前产生的。任选地，随训练信号提供时间段选择指示，使得数据记录器可选择性地复制在训练信号之前产生的部分及在训练信号之后产生的其余部分。替代地，ADAS可通过调整训练信号的时序而选择时间段，使得相对于训练信号预定义的时间窗是待作为训练传感器数据保存的传感器数据流区段的时间段。在一些例子中，在于数据记录器中接收到训练信号后，训练数据循环缓冲器继续缓冲传入的传感器数据信号，直到在训练信号之后产生的其余部分被缓冲于训练数据循环缓冲器中以便复制到数据记录器的非易失性存储器中为止。任选地，训练数据循环缓冲器可在于训练信号之后产生的其余部分缓冲于训练数据循环缓冲器之后且在完成将与训练信号相关联的训练传感器数据复制到数据记录器的非易失性存储器之前暂时停止缓冲更多的传入传感器数据。训练传感器数据的复制可经配置以响应于训练信号且在完成缓冲与训练信号相关联的全部训练传感器数据之前开始。替代地，训练传感器数据的复制可经配置以在完成缓冲与训练信号相关联的全部训练传感器数据时或之后开始。

优选地，数据记录器的非易失性存储器经配置为具有经保留以存储训练传感器数据的专用区域。非易失性存储器中的训练数据区域与针对用于事故审查的传感器数据配置的槽分开。

任选地，训练数据区域可具有用于存储与多个训练信号相关联的训练传感器数据的多个槽。数据记录器可经配置以保持与最后训练信号相关联的训练传感器数据。

任选地，数据记录器进一步经配置以接收训练信号的优先级指示。举例来说，ADAS可评估在HD地图中识别的物体与依据传感器数据检测/辨识的对应物体之间的不匹配程度。高度不匹配被指派高优先级。类似地，在对物体进行检测、分类、辨识或识别方面的低置信级可被指派高优先级。因此，数据记录器可经配置以在数据记录器具有不充分槽来存储尚未发射到服务器的训练数据时基于优先级指示而保持训练传感器数据。

复制到数据记录器的非易失性存储器的训练数据区域中的内容可经由上文论述的用于发射事故数据的通信选项(例如无线蜂窝式通信网络(例如，5G蜂窝式通信)及/或无线局域网(例如，Wi-Fi))中的一些而自动发射到远程服务器。取决于网络带宽及覆盖，数据发射可花费从数分钟到数小时/数天的一段时间。数据记录器的非易失性存储器可在完成数据发射之前在不具有电力的情况下保持数据。

图1展示其中交通工具配置有用以收集传感器数据以用于改进其高级驾驶员辅助系统(ADAS)及用于事故审查的数据记录器的系统。

图1的系统包含具有数据记录器101的交通工具111。数据记录器101可根据本文中揭示的实施例中的任一者来配置。交通工具111具有高级驾驶员辅助系统(ADAS)105及将传感器数据输入提供到ADAS 105的一或多个传感器103。

举例来说，传感器103可包含数码相机、激光雷达、雷达、超声波声呐、制动传感器、速度传感器、加速度传感器、安全气囊传感器、GPS(全球定位系统)接收器等。

传感器103随时间而变的输出作为传感器数据流提供到ADAS 105以支持其操作且提供到数据记录器101以用于缓冲及/或记录。ADAS 105可产生事故信号及/或训练信号以起始将传感器数据从循环缓冲器传送到数据记录器101的非易失性存储器，如上文论述。

举例来说，响应于检测到事故或接近事故事件，ADAS 105可产生事故信号以致使数据记录器101存储持续时间B(例如，30秒)的事故传感器数据(例如，127)。事故传感器数据127通常由传感器在持续时间B(例如，30秒)内产生，且在ADAS 105产生事故信号之前缓冲于数据记录器101的循环缓冲器中。

举例来说，响应于检测到除事故或接近事故事件之外的训练或改进ADAS 105的机会，ADAS 105可产生训练信号以致使数据记录器101存储持续时间A(例如，3分钟)的训练传感器数据(例如，121)。训练传感器数据121由传感器在持续时间A(例如，3分钟)内产生且缓冲于数据记录器101的循环缓冲器中。持续时间A(例如，3分钟)可包含在ADAS 105产生的训练信号之前的一部分及任选地在所述训练信号之后的一部分。

交通工具111配置有用以经由无线信号113及通信网络117将事故传感器数据127及/或训练传感器数据121发射到远程服务器119的无线通信装置。远程服务器119通常配置在远离交通工具111在上面使用的道路102的位置处。通信网络117的一个实例是具有用以接收无线信号(例如，113)的一或多个基站(例如，115)的移动电话网络。通信网络117的另一实例是因特网，其中在接入点(例如，115)中接收由交通工具111发射的无线局域网信号(例如，113)以进一步传递到服务器119。在一些实施方案中，交通工具111使用去往卫星109的通信链路107或通信气球来将传感器数据(例如，121或127)发射到服务器119。

服务器119可经配置为包含事故模块129。可在事故模块129中审查及/或分析事故传感器数据127以识别事故的原因及/或可能设计或配置改变以便改进自主驾驶及/或ADAS。

服务器119可经配置为包含训练与更新模型123。可在训练与更新模块123中使用训练传感器数据121来改进ADAS 105的人工神经网络(ANN)125及/或更新交通工具111所使用的道路102的高清晰度(HD)地图126。

在一些实施方案中，ADAS 105可任选地包含机器学习模块，所述机器学习模块经配置以使用存储于数据记录器101的非易失性存储器中的训练传感器数据121来在具有或不具有来自服务器119的帮助的情况下改进其ANN。

图2展示根据一个实施例具有数据记录器101的自主交通工具111。举例来说，图1的系统中的交通工具111可使用图2的自主交通工具111来实施。

图2的交通工具111经配置为具有高级驾驶员辅助系统(ADAS)105。交通工具111的ADAS 105可具有用于运动规划的高清晰度(HD)地图126及用于物体检测、辨识、识别及/或分类的人工神经网络(ANN)125。任选地，HD地图126也可用于物体检测、辨识、识别及/或分类。

当在HD地图126中识别的物体与经由ANN 125对物体的识别之间存在不匹配时，ADAS 105可为数据记录器101产生训练信号。

当ADAS 105检测到事故或接近事故事件时，ADAS 105可为数据记录器101产生事故信号。

交通工具111通常包含信息娱乐系统149、通信装置139、一或多个传感器103及连接到交通工具111的一些控件(例如用于引导交通工具111的转向控件141、用于停止交通工具111的制动控件143、用于交通工具111的速度的加速度控件145等)的计算机系统131。在一些实施例中，图1的系统中的交通工具111具有类似配置及/或类似组件。

交通工具111的计算机系统131包含一或多个处理器133、数据记录器101及存储包含计算机指令及用于ADAS 105的数据模型的固件(或软件)147的存储器135。ADAS 105的数据模型可包含HD地图126及ANN 125。

一或多个传感器103可包含可见光相机、红外相机、激光雷达、雷达或声呐系统、外围传感器、全球定位系统(GPS)接收器、卫星定位系统接收器、制动传感器及/或安全气囊传感器。传感器可将实时传感器数据流提供到计算机系统131。由交通工具的传感器103产生的传感器数据可包含使用用人眼可见的光成像的相机或用红外光成像的相机或者声呐、雷达或激光雷达系统捕获物体的图像。从交通工具的至少一个传感器获得的图像数据是用于记录在数据记录器中的所收集传感器数据的一部分。

ADAS 105的输出可用于在自主驾驶期间控制(例如，141、143、145)交通工具111的加速度、交通工具111的速度及/或交通工具111的方向。

在一些实施例中，在服务器119更新ANN 125及/或HD地图126之后，服务器119可通过经由通信装置139及/或无线信号113将ANN 125及/或HD地图126下载到交通工具111的计算机系统131而空中更新交通工具111的ADAS。

图3展示根据一个实施例的数据记录器。举例来说，图1的系统中及/或图2的交通工具111中的数据记录器101可使用图3的数据记录器101来实施。

图3的数据记录器101可包含围封其组件的外壳137。任选地，数据记录器101的外壳137密封数据记录器101的组件且在事故期间保护数据记录器101及/或存储于非易失性存储器165中的数据不受破坏；且因此，在涉及交通工具的事故中通常发生的撞击/碰撞、起火及/或淹没之后可检索存储于数据记录器101的非易失性存储器165中的数据。

图3的数据记录器101包含一或多个通信接口或装置153、事故数据循环缓冲器161、训练数据循环缓冲器163、控制器159及非易失性存储器165。

通信接口或装置153可用于从其中安装有数据记录器101的交通工具111的传感器103接收传感器数据流151。传感器数据流151并行地提供到事故数据循环缓冲器161及训练数据循环缓冲器163。

此外，通信接口或装置153可用于从交通工具111及/或其ADAS 105接收训练信号(例如，157)及事故信号155。

响应于事故信号155，控制器159停止将传入传感器数据流151记录到事故数据循环缓冲器161中且开始将事故数据循环缓冲器161中的内容复制到非易失性存储器165。

非易失性存储器165具有多个槽171、173、…、179。所述槽中的每一者足以存储事故数据循环缓冲器161的全部内容。控制器159可以轮循方式及/或以循环方式使用槽171、173、…、179，使得在一定数目个事故信号之后，槽171、173、…、179存储与最近事故信号相关联及/或由最近事故信号识别的事故传感器数据的最新的集。

响应于训练信号157，控制器159可继续将传入传感器数据流151缓冲到训练数据循环缓冲器163中，使得训练数据循环缓冲器163含有部分地在训练信号157之前记录且部分地在训练信号157之后记录的训练传感器数据集。控制器159接着将训练传感器数据集复制到非易失性存储器165中为训练传感器数据保留的区域167中。

任选地，区域167也可包含多个槽，每一槽足以存储训练数据循环缓冲器163的内容。

任选地，数据记录器101包含备用电源，例如电容器或可再充电电池。

图4展示根据一个实施例操作数据记录器的方法。举例来说，图4的方法可在图1的系统中的图2交通工具111中的图3数据记录器101中实施。

在框201及211处，数据记录器101提供第一循环缓冲器161及第二循环缓冲器163。

在框203处，数据记录器101将第一持续时间(例如，30秒)的第一传感器数据流缓冲于第一循环缓冲器161中。

在框213处，数据记录器101将第二持续时间(例如，3分钟)的第二传感器数据流缓冲于第二循环缓冲器163中。

第一循环缓冲器161及第二循环缓冲器163并行地操作。数据是以循环方式缓冲到循环缓冲器161及163中的每一者中，使得当缓冲器已满时，最新数据会覆写最旧数据。举例来说，从缓冲器的开头朝向缓冲器的末尾记录数据。一旦到达缓冲器的末尾，便再次从缓冲器的开头朝向缓冲器的末尾写入数据，如同缓冲器的末尾跟在缓冲器的开头之后。

在框205处，数据记录器101接收要记录传感器数据的请求。所述请求可为事故信号或训练信号。

在框207处，数据记录器101确定所述请求是否用于记录事故(例如，碰撞或接近碰撞)。

如果所述请求是用于记录事故，那么在框209处，数据记录器101将第一循环缓冲器161中的第一内容复制到非易失性存储器165。

任选地，响应于所述请求是要记录事故，数据记录器101在一段时间内停止将传入传感器数据缓冲到第一循环缓冲器161中(例如，以便防止覆写第一循环缓冲器161中的现有数据及/或以便在数据记录器101的外部电力供应器中断时保留备用电力)。

在框221处，数据记录器101在事故之后将第一内容从非易失性存储器165发射或提供到服务器119。

在框223处，服务器119基于第一内容而审查事故。

如果所述请求并非是记录事故，那么在框219处，数据记录器101将第二内容从第二循环缓冲器163复制到非易失性存储器165。

任选地，响应于所述请求，数据记录器101在一段时间内继续将传入传感器数据缓冲到第一循环缓冲器161中，且因此缓冲含有部分地在所述请求之前且部分地在所述请求之后的持续时间内的传感器数据的第二内容。在继续缓冲的时段之后，数据记录器101可在另一时间段内停止缓冲，此后完成将第二内容复制到非易失性存储器165中。

在框231处，数据记录器101将非易失性存储器165中的第二内容发射到服务器119。

在框233处，服务器119基于第二内容而改进高级驾驶员辅助系统(ADAS)。

图5展示根据一个实施例操作数据记录器的另一方法。举例来说，图5的方法可在图1的系统中的图2交通工具111中的图3数据记录器101中实施。图5的方法可与图4的方法组合地执行。

在框251处，数据记录器101提供用于缓冲与事故相关的传感器数据的第一循环缓冲器161及用于缓冲不与事故相关的传感器数据的第二循环缓冲器163。

在框253处，数据记录器101提供非易失性存储器165。

在框255处，数据记录器101将非易失性存储器165划分成第一部分171、173、…、179及第二部分167，其中所述第一部分具有为第一循环缓冲器161的容量的多倍的存储容量且所述第二部分足以存储缓冲于第二循环缓冲器167中的数据。

在框257处，数据记录器101将所述第一部分组织成预定数目个槽171、173、…、179，每一槽具有用以存储缓冲于第一循环缓冲器161中的数据的容量。

在框259处，数据记录器101将多达预定数目个最近事故的传感器数据存储于预定数目个槽171、173、…、179中。

举例来说，数据记录器101响应于初始事故信号而将事故传感器数据从事故数据循环缓冲器161复制到第一槽171中。针对每一后续事故信号，数据记录器101将事故传感器数据存储于下一槽(例如，173、…、179)中。在到达最后槽179之后，数据记录器101使用第一槽171作为下一槽，如同第一槽171是跟在最后槽179之后的下一槽。

任选地，为缓冲于训练数据循环缓冲器163中的训练传感器数据保留的第二部分167也经配置为具有多个槽。所述槽中的每一者存储识别存储于相应槽中的训练传感器数据的优先级的指示符。当第二部分167中的槽已满时，数据记录器101重新使用具有低于训练数据循环缓冲器163中的当前训练传感器数据的最低优先级的槽。

在一个实例中，自主交通工具111具有经配置以在自主交通工具111在道路102上操作期间产生传感器数据流151的传感器103。交通工具111的高级驾驶员辅助系统(ADAS)105可经配置以基于传感器数据流151而在道路102上操作自主交通工具111。高级驾驶员辅助系统(ADAS)105进一步经配置以响应于检测到或预测到事故而产生事故信号155且响应于物体检测、辨识、识别或分类中的错误而产生训练信号157。

实例中的交通工具111的数据记录器101包含非易失性存储器165、第一循环缓冲器161、第二循环缓冲器163及控制器159。第一循环缓冲器161具有用以缓冲传感器数据流151的第一区段(例如，30秒)的容量；且第二循环缓冲器具有用以缓冲传感器数据流151的第二区段(例如，3分钟)的容量。在不存在事故信号及训练信号的情况下，第一循环缓冲器161及第二循环缓冲器163经配置以分别并行且以循环方式将传感器数据流151缓冲于其相应容量内。在产生事故信号155及训练信号157之前，缓冲于第二循环缓冲器163中的传感器数据流区段可包含缓冲于第一循环缓冲器161中的传感器数据流区段。

响应于事故信号155，控制器159经配置以将第一循环缓冲器161中的传感器数据流区段复制到非易失性存储器165中。响应于训练信号157，控制器159经配置以将第二循环缓冲器163中的传感器数据流区段复制到非易失性存储器165中。

来自传感器103的传感器数据流151可包含传感器103(例如数码相机、雷达、激光雷达或超声波声呐或者其任何组合)的输出。高级驾驶员辅助系统(ADAS)105可包含道路102的地图126及用于基于传感器数据流151而对道路102上的物体进行检测、辨识、识别及/或分类的人工神经网络125。响应于道路102的地图126中对物体的识别与人工神经网络125中通过应用传感器数据流151而执行的对应物体的识别之间的不匹配，高级驾驶员辅助系统(ADAS)105可产生训练信号155。

优选地，在训练信号157之后，自主交通工具111经配置以自动发射传感器数据流区段，响应于训练信号157而将其复制到非易失性存储器165中，将其发射到远程服务器119。服务器119可配置有训练与更新模块123以根据从交通工具111接收的传感器数据流区段而更新道路102的地图126，及/或以便使用机器学习技术(例如监督式机器学习技术)更新人工神经网络125。

响应于事故信号155，将传感器数据流151的在事故信号155之前产生及/或在事故信号155时缓冲于第一循环缓冲器161中的区段复制到非易失性存储器165中。任选地，控制器159可使第一循环缓冲器161停止缓冲传感器数据流151的紧跟在事故信号155之后的传入区段，以便防止传感器数据流151的区段的在事故信号155时在第一循环缓冲器161中的一部分在内容的至少一部分从第一循环缓冲器161复制到非易失性存储器165之前丢失。

任选地，响应于训练信号157，将传感器数据流151的部分地在训练信号157之前且部分地在训练信号157之后产生的区段缓冲于第二循环缓冲器163中且复制到非易失性存储器165中。举例来说，控制器159可继续使用第二循环缓冲器163来缓冲传感器数据流151的紧跟在训练信号157之后的区段以完成所述区段的缓冲以供复制到非易失性存储器165中。一旦传感器数据流151的待复制到非易失性存储器165中的区段在第二循环缓冲器163中，控制器159便可接着使第二循环缓冲器163停止缓冲传感器数据流151的另一传入区段。

在一些实施方案中，不使用事故数据循环缓冲器161。响应于事故信号155，控制器159将训练数据循环缓冲器163的内容的对应于将缓冲于事故数据循环缓冲器161中的区段的一部分复制到非易失性存储器165中的槽中。在其它实施方案中，不使用训练循环缓冲器163。响应于训练信号157，控制器159将事故数据循环缓冲器161的内容的对应于将缓冲于训练数据循环缓冲器163中的区段的至少一部分复制到非易失性存储器165中的槽173中，同时将传感器数据流151的在训练信号155之后的区段直接存储到非易失性存储器165的区域167中。从事故数据循环缓冲器161复制到对应槽(例如，173)中的区段与直接保存到区域167中的区段的组合提供对应于训练信号157的训练传感器数据。

在一些实施方案中，响应于事故信号155，控制器159可停止训练数据循环缓冲器163的操作以保留电力来用于将事故数据循环缓冲器161中的数据复制到非易失性存储器(例如，165)(例如，响应于检测到数据记录器101的外部电力供应器的丢失)。

第一循环缓冲器161及第二循环缓冲器163可为易失性存储器(例如，DRAM或SRAM)；且非易失性存储器165可包含TLC/QLC NAND快闪存储器。第一循环缓冲器161及第二循环缓冲器163可在接收到事故信号155或训练信号157之前缓冲传感器数据流151的共同区段。

任选地，控制器159将非易失性存储器165划分成第一区域171、173、…、179)及第二区域167。此外，控制器159将第一区域171、173、…、179组织成多个槽171、173、…、179，其中每一槽(例如，171)具有足以存储第一循环缓冲器161的全部内容的存储容量。与训练信号157相关联及/或由训练信号157识别的传感器数据流区段复制到第二区域167中；且与事故信号155相关联及/或由事故信号155识别的传感器数据流区段复制到第一区域中的槽171、173、…、179中的一者中。控制器159可根据轮循方案使用槽来在槽171、173、…、179中维持多达与自主交通工具111的高级驾驶员辅助系统(ADAS)105产生的最近事故信号相关联及/或由所述最近事故信号识别的预定数目个事故传感器数据流区段。

任选地，控制器159还可将非易失性存储器165的第二区域167组织成槽，其中每一槽具有足以存储第二循环缓冲器163的全部内容的存储容量。控制器159可存储(例如，在非易失性存储器或另一存储器中)槽中所存储的数据的优先级指示符。响应于训练信号157，控制器159基于第二区域167中的槽中的现有数据的优先级指示符及与训练信号157相关联的优先级指示符而从第二区域167中的槽选择槽。将训练传感器数据从第二循环缓冲器163复制到第二区域167中的选定槽中。

本发明包含方法及执行上文所描述的方法的设备，包含执行这些方法的数据处理系统及含有在于数据处理系统上执行时致使所述系统执行这些方法的指令的计算机可读媒体。

服务器119、计算机系统131及/或数据记录器101可各自作为一或多个数据处理系统来实施。

典型数据处理系统可包含互连微处理器与存储器的互连件(例如，总线及系统核心逻辑)。微处理器通常耦合到高速缓冲存储器。

互连件将微处理器与存储器互连在一起且还经由I/O控制器将其等互连到输入/输出(I/O)装置。I/O装置可包含显示器装置及/或外围装置，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机及本技术领域中已知的其它装置。在一个实施例中，当数据处理系统是服务器系统时，I/O装置中的一些(例如打印机、扫描仪、鼠标及/或键盘)是任选的。

互连件可包含通过各种桥接器、控制器及/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器包含用于控制USB(通用串行总线)外围装置的USB适配器及/或用于控制IEEE-1394外围装置的IEEE-1394总线适配器。

存储器可包含以下各项中的一或多者：ROM(只读存储器)，易失性RAM(随机存取存储器)及非易失性存储器，例如硬驱动器、快闪存储器等。

易失性RAM通常作为持续地需要电力以便刷新或维持存储器中的数据的动态RAM(DRAM)来实施。非易失性存储器通常是磁性硬驱动器、磁光驱动器、光学驱动器(例如，DVDRAM)，或甚至在从系统移除电力之后还维持数据的其它类型的存储器系统。非易失性存储器也可为随机存取存储器。

非易失性存储器可为直接耦合到数据处理系统中的其余组件的本地装置。还可使用远离系统的非易失性存储器，例如通过网络接口(例如调制解调器或以太网接口)耦合到数据处理系统的网络存储装置。

在本发明中，将一些功能及操作描述为由软件代码执行或由软件代码引起以简化说明。然而，此类表达还用于规定功能由处理器(例如微处理器)执行代码/指令导致。

替代地或组合地，本文所描述的功能及操作可在具有或不具有软件指令的情况下使用专用电路(例如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实施。实施例可在不具有软件指令的情况下使用硬连线电路或与软件指令组合地使用硬连线电路来实施。因此，技术既不限于硬件电路与软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。

虽然一个实施例可在全功能计算机及计算机系统中实施，但各种实施例能够作为呈各种形式的计算产品来分布且能够被应用而无论用于实际上实现所述分布的机器或计算机可读媒体的特定类型如何。

所揭示的至少一些方面可至少部分地以软件体现。也就是说，可在计算机系统或其它数据处理系统中响应于其处理器(例如微处理器)执行存储器(例如ROM、易失性RAM、非易失性存储器、高速缓冲存储器或远程存储装置)中所含有的指令序列而执行技术。

经执行以实施实施例的例程可作为操作系统或特定应用程序、组件、程序、对象、模块或称为“计算机程序”的指令序列的部分来实施。计算机程序通常包含一或多个指令，所述一或多个指令是在计算机中的各种存储器及存储装置中在各种时间处设定，且在由计算机中的一或多个处理器读取及执行时致使计算机执行操作，所述操作对于执行涉及各种方面的元件是必要的。

机器可读媒体可用于存储软件及数据，所述软件及数据在由数据处理系统执行时致使系统执行各种方法。可执行软件及数据可存储于各种地方，包含(举例来说)ROM、易失性RAM、非易失性存储器及/或高速缓冲存储器。此软件及/或数据的部分可存储于这些存储装置中的任一者中。此外，数据及指令可从集中式服务器或对等网络获得。数据及指令的不同部分可在不同时间及不同通信会话中或相同通信会话中从不同集中式服务器及/或对等网络获得。数据及指令可在执行应用程序之前整体地获得。替代地，数据及指令的部分可在为执行而需要时被动态地(刚好实时地)获得。因此，不要求数据及指令在特定时间实例处整体地在机器可读媒体上。

计算机可读媒体的实例包含(但不限于)非暂时性可记录及非可记录型媒体，例如易失性及非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、软盘及其它可装卸磁盘、磁盘存储媒体、光学存储媒体(例如，光盘只读存储器(CDROM)、数字多功能磁盘(DVD)等)以及其它。计算机可读媒体可存储指令。

指令还可以用于电、光学、声学或其它形式的经传播信号(例如载波、红外信号、数字信号等)的数字及模拟通信链路体现。然而，经传播信号(例如载波、红外信号、数字信号等)并非有形机器可读媒体且并不经配置以存储指令。

一般来说，机器可读媒体包含提供(即，存储及/或发射)呈可由机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)存取的形式的信息的任何机构。

在各种实施例中，硬连线电路可与软件指令组合地使用以实施技术。因此，技术既不限于硬件电路与软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。

上文说明及图式是说明性的，且不应视为具限制性。描述众多特定细节以提供透彻理解。然而，在特定实例中，未描述众所周知或常规的细节以便避免使说明模糊。本发明中对一个或一实施例的参考不必参考同一实施例；且此些参考意指至少一个。

在前述说明书中，已参考本发明的特定示范性实施例描述了本发明。将显而易见，在不背离如所附权利要求书中所陈述的较宽广精神及范围的情况下，可对本发明做出各种修改。因此，应将本说明书及图式视为具有说明性意义而非限制性意义。