具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，公开了一种自动驾驶数据采集融合系统，所述系统包括：

时钟同步单元11、采集主机14以及至少两种不同类型的传感器单元。

所述采集主机用于对不同类型的所述传感器和所述时钟同步单元输出控制信号并接收不同类型的所述传感器发送的携带时间戳的采集数据进行数据融合。

该采集主机具体的可以输出开机关机信号，以便启动传感器或关闭传感器，还可以设置传感器、时钟同步单元等的工作模式等。采集主机处理后的数据可以传输至磁盘16中进行存储，以便后期应用。

所述时钟同步单元，用于根据GNSS信号确定当前时间并对不同类型的所述传感器以及采集主机进行授时；具体的可以使用PTP对整个系统进行授时。

不同类型的所述传感器单元用于在同一场景下各自采集数据并根据所述时钟同步单元的授时对采集数据打上时间戳。

通过上述设置，时钟同步单元作为系统的主时钟源，可以根据GNSS信号及时精准的获得时钟信号，并通过与不同传感器之间的授时完成了不同传感器时钟域的同步，避免了不同传感器自身时钟的不一致性。

实施例二

在不同场景下传感器的类型可以根据需要设置，在该实施例中，该不同类型的所述传感器单元包括至少一个雷达传感器12和至少一个图像采集传感器单元。该雷达传感器具体可以为激光雷达和/或毫米波雷达等。

每个所述雷达传感器用于通过旋转对所述场景进行扫描，以采集对应的点云数据并加上时间戳发到采集主机。图像采集传感器单元用于图像采集以获得对应的图像数据并加上时间戳后发送到采集主机，以便采集主机进行数据融合。本申请中图像采集传感器单元可以包括摄像头、相机等。

尽管通过实施例一的设置，雷达传感器和图像传感器之间的时钟域已经同步，但在进行数据获取时，受到摄像头采集帧频率等的影响，雷达传感器和图像传感器之间采集的数据还是无法做到采集同步。为此，本申请中以雷达传感器的触发信号为基准，基于此实现对图像传感器触发曝光动作的控制，以实现雷达传感器和图像传感器之间的硬同步，两者同时开启数据采集的动作。所有的图像传感器在接受到触发信号后，在触发信号的上升沿同时启动图像曝光操作，也实现多图像传感器之间同步曝光。

由于图像传感器有曝光时间的影响，因此本申请中对于图像传感器采集的图像数据进行了时间延迟补偿，在触发信号对应的时间上增加了图像曝光的时间作为采集的图像数据的时间戳。具体的：

每个所述雷达传感器用于通过旋转对所述场景进行扫描，以采集对应的点云数据并将触发信号发送至所述时钟同步单元；

所述时钟同步单元，用于将所述触发信号发送至每一个所述图像采集传感器单元；

所述图像采集传感器单元用于根据所述触发信号启动图像采集以获得对应的图像数据并根据图像曝光时间和所述时钟同步单元的授时确定所述图像数据的时间戳。

实施例三

在一帧图像中，还有上千行像素，其曝光时间存在差异，在后续与激光雷达的点云数据进行融合时，还无法实现更细粒度的匹配。为此本申请中图像采集传感器单元还用于根据所述图像曝光时间和所述图像数据中每帧图像的行像素确定每行像素的曝光时间以确定所述图像数据中每帧图像的每行像素的时间戳；

所述采集主机用于根据每帧图像的每行像素的时间戳和携带时间戳的所述点云数据进行融合。

具体的，可以根据每帧图像总的曝光时间除以行像素的数量得到行像素的单位曝光时间，基于图像的初始曝光时刻、行像素的单位曝光时间、每行像素的具体位置确定每行像素的曝光时刻，从而确定每帧图像的每行像素的时间戳。以此更为精准的实现后续与点云数据的融合匹配。

实施例四

通常的图像传感器如摄像头等为8M 30Hz摄像头，为获取多角度的数据，可能要接入多个，如有时候需要接入12颗，其输入带宽超过34Gbps。造成了带宽过大的问题。对此本申请中做了如下设置：

每个所述图像采集传感器单元包括图像采集设备132和第一SOC芯片131即片上系统(System on a Chip，简称：SoC)。

所述第一SOC芯片用于根据所述时钟同步单元的授时完成时钟同步并根据所述触发信号控制所述图像采集设备启动图像采集并对所述图像采集设备采集的图像数据计算所述每行像素的曝光时间以对所述图像数据打上时间戳后发送至所述采集主机。

通过专用压缩的第一SOC芯片对摄像头的如4K数据同时进行H.264编码压缩，解决了多颗摄像头造成的输入带宽过高的问题。而且第一SOC芯片通过车规级以太网与采集主机相连，并使用RTSP码流作为传输协议，既简化了设备互联的难度，方便调试；也使得整个系统非常易于扩展，接入更多路摄像头。

优选实施例中，所述不同类型的所述传感器单元还包括CAN传感器设备152和第二SOC芯片151；

所述CAN传感器设备用于采集车辆的底盘数据并发送至所述第二SOC芯片；

所述第二SOC芯片用于根据所述时钟同步单元的授时完成时钟同步并对所述底盘数据打上时间戳后发送至所述采集主机。

实施例五

如上所述，时钟同步单元用以通过PTP对整个系统进行授时，其本身通过GNSS进行授时。具体的，通过如图2所示的方式进行：

整个系统采用4级时钟树，整个系统时间源来自于NTP和GNSS，时间源的选择切换以及时间的维持主要采用如下方式：

在系统上电初期，时钟同步单元会选择NTP作为系统时间源进行初期授时，一旦发现GNSS时钟可用之后，立刻切换到GNSS授时；

在切换到GNSS后，如果遇到隧道以及地库等GNSS信号不可用的场景，时钟同步单元会使用内部高精度温度补偿晶振，进行时间维持；

使用内部高精度温度补偿晶振进行时间维持时，实时或周期性判断GNSS信号是否可用，若判断到GNSS信号变为可用，则再切换回GNSS作为系统时间源；

在判断到使用内部高精度温度补偿晶振维持时间超过预设时间阈值且所述GNSS信号仍不可用时，切换至NTP作为系统时间源进行授时。

对应上述系统，本申请提供一种数据采集融合方法，所述方法应用于删除实施例所述的数据采集融合系统中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。