阅读说明：本技术 仿生眼多通道imu与相机硬件时间同步方法和装置 (Bionic eye multi-channel IMU and camera hardware time synchronization method and device ) 是由 黄强 陈晓鹏 苟思远 华承昊 孟非 高峻峣 于 2019-08-21 设计创作，主要内容包括：本发明公开了一种仿生眼多通道IMU与相机硬件时间同步方法和装置。所述方法包括：对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号；对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发。本发明实现精准硬件同步与对齐,可以更快速、更精确的恢复出仿生眼系统所感知环境的深度信息及仿生眼系统运动时的实时三维位姿信息,值得推广。(The invention discloses a method and a device for time synchronization of a bionic eye multichannel IMU and camera hardware. The method comprises the following steps: setting an IMU, using the output frequency of the IMU as a periodic reference for hardware time synchronization and alignment, and synchronously outputting pulse signals when outputting data; setting a camera, setting relevant attributes and fixed exposure time of image acquisition of the camera, carrying out image acquisition after receiving an external trigger pulse, and generating a trigger pulse signal for the camera by using an output pulse signal from an IMU (inertial measurement Unit); the hardware synchronization unit captures the IMU output pulse signal, divides the frequency of the IMU output pulse signal according to a fixed frequency, and generates a trigger pulse signal to synchronously trigger the cameras of all channels. The method and the device realize accurate hardware synchronization and alignment, can more quickly and accurately recover the depth information of the environment sensed by the bionic eye system and the real-time three-dimensional pose information of the bionic eye system during movement, and are worthy of popularization.)

仿生眼多通道IMU与相机硬件时间同步方法和装置

技术领域

本发明涉及多传感器融合感知技术领域，尤其涉及一种仿生眼多通道IMU与相机硬件时间同步方法和装置。

背景技术

要实现对环境的精确感知和环境地图建模以用于定位导航，需要融合多个/多种传感器的测量数据。而多个/多种传感器进行数据融合的前提是对每个传感器数据的同步采集，因此需要对各个传感器进行数据采集的时间同步。

现有的多传感器时间同步方法分为软件时间同步、硬件时间同步。其中，软件时间同步的方式被计算载体同步时钟精度限制，往往需要使操作系统也达到硬实时要求，这给实际应用中的程序开发和功能实现带来了更大的困难，而且基于单独实时内核的软件时间同步对芯片类型也有限制，通用性不高。

硬件时间同步方法则普遍采用GNSS(卫星导航系统)作为时间同步的基准，或测量得到不同传感器间的时差数据，再标定并补偿这个时差。GNSS对时方式具有成本高(每个节点都需要安装GNSS设备)、安装受限制(需要在户外无遮挡的环境中使用)、易受受天气、环境变化影响等缺点。而且，GNSS接收机一般具有较大的尺寸，难以应用于结构紧凑的仿生眼系统。

发明内容

鉴于上述现有技术存在的不足之处，为解决仿生眼系统中多个IMU与多个相机数据的同步采集问题，而提出的一种仿生眼多通道IMU与相机硬件时间同步方法和装置。

第一方面，本申请提供的一种仿生眼多通道IMU与相机硬件时间同步方法，包括以下步骤：

S1、对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；

S2、对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；

S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；

S4、利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；

S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；

S6、利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；

S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。

可选地，所述S1中，对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。

可选地，所述S2中，对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。

可选地，所述S3中，硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。

可选地，所述S5中，嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元，以及存储器。

第二方面，本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，包括：

第一设置模块，用于对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；

第二设置模块，用于对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；

第一处理模块，用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；

第二处理模块，用于利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；

第三处理模块，用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；

第四处理模块，用于利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；

第五处理模块，用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。

可选地，所述第一设置模块，还用于：

对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。

可选地，所述第二设置模块，还用于：

对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。

可选地，所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。

第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的仿生眼多通道IMU与相机硬件时间同步方法。

与现有技术相比，本发明的有益效果是：

1、用于仿生眼多通道IMU和相机数据采集的硬件时间同步，相比于单通道IMU和相机数据采集和融合，多通道IMU和相机数据采集和融合可以更快速、更精确的恢复出所感知环境的深度信息，同时每个通道IMU和相机可对每个眼睛的独立运动进行实时位姿测量。

2、对于不同通道IMU之间的时间差，通过时差测量结合贝叶斯估计的方式进行了补偿，在IMU采样频率一致的基础上进一步提高了不同通道IMU之间的时间同步精度。

3、将IMU和相机等传感器数据的采集与处理分开在硬件同步单元和嵌入式上位机，避免了这两个设备间的时钟晶振不一致导致的时间同步误差问题，同时结合了嵌入式上位机快速处理大量采集数据的优势。

4、通过硬件同步单元及相应的软件，实现了多通道IMU数据与图像帧数据之间的精确对应。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的组成框图；

图2是本申请实施例提供的一种硬件同步单元的程序流程图；

图3是本申请实施例提供的一种嵌入式上位机的程序流程图；

图4是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的时序示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1-4，本发明提出的仿生眼多通道IMU与相机硬件时间同步方法，包括以下步骤：

S1、对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；

S2、对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；

S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；

S4、利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；

S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；

S6、利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；

S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。

其中，对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元，以及存储器。

本实施例中，选用的IMU为高精度微型传感器，可用通讯接口包括SPI、I2C和UART，该IMU可在数据采集的同时使能输出一个脉冲信号，数据输出频率可选。

选用全局快门CCD工业相机，图像数据传输接口为USB接口，图像采集模式和图像采集参数可选，有外部触发接口。

选用带有16MHz时钟晶振的处理芯片作为硬件同步单元的微处理器，可使能外部中断引脚，可输出TTL信号，有多个UART接口用于数据的接收与发送，有接口转换芯片和USB接口。

选用嵌入式上位机作为控制系统的逻辑计算与存储单元，可用通讯接口包括USB2.0、USB 3.0、RS232、UART、CAN等，该嵌入式上位机可存储并快速处理数据和程序，同时也是仿生眼实现多种功能的控制平台。

IMU通过高波特率UART接口与硬件同步单元连接，硬件同步单元使能外部中断引脚，使用IMU数据同步输出脉冲信号作为中断源并将其分频转换为TTL触发脉冲信号，相机外部触发接口与硬件同步单元连接，等待接收TTL触发脉冲信号，16MHz晶振作为硬件同步单元系统计时器的时钟晶振，硬件同步单元与相机分别和嵌入式上位机通过对应数据传输接口进行连接。系统的组成框图如图1所示。

所述实施例具体方案如下：

通过硬件同步单元进行IMU设置，使用UART接口向IMU发送IMU配置指令，使能数据同步输出脉冲信号，设置IMU的采样输出频率、UART波特率和输出数据结构等，本实施例中采样输出频率为200Hz，UART波特率为115200，输出数据包含IMU测量数据、时间戳与序列号、校验信息等。

通过控制系统进行相机初始化，使能外部触发功能，设置相机的曝光时长为固定时长，并设置曝光时长，确保相机对图像的采集时刻始终能够与IMU的某帧采集时刻对齐，设置图像增益、图像等属性，确保图像数据符合仿生眼程序调用的要求。

完成IMU和相机设置后，硬件同步单元清空缓冲区并进行初始化，使能外部中断功能，同时开启系统计时器，接受到来自IMU的同步脉冲信号后进入外部中断程序，标记IMU数据的时间戳、通道号和序列号，同时按照设定的分频输出相机触发脉冲信号，对所有通道的相机进行同步触发，相机在接收到触发信号脉冲后开始进行图像采集，进入曝光阶段，标记触发脉冲信号的时间戳和序列号作为相机触发的时间戳和序列号，退出外部中断程序后读取缓冲区IMU数据，分通道转存后清空缓冲区数据，确保下一周期数据为IMU的新测量数据。

硬件同步单元将相同周期和相同通道的数据、时间戳和序列号进行处理，生成有着新数据结构的数据包，然后通过数据传输通道向控制系统的嵌入式上位机传输该数据包。嵌入式上位机接收后先进行数据包的校验，然后分割数据包进行IMU数据的CRC校验，以有效应对高频传输过程中的数据错误等问题。校验完成后进行数据的解析，按通道号分类转存IMU数据和对应时间戳，进行不同通道间IMU数据时间戳计算、IMU时间同步补偿计算、数据格式转化等处理后，生成硬件同步对齐后IMU数据包并发布出来等待其他功能程序的调用。硬件同步单元程序流程图如图2所示。

嵌入式上位机同时接收到该周期内触发相机所得到的图像等数据，将数据解析得到相机触发时间戳，进行相机图像的时间戳计算，然后将其与相机图像数据一起生成相机数据包，并发布出来等待其他功能程序的调用。嵌入式上位机程序流程图如图3所示。

系统时序图如图4所示，IMU的时间戳t_imu和相机图像的时间戳t_cam可按如下公式计算得到：

t_imu＝t_sample+T_d

t_cam＝t_trigger+T_w+T_e

其中，t_sample是IMU数据采样时刻，T_d是IMU同步输出脉冲信号的脉宽时长，为固定时长；t_trigger是相机触发时刻，T_w是相机触发脉冲信号的脉宽时长，T_e是相机图像采集的曝光时长，T_w和T_e是设定的相机相关属性，为固定值。

所有通道IMU采样频率一致且同步上电的前提下，对多通道IMU进行同步时间补偿。由于IMU在固定频率下其采样时间误差服从期望为0的正态分布的特性，以主通道IMU为采样时间同步基准，对其他通道IMU的采样时间进行了贝叶斯估计，从而提高了不同通道IMU的时间同步精度。

已知主通道IMU采样时间为T₁，其采样时间误差标准差为σ₁，其余各通道IMU采样时间和采样时间误差标准差依次为，(T₁，σ₁)，(T₂，σ₂)，……，(T_n，σ_n)，采样时间补偿算法如下：

……

本发明方案，可确保多通道IMU和相机间传感器数据的时间同步精度达到0.1ms以内。

基于相同的技术构思，本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，包括：

第一设置模块，用于对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；

第二设置模块，用于对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；

第一处理模块，用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；

第二处理模块，用于利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；

第三处理模块，用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；

第四处理模块，用于利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；

第五处理模块，用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。

可选地，所述第一设置模块，还用于：

对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。

可选地，所述第二设置模块，还用于：

对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。

可选地，所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。

基于相同的技术构思，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的仿生眼多通道IMU与相机硬件时间同步方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。

计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。