多传感器数据同步、电子设备及存储介质

文档序号:1003495 发布日期:2020-10-23 浏览:13次 >En<

阅读说明:本技术 多传感器数据同步、电子设备及存储介质 (Multi-sensor data synchronization, electronic device, and storage medium ) 是由 陈功 于 2019-11-11 设计创作,主要内容包括:本发明公开一种多传感器数据同步方法、电子设备及存储介质,方法包括:响应于中断信号,向第一传感器发出第一采集信号,第一采集信号指示第一传感器输出第一采集数据;在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号;在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,接收信号指示协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据。本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。(The invention discloses a multi-sensor data synchronization method, electronic equipment and a storage medium, wherein the method comprises the following steps: in response to the interrupt signal, sending a first acquisition signal to the first sensor, the first acquisition signal indicating that the first sensor outputs first acquisition data; after sending a first acquisition signal to the first sensor, sending a second acquisition signal to the second sensor through a first time delay; and after sending a first acquisition signal to the first sensor, sending a receiving signal to the cooperative processor through a second time delay, wherein the receiving signal indicates the cooperative processor to receive and fuse the first acquisition data sent by the first sensor and the second acquisition data sent by the second sensor. According to the invention, the problem of asynchronous sampling time among various sensors is solved by adopting a delayed triggering mode for the sensors, and synchronous sampling among multiple sensors is realized.)

多传感器数据同步、电子设备及存储介质

技术领域

本发明涉及汽车相关技术领域,特别是一种多传感器数据同步、电子设备及存储介质。

背景技术

从高精地图采集的实际需求来看,需要实现惯性测量单元(Inertialmeasurement unit,IMU)/全球定位系统(Global Positioning System,GPS)/摄像(CAMERA)数据的融合。其中最重要的一项就是时间对齐。目前的要求是3者在进行同步数据采集的时候,时间的相对误差不大于1ms。要达到这个精度,单纯的通过软件分别获取这3者的数据,然后根据时戳进行同步是无法实现的。即便能够达到对齐精度在1ms,其输出的频率也会非常低,甚至为0。要真正实现这个1ms的精度误差,需要软硬件协作才能达到这个目标。

现有技术采用IMU/GPS一体化的设备,如u-blox M8U。使用IMU/GPS一体化设备的好处是IMU/GPS之间的时间误差可以认为为0,且输出精度较高,一般可到20HZ~100HZ。以M8U为例,其输出频率可到30HZ。如果以此频率的脉冲作为VSync信号来控制CMOS进行输出,理论上可以获得30fps同步好的图像数据。但是由于CMOS的图像输出有着固有延时,所以从理论上就不可能与M8U的输出进行一一对应。

其次是采样的对齐。对齐意味着需要消除Camera采样的固有时延以及软件处理带来的不确定的时延。如果通过IMU/GPS来通知Camera采样的同时通知CPU产生中断来接收图像数据,从软件的角度看,只知道来了一个中断可以收到一帧数据,但是缺乏相关他信息(譬如Camera带有硬件计数器可以用来关联IMU/GPS的时间),因此还是无法把图像数据和IMU/GPS数据关联上。

发明内容

基于此,有必要针对现有技术未能实现多传感器数据之间的准确同步的技术问题,提供一种多传感器数据同步方法、电子设备及存储介质。

本发明提供一种多传感器数据同步方法,包括:

响应于中断信号,向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据;

在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据。

进一步地,所述第一传感器为摄像传感器,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长。

更进一步地,所述摄像传感器所设置的图像帧的时间间隔大于或等于所述第二传感器的数据解算输出时间。

更进一步地,所述第二时延为所述摄像传感器的采集一帧图像的时间。

进一步地,所述响应于中断信号,向第一传感器发出第一采集信号,具体包括:

响应于中断信号,以预设频率向第一传感器发出第一采集信号。

本发明提供一种多传感器数据同步电子设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

响应于中断信号,向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据;

在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据。

进一步地,所述第一传感器为摄像传感器,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长。

更进一步地,所述摄像传感器所设置的图像帧的时间间隔大于或等于所述第二传感器的数据解算输出时间。

更进一步地,所述第二时延为所述摄像传感器的采集一帧图像的时间。

进一步地,所述响应于中断信号,向第一传感器发出第一采集信号,具体包括:

响应于中断信号,以预设频率向第一传感器发出第一采集信号。

本发明提供一种传感器接收控制同步方法,包括:

向多传感器数据同步电子设备发出中断信号;

接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

向协同处理器输出采集数据。

进一步地,所述向多传感器数据同步电子设备发出中断信号,具体包括:

定时向多传感器数据同步电子设备发出中断信号。

本发明提供一种传感器接收控制同步电子设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

向多传感器数据同步电子设备发出中断信号;

接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

向协同处理器输出采集数据。

进一步地,所述向多传感器数据同步电子设备发出中断信号,具体包括:

定时向多传感器数据同步电子设备发出中断信号。

本发明提供一种存储介质,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如前所述的多传感器数据同步方法的所有步骤。

本发明提供一种存储介质,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如前所述的传感器接收控制同步方法的所有步骤。

本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。

附图说明

图1为本发明一种多传感器数据同步方法的工作流程图;

图2为本发明第二实施例一种多传感器数据同步方法的工作流程图;

图3为采用CMOS的摄像传感器输出时序图;

图4为本发明一种多传感器数据同步电子设备的硬件结构示意图;

图5为本发明一种传感器接收控制同步方法的工作流程图;

图6为本发明第六实施例一种传感器接收控制同步方法的工作流程图;

图7为中断信号示意图;

图8为本发明一种传感器接收控制同步电子设备的硬件结构示意图;

图9为本发明最佳实施例的系统原理图;

图10为本发明最佳实施例的工作时序图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

实施例一

如图1所示为本发明一种多传感器数据同步方法的工作流程图,包括:

步骤S101,响应于中断信号,向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据;

步骤S102,在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

步骤S103,在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据。

具体来说,本发明应用于多传感器数据同步电子设备中,当接收到中断信号,触发步骤S101响应。然后,步骤S102先向第一传感器发出第一采集信号,指示第一传感器采集数据向协同处理器输出,第一传感器可以为现有的各类型传感器,第一传感器在接收到第一采集信号后,需要经过第一时延后才开始采集第一采集数据。因此,步骤S103在经过第一时延后向第二传感器发出第二采集信号,第二传感器即时采集第二采集数据,从而保证了第一采集数据与第二采集数据的同步采集。最后,步骤S104向协同处理器发出接收信号,由于第一采集数据与第二采集数据已经同步采集,因此协同处理器可以直接将第一采集数据与第二采集数据融合,而不需要考虑时间戳等同步方法。

本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。

实施例二

如图2所示为本发明第二实施例一种多传感器数据同步方法的工作流程图,包括:

步骤S201,响应于中断信号,以预设频率向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据,所述第一传感器为摄像传感器,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长,所述摄像传感器所设置的图像帧的时间间隔大于或等于所述第二传感器的数据解算输出时间;

步骤S202,在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

步骤S203,在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据,所述第二时延为所述摄像传感器的采集一帧图像的时间。

具体来说,第一传感器为Camera摄像传感器。第二传感器优选为IMU/GPS一体化的设备,如u-blox M8U。

时间同步的其中一个核心问题是采样的对齐。对齐意味着需要消除Camera采样的固有时延以及软件处理带来的不确定的时延。如果通过第二传感器,例如IMU/GPS来通知Camera采样的同时通知CPU产生中断来接收图像数据,从软件的角度看,只知道来了一个中断可以收到一帧数据,但是缺乏相关他信息(譬如Camera带有硬件计数器可以用来关联IMU/GPS的时间),因此还是无法把图像数据和IMU/GPS数据关联上。所以最终的解决方案最好是采用自带硬件计数器或者能够在图像中融合时间信息的Camera模组,或者通过硬件升频的方式来解决IMU/GPS输出频率不够的问题,从而彻底消除软件处理带来的影响。

而本实施例采用的是硬件升频的方式来解决。其中步骤S201在响应于中断信号,以预设频率向第一传感器发出第一采集信号,从而实现升频。通过以预设的频率每间隔一定时间向第一传感器发出第一采集信号,然而依次执行步骤S202至S203,则在两个中断信号之间,能够得到多个同步的第一采集数据和第二采集数据。

步骤S202在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号。如图3为采用CMOS的摄像传感器输出时序图,用来解释CMOS图像输出的固有延时,其中:

T1为一帧的时间(如果是25fps,那么一帧的时间为40ms)。T2为Blank Time。即VSync不活动的时间。T3为VSync到HREF的时间。即VSync下降沿到开始采集有效像素前的时间(Start Time)。这个时间用来对电势井进行复位,也包括了对无效行(dummy line)的采集的时间。T4为采集一整行的时间。其中T6是一行中活动像素的采集时间,T7是一行采集完之后的空白时间(horizontal blanking)。最后一行采集完成后会有一个T5,即HREF到VSync的时间。T5+T7通常称为结束时间(End Time)。

第二传感器优选为IMU/GPS。从图1可以看出,为了让图像采集的时间和IMU/GPS时间严格对齐,需要使用曝光开始的时间,而不是帧开始的时间,因此需要考虑这段固定的时延,即T2+T3。这段时长需要根据实际使用的CMOS的寄存器设置来确定,或者进行精确测量来确定。T2+T3这段时长即为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长,即第一时延。

另外,由于部分第二传感器,例如IMU/GPS,其对数据进行解算需要时间,因此,第一传感器Camera的帧率不能太大,相邻两帧之间的时间要覆盖第二传感器的数据解算时间。例如如果第二传感器选用M8U,其IMU/GPS解算需要的时间约为75ms,因此,Camera的帧率不能太大,至少需要覆盖75ms的延迟以确保Camera拍照的时间与IMU/GPS输出的信号能够同步。譬如10fps。这样每帧之间间隔100ms,只要确保同步触发采样,100ms的时间足够输出同步的IMU/GPS数据和图像数据。

最后,由于第一传感器输出帧有时长要求,因此,协同处理器的融合需要等到图像数据完成输出才能开始融合,因此,向协同处理器发送的接收信号等待第二时延,即所述摄像传感器的采集一帧图像的时间。

本实施例对通过设置不同的时延来保证数据采集即融合的同步,并通过升频增加对数据的采集,从而彻底消除软件处理带来的影响。

实施例三

如图4所示为本发明一种多传感器数据同步电子设备的硬件结构示意图,包括:

至少一个处理器401;以及,

与所述至少一个处理器401通信连接的存储器402;其中,

所述存储器402存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

响应于中断信号,向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据;

在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据。

进一步地,所述第一传感器为摄像传感器,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长。

更进一步地,所述摄像传感器所设置的图像帧的时间间隔大于或等于所述第二传感器的数据解算输出时间。

电子设备优选为微控制器,例如STM32微控制器。图4中以一个处理器401为例。

电子设备还可以包括:输入装置403和显示装置404。

处理器401、存储器402、输入装置403及显示装置404可以通过总线或者其他方式连接,图中以通过总线连接为例。

存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的多传感器数据同步方法对应的程序指令/模块,例如,图1所示的方法流程。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述实施例中的多传感器数据同步方法。

存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据多传感器数据同步方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至执行多传感器数据同步方法的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置403可接收输入的用户点击,以及产生与多传感器数据同步方法的用户设置以及功能控制有关的信号输入。显示装置404可包括显示屏等显示设备。

在所述一个或者多个模块存储在所述存储器402中,当被所述一个或者多个处理器401运行时,执行上述任意方法实施例中的多传感器数据同步方法。

本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。

实施例四

本发明第四实施例一种多传感器数据同步电子设备,包括:

至少一个处理器;

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

响应于中断信号,以预设频率向第一传感器发出第一采集信号,所述第一采集信号指示所述第一传感器输出第一采集数据,所述第一传感器经过第一时延后开始采集第一采集数据,所述第一传感器为摄像传感器,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长,所述摄像传感器所设置的图像帧的时间间隔大于或等于所述第二传感器的数据解算输出时间;

在向第一传感器发出第一采集信号后,经过第一时延向第二传感器发出第二采集信号,所述第二采集信号指示所述第二传感器输出第二采集数据,所述第二传感器即时采集第二采集数据;

在向第一传感器发出第一采集信号后,经过第二时延向协同处理器发出接收信号,所述接收信号指示所述协同处理器接收并融合第一传感器发出的第一采集数据、以及接收第二传感器发出的第二采集数据,所述第二时延为所述摄像传感器的采集一帧图像的时间。

本实施例对通过设置不同的时延来保证数据采集即融合的同步,并通过升频增加对数据的采集,从而彻底消除软件处理带来的影响。

实施例五

如图5所示为本发明一种传感器接收控制同步方法的工作流程图,包括:

步骤S501,向多传感器数据同步电子设备发出中断信号;

步骤S502,接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

步骤S503,向协同处理器输出采集数据。

本发明应用于传感器电子设备中,例如IMU/GPS一体化的设备,如u-blox M8U。该传感器电子设备执行步骤S501,向多传感器数据同步电子设备发出中断信号,然后,步骤S502接收到多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号后,触发步骤S503向协同处理器输出采集数据。

本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。

实施例六

如图6所示为本发明第六实施例一种传感器接收控制同步方法的工作流程图,包括:

步骤S601,定时向多传感器数据同步电子设备发出中断信号;

步骤S602,接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

步骤S603,向协同处理器输出采集数据。

时间同步的其中一个核心问题是开始的时间对齐。本实施例通过使用本传感器,例如IMU/GPS来trigger另一传感器,例如摄像传感器Camera采样的方法进行,同时通过定时retrigger的方式来消除累计误差。譬如,采用1每秒脉冲数(Pulse Per Second,pps)的脉冲来控制Camera拍照,这个脉冲可以升频为更高的频率,让Camera拍照变为5HZ/10HZ等等。示例如图7所示,每经过1000ms发出一个中断信号TIMEPLUS。

本实施例通过定时发出中断信号的方式,从而消除累计误差。

实施例七

如图8所示为本发明一种传感器接收控制同步电子设备的硬件结构示意图,包括:

至少一个处理器801;以及,

与所述至少一个处理器801通信连接的存储器802;其中,

所述存储器802存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

向多传感器数据同步电子设备发出中断信号;

接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

向协同处理器输出采集数据。

电子设备优选为传感器,例如IMU/GPS一体化的设备,如u-blox M8U。图8中以一个处理器801为例。

电子设备还可以包括:输入装置803和显示装置804。

处理器801、存储器802、输入装置803及显示装置804可以通过总线或者其他方式连接,图中以通过总线连接为例。

存储器802作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的多传感器数据同步方法对应的程序指令/模块,例如,图5所示的方法流程。处理器801通过运行存储在存储器802中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述实施例中的传感器接收控制同步方法。

存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据传感器接收控制同步方法的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至执行传感器接收控制同步方法的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置803可接收输入的用户点击,以及产生与传感器接收控制同步方法的用户设置以及功能控制有关的信号输入。显示装置804可包括显示屏等显示设备。

在所述一个或者多个模块存储在所述存储器802中,当被所述一个或者多个处理器801运行时,执行上述任意方法实施例中的传感器接收控制同步方法。

本发明通过对传感器采用延时触发的方式,从而解决多种传感器之间的采样时间不同步的问题,实现多传感器之间的同步采样。

实施例八

本发明第八实施例一种传感器接收控制同步电子设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

定时向多传感器数据同步电子设备发出中断信号;

接收到所述多传感器数据同步电子设备在向摄像传感器发出第一采集信号后经过第一时延发出的第二采集信号,所述第一时延为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长;

向协同处理器输出采集数据。

本实施例通过定时发出中断信号的方式,从而消除累计误差。

实施例九

如图9所示为本发明最佳实施例的系统原理图,包括摄像传感器1、IMU/GPS一体化设备2、STM32微控制器3、以及SoC协同处理器4,其中:

1.IMU/GPS一体化设备2以10HZ的速率通过串口将IMU/GPS数据发送到SoC协同处理器4;

2.与此同时,IMU/GPS一体化设备2上的TimePulse管脚使用与IMU/GPS同源的时钟输出1pps的trigger信号。这个信号用来作为参考信号每秒对时间进行校准

3.STM32微控制器3对TimePulse输出的1HZ信号进行升频,变为10HZ的信号,输出的信号分成2路,彼此之间做适当延迟分别用来触发Camera摄像传感器1和IMU/GPS一体化设备2的外部中断(ExtInt)。需要注意的是,由于Camera曝光开始的时间和IMU/GPS解算并输出数据的时间都会有一定的延时,需要精确调节STM32的延时时长,从而确保Camera曝光的开始时间与后继的IMU/GPS输出的信号同步。需要指出,如果选用M8U,其IMU/GPS解算需要的时间约为75ms,因此,Camera的帧率不能太大,至少需要覆盖75ms的延迟以确保Camera拍照的时间与IMU/GPS输出的信号能够同步。譬如10fps。这样每帧之间间隔100ms,只要确保同步触发采样,100ms的时间足够输出同步的IMU/GPS数据和图像数据。此外,如果Camera与SoC之间采用BT656(一种视频信号传输标准)这样的输出,必然会涉及到串并转换。这样一来,如果输出的帧率较低,需要的PCLK(像素时钟)会很低,很容易无法匹配串并转换器件的工作频率,需要密切注意。举例来说,如果采用TI933这样的串并转换器件,其PCLK要求在37.5MHz至100MHz之间。720P的输出需要的像素时钟为1650*750*10*2=24.75Mhz,这样一来,就无法以10HZ的频率输出同步的拍照图片了。整体的工作时序图如图10所示(非精确时序,仅为示意图。重点在于说明在TimePulse/STM32的控制下,Camera和IMU/GPS可以做到精确同步输出数据)。

测试验证

测试的目的是为了验证最终能达到的同步精度。采用的方法是通过Camera拍摄示波器波形来进行验证。示波器的触发方式通过IMU/GPS设备产生的脉冲来进行。示波器根据本发明的方式进行延时,示波器产生的方波时长为曝光时长。根据拍摄到的示波器方波开始的位置,可以准确判断同步的精度。那么如果拍摄抓到开始的位置是trigger位置,那么说明IMU/GPS和Camera拍摄之间的时延为0,如果拍到开始的位置是波峰的中间,那么说明IMU/GPS和Camera图像采集之间的时延为波峰时长的一半。

本发明第十实施例提供一种存储介质,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如前所述的多传感器数据同步方法的所有步骤。

本发明第十一实施例提供一种存储介质,所述存储介质存储计算机指令,当计算机执行所述计算机指令时,用于执行如前所述的传感器接收控制同步方法的所有步骤。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

18页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种数据帧存储切换的装置及方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!