图像同步方法及装置、设备、计算机存储介质

文档序号:1909871 发布日期:2021-11-30 浏览:12次 >En<

阅读说明:本技术 图像同步方法及装置、设备、计算机存储介质 (Image synchronization method and device, equipment and computer storage medium ) 是由 吴佳成 孙栋梁 张帅 于 2021-09-26 设计创作,主要内容包括:本公开实施例提供一种图像同步方法及装置、设备、计算机存储介质,方法包括:获取由多个图像采集装置针对目标对象采集的多组候选图像和每一候选图像对应的时间参数;从每一组候选图像中分别选取一个候选图像作为待分析图像,并基于多个待分析图像构建成待分析图像组;响应于待分析图像的时间参数均满足预设同步条件,将待分析图像组确定为目标对象对应的一个同步图像组。(The embodiment of the disclosure provides an image synchronization method, an image synchronization device and a computer storage medium, wherein the method comprises the following steps: acquiring a plurality of groups of candidate images acquired by a plurality of image acquisition devices aiming at a target object and a time parameter corresponding to each candidate image; respectively selecting one candidate image from each group of candidate images as an image to be analyzed, and constructing an image group to be analyzed based on a plurality of images to be analyzed; and determining the image group to be analyzed as a synchronous image group corresponding to the target object in response to that the time parameters of the images to be analyzed all meet the preset synchronous condition.)

图像同步方法及装置、设备、计算机存储介质

相关申请的交叉引用

本申请要求在2021年9月16日提交新加坡知识产权局、申请号为10202110230T的新加坡专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

本公开涉及智能视频分析领域,尤其涉及一种图像同步方法及装置、设备、计算机存储介质。

背景技术

目前,在特定场景下,如现场直播以及桌游场景,常利用设置于不同角度方向的多台相机协同处理,即触发多台相机对相同的目标对象以不同角度进行拍摄,返回多张图片,然后通过对多张图片进行信息分析以及信息融合以使看到的目标对象更加符合人脸视觉的真实直观世界。如此,多台相机便需要遵循严格的帧同步要求。

然而,由于存在因网络传输或者相机本身硬件导致的时间误差问题,多台相机返回的多张图像可能并不是帧同步的。

发明内容

本公开实施例提供一种图像同步方法及装置、设备、计算机存储介质。

本公开实施例的技术方案是这样实现的:

本公开实施例提供一种图像同步方法,所述方法包括:

获取由多个图像采集装置针对目标对象采集的多组候选图像和每一所述候选图像对应的时间参数;其中,每一所述图像采集装置对应所述多组候选图像中的一组候选图像,每一组候选图像包括至少一个所述候选图像;从所述每一组候选图像中分别选取一个所述候选图像作为待分析图像,并基于多个所述待分析图像构建成待分析图像组;响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组。

这样,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,可以对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组按照时间参数进行同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。

在一些实施例中,所述方法还包括:向所述多个图像采集装置同步发送图像采集触发信号;在接收到任一所述图像采集装置返回的、响应所述图像采集触发信号采集的所述候选图像时,记录所述候选图像对应的所述时间参数;按照所述时间参数排序的先后顺序,将所述候选图像和所述时间参数以对应关系缓存至任一图像缓存队列,以构建任一组候选图像;其中,每一所述图像采集装置对应一个图像缓存队列。

在一些实施例中,所述向所述多个图像采集装置同步发送图像采集触发信号,包括:获取每一所述图像采集装置对应的预设帧频率,并基于多个预设帧频率确定信号发射频率;其中,所述信号发射频率小于或等于任一所述预设帧频率;按照所述信号发射频率分别向所述多个图像采集装置同步发送所述图像采集触发信号。

这样,根据图像采集装置的帧频率确定图像采集触发信号的发射频率,可以保证单位时间内获得更多的图像数据。

在一些实施例中,所述从所述每一组候选图像中分别选取一个所述候选图像作为待分析图像,包括:从每一个所述图像缓存队列缓存的一组候选图像中,分别选取所述时间参数排序最靠前的一张候选图像作为待分析图像,得到所述多个待分析图像。

在一些实施例中,所述基于多个所述待分析图像构建成待分析图像组之后,且所述响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组之前,所述方法还包括:将所述待分析图像组中所述时间参数排序最靠后的一张待分析图像确定为所述目标图像;计算所述目标图像对应的时间参数与所述待分析图像组中其他任一所述待分析图像对应的时间参数之间的时间差值;响应于所述时间差值均小于或者等于预设时间阈值,确定所述待分析图像的时间参数均满足预设同步条件。

这样,从待分析图像组中确定时间参数排序最新的作为目标图像,然后将其对应的时间参数与其他任一待分析图像对应的时间参数进行对比,进而在时间参数的差值均满足预设误差范围的情况下,确定出目标对象的一组帧同步图像。

在一些实施例中,所述计算所述目标图像对应的时间参数与所述待分析图像组中其他任一所述待分析图像对应的时间参数之间的时间差值之后,所述方法还包括:响应于所述目标图像对应的时间参数与所述待分析图像组中第一待分析图像对应的时间参数之间的时间差值大于所述预设时间阈值,对所述第一待分析图像进行丢弃;其中,所述第一待分析图像为所述待分析图像组中、除所述目标图像以外的其他任一待分析图像;从所述第一待分析图像所属的第一图像缓存队列中继续选取所述时间参数排序最靠前的第二待分析图像;基于所述第二待分析图像更新所述待分析图像组,继续基于更新后的待分析图像组执行所述目标图像的确定处理和所述预设同步条件的判断处理。

这样,在存在时间参数的差值不满足预设误差范围的待分析图像时,对该待分析图像进行丢弃,并从对应的图像缓存队列再获取时间参数最靠前的新的一张待分析图像以更新待分析图像组,并重复目标图像的确定和预设同步条件的判断处理,以进行图像帧同步的确定。

在一些实施例中,所述响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组之后,所述方法还包括:对所述同步图像组中的每一所述待分析图像进行预处理,得到满足预设模型输入条件的处理后的同步图像组;将所述处理后的同步图像组输入目标算法模型以进行图像分析处理。

在一些实施例中,所述响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组之后,所述方法还包括:继续基于每一所述图像缓存队列中时间参数最靠前的一张待分析图像构建下一个待分析图像组,以及执行所述目标对象对应的下一个同步图像组的确定处理。

在一些实施例中,所述多个图像采集装置相对设置于所述目标对象的多个角度方向;一个图像采集装置设置于一个角度方向。

本公开实施例提供一种图像同步装置,所述图像同步装置包括:

获取模块,配置为获取由多个图像采集装置针对目标对象采集的多组候选图像和每一所述候选图像对应的时间参数;其中,每一所述图像采集装置对应所述多组候选图像中的一组候选图像,每一组候选图像包括至少一个所述候选图像;

选取模块,配置为从所述每一组候选图像中分别选取一个所述候选图像作为待分析图像;

构建模块,配置为基于多个所述待分析图像构建待分析图像组;

确定模块,配置为响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组。

本公开实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现以上所述方法中的步骤。

本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现以上所述方法中的步骤。

本公开实施例提供一种图像同步方法、装置、设备及存储介质,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组进行时间参数的同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。可见,通过基于时间戳对多个相机的图像进行同步判断,确保了多个相机输出给算法做检测识别、信息融合的一组图像为同步的,满足严格的帧同步要求。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。

附图说明

图1为本公开实施例提供的图像同步方法的实现流程示意图一;

图2A为本公开实施例提供的图像同步方法的实现流程示意图二;

图2B为本公开实施例提出的图像同步方法的实现流程示意图三;

图3A为本公开实施例提供的图像同步方法的实现流程示意图四;

图3B为本公开实施例提供的图像同步方法的实现流程示意图五;

图4为本公开实施例提供的图像同步装置的结构组成示意图;

图5为本公开实施例提供的计算机设备的组成结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本公开,但不用来限制本公开的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的,不是旨在限制本公开。

对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释。

1)回调函数:是一个被作为参数传递的函数。回调字面上指的是让系统回过来调用我们指定好的函数。一个过程被存储用于以后在特定时间使用。

目前,在特定场景下,如现场直播以及桌游场景,常利用设置于不同角度方向的多台相机协同处理,即触发多台相机对相同的目标对象以不同角度进行拍摄,返回多张图片,然后通过对多张图片进行信息分析以及信息融合以使看到的目标对象更加符合人脸视觉的真实直观世界。如此,多台相机便需要遵循严格的帧同步要求。

然而,由于存在因网络传输或者相机本身硬件导致的时间误差问题,多台相机返回的多张图像可能并不是帧同步的。

本公开实施例提出了一种图像同步方法、及装置、设备、计算机存储介质,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组进行时间参数的同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。可见,通过基于时间戳对多个相机的图像进行同步判断,确保了多个相机输出给算法做检测识别、信息融合的一组图像为同步的,满足严格的帧同步要求。

本公开实施例提供一种图像同步方法,应用于计算机设备,所述计算机设备上部署有端到端的可视化模型生成平台,内嵌物体检测、图像分类等视觉领域常用的人工智能模型通用训练框架。

下面说明本公开实施例提供的图像同步装置的示例性应用,本公开实施例提供的图像同步装置包括但不限于计算机、笔记本电脑、平板电脑、多媒体设备、移动互联网设备或其他类型的设备,以及服务器、分布式计算节点等具有计算能力的设备。

其中,该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该计算机设备至少包括处理器和存储介质。

本公开实施例提供一种图像同步方法,图1为本公开实施例提出的图像同步方法的实现流程示意图一,如图1所示,执行图像同步的方法包括以下步骤:

步骤S101、获取由多个图像采集装置针对目标对象采集的多组候选图像和每一候选图像对应的时间参数;其中,每一图像采集装置对应多组候选图像中的一组候选图像,每一组候选图像包括至少一个候选图像。

在本公开实施例中,图像处理装置可以先获取由多个图像采集装置针对目标对象采集的多组候选图像以及每一帧候选图像对应的时间参数。

在一些实施例中,目标对象指当前场景(如桌游场景或者舞台场景)中的目标人物;图像采集装置可以是与图像同步装置独立的、用于对目标对象进行拍摄的装置,如摄像机。

这里,为了获取目标任务各个角度方向上的动作信息或者身体特征信息等,可以设置多个图像采集装置;其中,这多个图像采集装置分别相对设置于目标人物的各个角度方向,以实现针对当前场景下目标人物在各个角度方向上的动作信息以及身体特征信息的拍摄。

在一实施方式中,多个图像采集装置均与图像同步装置建立通信连接以进行信息交互;其中,各图像采集装置可以与图像同步装置均建立有线连接,也可以均建立无线连接,或者还可以多个图像采集装置中的一部分为有线连接,另外剩余一部分为无线连接。

示例性的,假设当前场景为一桌游场景,以图像同步装置为计算机设备,图像采集装置为摄像机为例,在该桌游的游戏平台区域的各个角度方向,包括上、下、前、后、左以及右等均设置有摄像机,这些摄像机与计算机位于同一局域网或者均连接于同一无线热点,可以与计算机进行信息交互,例如计算机可以发送指令给摄像机或者接收摄像机返回的针对目标人物采集的图像数据。

在一些实施例中,每一图像采集装置都有其对应的设备标识,图像同步装置可以按照设备标识将每一图像采集装置返回的图像分别进行存储,便获得多个图像采集装置对应的多组候选图像,换言之,每一图像采集装置对应一组候选图像。这里,每一组候选图像中包括至少一个候选图像。

在本公开实施例中,图像同步装置在接收多个图像采集装置针对目标对象采集的图像时,可以记录每一候选图像对应的时间参数,将候选图像和时间参数按照对应关系的形式进行存储。

其中,时间参数可以是图像同步装置在进行图像接收时记录的接受时间,时间参数还可以是图像采集装置进行图像采集时的采集时间,换言之,时间参数可以是候选图像的接收时间戳或者是采集时间戳,本申请对此不做具体限定。

需要说明的是,图像同步装置在执行本公开提出的图像同步方法时,获取到的候选图像以及对应的时间参数可以是实时获取的,即实时接收图像采集装置返回的候选图像,并实时记录的时间参数;也可以是离线的,即历史缓存的图像采集装置采集返回的图像和历史记录的对应的时间参数。

S102、从每一组候选图像中分别选取一个候选图像作为待分析图像,并基于多个待分析图像构建成待分析图像组。

在本公开实施例中,在获取由多个图像采集装置针对目标对象采集的多组候选图像和每一个候选图像对应的时间参数之后,可以基于每一组候选图像中的一张进行待分析图像组的构建。

在一些实施例中,可以从每一图像采集装置采集的每一组候选图像中选取一个候选图像作为待分析图像,进而基于这多张待分析图像构建待分析图像组。

其中,进行待分析图像的选取时,可以是按照时间参数的排序先后顺序进行选取的,即选取每一组候选图像中时间参数最靠前的一张候选图像作为待分析图像。

S103、响应于待分析图像的时间参数均满足预设同步条件,将待分析图像组确定为目标对象对应的一个同步图像组。

在本公开实施例中,在从每一组候选图像中进行待分析图像的选取并构建形成待分析图像组之后,便可以对待分析图像组中的待分析图像进行时间参数的同步判断。

在一些实施例中,图像同步装置可以预先设置图像同步条件,该同步条件指待分析图像组中的多个待分析图像是帧同步的。其中,可以通过时间参数来表征同步条件,换言之,时间参数满足一定条件便认为待分析图像为帧同步的。

在本公开实施例中,图像同步装置可以基于待分析图像组中的每一待分析图像对应的时间参数进行是否满足预设同步条件的判断,并且在多个待分析图像对应的时间参数均满足预设同步条件的情况下,确定该待分析图像组为同步图像组。这里,同步图像组中的多个图像之间是帧同步的。

可以理解的是,在获得目标图像的一个同步图像组之后,图像同步装置可以继续进行下一个同步图像组的确定处理。

其中,图像同步装置可以继续从每一图像采集装置采集的一组候选图像中、剩余的候选图像中分别选取一张候选图像作为下一轮的待分析图像,这里,可以按照时间参数排序的先后顺序从每一组剩余的候选图像中,继续选取时间参数排序最靠前的一张候选图像作为待分析图像,并基于多张待分析图像构建新的待分析图像组,然后继续进行待分析图像的时间参数是否满足预设同步条件的判断处理,直至获得目标对象的下一个同步图像组。

之后,重复上述S102和S103的图像同步方法,执行目标对象的下一个同步图像组的确定处理。

在一些实施例中,在本公开实施例中,图像同步装置在确定出目标对象的一个同步图像组之后,可以将该同步图像组输入后续算法模型进行信息分析以及信息融合等处理。

可以理解的是,不同的算法模型对图像输入格式有不同的需求,因此,在本公开实施例中,可以对同步图像组中的多张帧同步图像进行预处理,例如图像裁剪、图像格式转换等,得到满足算法模型输入要求的多张帧同步图像。进一步将满足算法输入要求且帧同步的同步图像组输入算法模型进行信息分析和信息融合。

可见,本公开实施例提供一种图像同步方法,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组进行时间参数的同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。可见,通过基于时间戳对多个相机的图像进行同步判断,确保了多个相机输出给算法做检测识别、信息融合的一组图像为同步的,满足严格的帧同步要求。

基于上述实施例,在本公开在一实施例中,图2A为本公开实施例提出的图像同步方法的实现流程示意图二,如图2A所示,执行图像同步的方法还包括:

S201、向多个图像采集装置同步发送图像采集触发信号。

在本公开实施例中,图像同步装置与多个图像采集装置是建立通信连接的,为了促进多个图像采集装置采集的图像能够实现帧同步,图像采集装置还可以在图像采集过程中实施一定的同步手段,如同步触发采集。

这里,同步触发采集可以是同步硬触发,如硬件开关同步开启触发同步采集;也可以是同步软触发,如同步发送图像采集触发信号。

其中,图像同步装置可以采用对多个图像采集装置同步发送图像采集触发信号的手段,来促使多个图像采集装置所采集的图像的帧同步。

在一些实施例中,为了保证图像帧同步的同时可以采集到更多的图像,图像同步装置可以基于图像采集装置的帧频率来确定图像采集触发信号的频率。

其中,图2B为本公开实施例提出的图像同步方法的实现流程示意图三,如图2B所示,在本公开实施例中,向多个图像采集装置同步发送图像采集触发信号的方法可以包括以下步骤:

S201a、获取每一图像采集装置对应的预设帧频率,并基于多个预设帧频率确定信号发射频率;其中,信号发射频率小于或等于任一预设帧频率。

S201b、按照信号发射频率分别向多个图像采集装置同步发送图像采集触发信号。

需要说明的是,在本公开实施例中,多个图像采集装置分别对应的帧频率可以是相同的,也可以是不同的。

在本公开实施例中,为了保证图像采集装置能够最大程度的进行图像采集,图像同步装置可以获取多个图像采集装置分别对应的帧频率,并基于多个帧频率中的最小帧频率来确定图像采集触发信号的发射频率。

在一实施方式中,如果多个图像采集装置分别对应的帧频率为相同的,那么可以将任一图像采集装置的帧频率的大小确定为图像采集触发信号发射频率的大小,这时,图像采集触发信号的发射频率达到了图像采集装置帧频率的最大值,进而在单位时间内,图像采集装置可以采集获得更多的图像数据。

在另一实施方式中,如果多个图像采集装置分别对应的帧频率为不同的,那么可以将图像采集装置中最小帧频率的大小确定为图像采集触发信号发射频率的大小,这时,图像采集触发信号的发射频率可以在保证图像良好有效采集的情况下达到了最大值。

这里,在确定出图像采集触发信号的发射频率之后,图像同步装置便可以按照该信号的发射频率同步相多个图像采集装置发送图像采集触发信号。

S202、在接收到任一图像采集装置返回的、响应图像采集触发信号采集的候选图像时,记录候选图像对应的时间参数。

在本公开实施例中,图像同步装置在向多个图像采集装置同步发送图像采集触发信号之后,每一图像采集装置便可以响应该触发信号进行针对目标对象的图像采集处理。

需要说明的是,由于存在因网络传输导致的图像采集触发信号没有同时到达图像采集装置,便可能使得多个图像采集装置没有实现同步图像采集;或者图像采集装置本身硬件上的一些缺陷,也可能使得多个图像采集装置没有实现同步图像采集。

在图像采集装置响应于图像采集触发信号进行针对目标对象的图像采集处理之后,图像同步装置便可以接收到图像采集装置返回的针对目标对象采集到的图像,即候选图像。

在一些实施例中,图像采集装置可以记录候选图像采集的时间,并将该候选图像以及对应的采集时间返回给图像同步装置,此时,图像同步装置可以记录该采集时间并将其确定为候选图像对应的时间参数。

可以理解的是,由于图像由各图像采集装置传输至图像同步装置的时间基本上是相同的,为了减轻图像采集装置侧的数据计算量,在本公开实施例中,图像同步装置可以在接收到多个图像采集装置中任一图像采集装置返回的任一候选图像时,对接收时间进行记录,并将该接收时间确定为任一候选图像对应的时间参数。

这里,由于图像由各图像采集装置传输至图像同步装置的时间基本上是相同的,不同图像之间采集时间的间隔可以很好的使用接收时间的间隔来表现,同时还可以减轻图像采集装置侧的数据计算量。

S203、按照时间参数排序的先后顺序,将候选图像和时间参数以对应关系缓存至任一图像缓存队列,以构建任一组候选图像;其中,每一图像采集装置对应一个图像缓存队列。

其中,在将每一候选图像对应的接收时间确定为候选图像对应的时间参数之后,可以建立每一候选图像和对应的时间参数的对应关系,并对该对应关系进行存储。

这里,每一图像采集装置都有其对应的设备标识,图像同步装置在进行采集图像的接收时,能够基于设备标识准确的确定出候选图像来自于哪一个图像采集装置。

在本公开实施例中,为了更好的对多图像采集装置采集的图像进行划分,图像同步装置可以为每一图像采集装置划分一个存储区域,用于存储该图像采集装置返回的候选图像和时间参数的对应关系。其中,每一存储区域可以采用图像采集装置的设备标识进行划分。

可以理解的是图像采集时间越晚,那么图像同步装置接收到返回图像的时间便更晚,为了更好的对图像采集时间或者接收时间进行规范,图像同步装置为每一图像采集装置设置一个图像缓存队列进行图像的存储。这里,每一图像缓存队列遵循先入先出的规则,按照时间参数排序的先后顺序对候选图像和时间参数的对应关系进行存储。

换言之,每一图像缓存队列用于存储每一图像采集装置在一个角度方向上对目标对象进行拍摄得到的一组候选图像。

在本公开实施例中,图像同步装置可以在相关代码的执行过程中引入回掉函数,回调函数的内容为记录图像接收时间戳,并将图像和时间戳以对应关系的形式存储对应的图像缓存队列。

这里,可以将该回调函数设置于对图像采集装置返回的候选图像进行接收的代码步骤之后。从而,每接收到任一图像采集装置返回的候选图像时,便可以通过该回调函数记录候选图像的接收时间,即候选图像对应的时间参数,并将该候选图像以及时间参数以对应关系的形式存储在该图像采集装置对应的图像缓存队列中。

可见,在本公开实施例中,根据图像采集装置的帧频率确定图像采集触发信号的发射频率,可以保证单位时间内获得更多的图像数据。

基于上述实施例,在本公开的再一实施例中,图3A为本公开实施例提出的图像同步方法的实现流程示意图四,如图3A所示,执行图像同步的方法可以包括以下步骤:

S301、从每一个图像缓存队列缓存的一组候选图像中,分别选取时间参数排序最靠前的一张候选图像作为待分析图像,得到多个待分析图像。

S302、将待分析图像组中时间参数排序最靠后的一张待分析图像确定为目标图像。

S303、计算目标图像对应的时间参数与待分析图像组中其他任一待分析图像对应的时间参数之间的时间差值。

S304、响应于时间差值均小于或者等于预设时间阈值,确定待分析图像的时间参数均满足预设同步条件。

在本公开实施例中,在进行多图像采集装置所采集的图像的帧同步判断的过程中,可以先从用于存储该图像采集装置候选图像的图像缓存队列中分别选取一张候选图像作为待分析图像。

可以理解的是,图像的处理分析都是按照图像采集时间的先后顺序执行的,这里,基于上述S201-S202的图像同步方法,中描述的图像缓存队列的图像缓存规则,可以分别从每一图像缓存队列中的一组候选图像中选取时间参数排序最靠前的一张候选图像作为待分析图像,并基于这多张待分析图像先构建一个待分析图像组。

接着,图像同步装置可以从待分析图像组中的多个待分析图像中确定出一个作为目标图像,然后基于该目标图像对应的时间参数与其他剩余任一待分析图像对应的时间参数之间的时间差值进行多张待分析图像帧同步的判断。

其中,目标图像可以是多张待分析图像中时间参数排序最靠后的一张待分析图像,换言之,图像同步装置接收到目标图像的时间最晚;目标图像也可以是多张待分析图像中时间参数排序最靠后的,或者时间参数排序位于中间的一张待分析图像,本申请对此不作具体限定。

在目标图像为多张待分析图像中时间参数排序最靠后的一张待分析图像的情况下,计算该目标图像对应的时间参数与其他每一个待分析图像对应的时间参数之间的时间差值,并基于每一个时间差值与预设时间阈值的比较结果确定每一个待分析图像对应的时间参数是否满足预设同步条件。

这里,预设时间阈值为图像同步装置预先设置的满足预设帧同步条件的时间参数之间的差值误差范围。其中,可以基于相机的帧率进行预设时间阈值的设置,如帧频率为10FPS的相机设置的预设时间阈值可以为20ms。

在目标图像对应的时间参数与其他每一个待分析图像对应的时间参数之间的时间差值均小于或者等于预设时间阈值的情况下,可以确定每一待分析图像对应的时间参数均满足预设同步条件,即多个待分析图像为帧同步,那么便可以将待分析图像组确定为同步图像组。

如此,在本公开实施例中,在进行多个图像采集装置采集的多张图像的帧同步的判断时,可以从每一缓存队列分别获取一个待分析图像构建待分析图像组,并从中确定时间参数排序最新的作为目标图像,然后将其对应的时间参数与其他任一待分析图像对应的时间参数进行对比,进而在时间参数的差值均满足预设误差范围的情况下,确定出目标对象的一组帧同步图像。

基于上述实施例,在本公开的再一实施例中,图3B为本公开实施例提出的图像同步方法的实现流程示意图五,如图3B所示,计算目标图像对应的时间参数与待分析图像组中其他任一待分析图像对应的时间参数之间的时间差值之后,即S303之后,执行图像同步的方法还可以包括以下步骤:

S305、响应于目标图像对应的时间参数与待分析图像组中第一待分析图像对应的时间参数之间的时间差值大于预设时间阈值,对第一待分析图像进行丢弃;其中,第一待分析图像为待分析图像组中、除目标图像以外的其他任一待分析图像。

S306、从第一待分析图像所属的第一图像缓存队列中继续选取时间参数排序最靠前的第二待分析图像。

S307、基于第二待分析图像更新待分析图像组,继续基于更新后的待分析图像组执行目标图像的确定处理和预设同步条件的判断处理。

在目标图像为多张待分析图像中时间参数排序最靠后的一张待分析图像的情况下,计算该目标图像对应的时间参数与其他每一个待分析图像对应的时间参数之间的时间差值,在存在待分析图像组中的其中一个或者多个待分析图像对应的时间参数与目标图像对应的时间参数之间的时间差值大于预设时间阈值的情况下,可以确定这其他一个或者多个待分析图像对应的时间参数不满足预设同步条件。

另外,剩余的与目标图像对应的时间参数之间的时间差值小于或者等于预设时间阈值的待分析图像,可以确定其满足预设同步条件。

这里,图像同步装置可以对确定出不满足预设同步条件的其他一个或者多个待分析图像进行丢弃,然后,从该不满足预设同步条件的待分析图像所属的图像缓存队列继续选取下一个候选图像作为待分析图像;其中,下一个待分析图像依然是所属的图像缓存队列中时间参数排序最靠前的。

在一些实施例中,可以基于新选取的待分析图像和上一轮满足预设帧同步的待分析图像以及上一轮中的目标图像更新待分析图像组,也就是重新构建出一个新的待分析图像组。其中,待分析图像中仍然包括从每一图像缓存队列的一组候选图像中分别选取的时间参数最靠前的一个候选图像。

在本公开实施例中,可以基于更新后的待分析图像组继续进行新的目标图像的确定处理以及基于待分析图像对应的时间参数执行的是否预设同步条件的判断处理。换言之,循环执行S302、S303以及S304的图像同步方法,或者循环执行步骤S302、S303、S305、S306以及S307的图像同步方法,以确定目标对象的同步图像组。

如此,在本公开实施例中,可以从待分析图像组中确定时间参数排序最新的作为目标图像,然后将其对应的时间参数与其他任一待分析图像对应的时间参数进行对比,在存在时间参数的差值不满足预设误差范围的待分析图像时,对该待分析图像进行丢弃,并从对应的图像缓存队列再获取时间参数最靠前的新的一张待分析图像以更新待分析图像组,并重复目标图像的确定和预设同步条件的判断处理,以进行图像帧同步的确定。

基于上述实施例,在本公开的再一实施例中,执行图像同步的方法可以包括以下步骤:

S401、获取多个图像采集装置中每一图像采集装置对应的预设帧频率,并基于多个预设帧频率确定信号发射频率;其中,信号发射频率小于或等于任一预设帧频率。

S402、按照信号发射频率分别向多个图像采集装置同步发送图像采集触发信号。

S403、在接收到任一图像采集装置返回的、响应图像采集触发信号采集的候选图像时,记录候选图像对应的时间参数。

S404、按照时间参数排序的先后顺序,将候选图像和时间参数以对应关系缓存至任一图像缓存队列,以构建任一组候选图像;其中,每一图像采集装置对应一个图像缓存队列。

S405、从每一个图像缓存队列缓存的一组候选图像中,分别选取时间参数排序最靠前的一张候选图像作为待分析图像,得到多个待分析图像,并基于多个待分析图像构建成待分析图像组。

S406、将待分析图像组中时间参数排序最靠后的一张待分析图像确定为目标图像。

S407、计算目标图像对应的时间参数与待分析图像组中其他任一待分析图像对应的时间参数之间的时间差值。

S408、判断时间差值是否均满足预设时间阈值;若满足,则执行步骤S409;若不是,跳转执行步骤S411。

S409、确定待分析图像的时间参数均满足预设同步条件,将待分析图像组确定为目标对象对应的一个同步图像组。

S410、对同步图像组中的每一待分析图像进行预处理,得到满足预设模型输入条件的处理后的同步图像组,并将处理后的同步图像组输入目标算法模型以进行图像分析处理。

S411、对时间参数与目标图像对应的时间参数之间的时间差值大于预设时间阈值的第一待分析图像进行丢弃;其中,第一待分析图像为待分析图像组中、除目标图像以外的其他任一待分析图像。

S412、从第一待分析图像所属的第一图像缓存队列中继续选取时间参数排序最靠前的第二待分析图像。

S413、基于第二待分析图像更新待分析图像组,循环执行S406至S413。

可见,基于S401至S412的图像同步方法,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,可以对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组按照时间参数进行同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。可见,通过基于时间戳对多个相机的图片帧进行同步判断,确保了多个相机输出给算法做检测识别、信息融合的一组图片帧为同步的,满足严格的帧同步要求。

本公开实施例提供一种图像同步装置,图4为本公开实施例提供的图像同步装置的结构组成示意图,如图4所示,所述图像同步装置400包括:

获取模块401,配置为获取由多个图像采集装置针对目标对象采集的多组候选图像和每一所述候选图像对应的时间参数;其中,每一所述图像采集装置对应所述多组候选图像中的一组候选图像,每一组候选图像包括至少一个所述候选图像;

选取模块402,配置为从所述每一组候选图像中分别选取一个所述候选图像作为待分析图像;

构建模块403,配置为基于多个所述待分析图像构建待分析图像组;

确定模块404,配置为响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组。

在一些实施例中,所述图像同步装置400还包括:发送模块405,配置为向所述多个图像采集装置同步发送图像采集触发信号。

在一些实施例中,记录模块406,配置为在接收到任一所述图像采集装置返回的、响应所述图像采集触发信号采集的所述候选图像时,记录所述候选图像对应的所述时间参数。

在一些实施例中,缓存模块407,配置为按照所述时间参数排序的先后顺序,将所述候选图像和所述时间参数以对应关系缓存至任一图像缓存队列,以构建任一组候选图像;其中,每一所述图像采集装置对应一个图像缓存队列。

在一些实施例中,发送模块405,具体配置为获取每一所述图像采集装置对应的预设帧频率,并基于多个预设帧频率确定信号发射频率;其中,所述信号发射频率小于或等于任一所述预设帧频率;以及按照所述信号发射频率分别向所述多个图像采集装置同步发送所述图像采集触发信号。

在一些实施例中,选取模块402,配置为从每一个所述图像缓存队列缓存的一组候选图像中,分别选取所述时间参数排序最靠前的一张候选图像作为待分析图像,得到所述多个待分析图像在一些实施例中。

在一些实施例中,确定模块404,还配置为在基于多个所述待分析图像构建成待分析图像组之后,且所述响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组之前,将所述待分析图像组中所述时间参数排序最靠后的一张待分析图像确定为所述目标图像。

在一些实施例中,计算模块408,配置为计算所述目标图像对应的时间参数与所述待分析图像组中其他任一所述待分析图像对应的时间参数之间的时间差值。

在一些实施例中,确定模块404,还配置为响应于所述时间差值均小于或者等于预设时间阈值,确定所述待分析图像的时间参数均满足预设同步条件。

在一些实施例中,丢弃模块409,配置为计算所述目标图像对应的时间参数与所述待分析图像组中其他任一所述待分析图像对应的时间参数之间的时间差值之后,响应于所述目标图像对应的时间参数与所述待分析图像组中第一待分析图像对应的时间参数之间的时间差值大于所述预设时间阈值,对所述第一待分析图像进行丢弃;其中,所述第一待分析图像为所述待分析图像组中、除所述目标图像以外的其他任一待分析图像。

在一些实施例中,选取模块402,还配置为从所述第一待分析图像所属的第一图像缓存队列中继续选取所述时间参数排序最靠前的第二待分析图像。

在一些实施例中,更新模块410,配置为基于所述第二待分析图像更新所述待分析图像组,继续基于更新后的待分析图像组执行所述目标图像的确定处理和所述预设同步条件的判断处理。

在一些实施例中,预处理模块411,配置为对所述同步图像组中的每一所述待分析图像进行预处理,得到满足预设模型输入条件的处理后的同步图像组。

在一些实施例中,输入模块412,配置为将所述处理后的同步图像组输入目标算法模型以进行图像分析处理。

在一些实施例中,构建模块403,还配置为继续基于每一所述图像缓存队列中时间参数最靠前的一张待分析图像构建下一个待分析图像组,以及执行所述目标对象对应的下一个同步图像组的确定处理。

在一些实施例中,所述多个图像采集装置相对设置于所述目标对象的多个角度方向;一个图像采集装置设置于一个角度方向。

需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。

需要说明的是,本公开实施例中,如果以软件功能模块的形式实现上述的图像同步方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、运动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本公开实施例不限制于任何特定的硬件和软件结合。

对应地,本公开实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现本公开实施例提供的图像同步方法中的步骤。

本公开实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像同步方法的步骤。

图5为本公开实施例提供的计算机设备的组成结构示意图,如图5所示,本公开实施例提出的计算机设备500还可以包括处理器501、存储有处理器501可执行指令的存储器502,进一步地,计算机设备500还可以包括通信接口503,和用于连接处理器501、存储器502以及通信接口503的总线504。

在本公开的实施例中,上述处理器501可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field Prog RAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。计算机设备500还可以包括存储器502,该存储器502可以与处理器501连接,其中,存储器502用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器502可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。

在本公开的实施例中,总线504用于连接通信接口503、处理器501以及存储器502以及这些器件之间的相互通信。

在本公开的实施例中,存储器502,用于存储指令和数据。

进一步地,在本公开的实施例中,上述处理器501用于执行上述图像同步方法,方法如下所示:

获取由多个图像采集装置针对目标对象采集的多组候选图像和每一所述候选图像对应的时间参数;其中,每一所述图像采集装置对应所述多组候选图像中的一组候选图像,每一组候选图像包括至少一个所述候选图像;

从所述每一组候选图像中分别选取一个所述候选图像作为待分析图像,并基于多个所述待分析图像构建成待分析图像组;

响应于所述待分析图像的时间参数均满足预设同步条件,将所述待分析图像组确定为所述目标对象对应的一个同步图像组。

在实际应用中,上述存储器502可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器501提供指令和数据。

另外,在本实施例中的各功能模块可以集成在一个推荐单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本公开实施例提供了一种图像同步装置,通过获取多个图像采集装置针对目标对象采集的多组候选图像以及每一候选图像对应的时间参数,可以对基于每个图像采集装置采集的一组候选图像中的一张候选图像构建的待分析图像组按照时间参数进行同步判断,直至确定出时间参数均满足预设同步条件的同步图像组。可见,通过基于时间戳对多个相机的图片帧进行同步判断,确保了多个相机输出给算法做检测识别、信息融合的一组图片帧为同步的,满足严格的帧。

本公开实施例提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上所述的图像同步方法。

具体来讲,本实施例中的一种图像同步方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种图像同步方法对应的程序指令被一电子设备读取或被执行时,实现上述图像同步方法。

相应地,本公开实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令用于实现本公开实施例提出的图像处理方法中的步骤。

本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述,仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。

23页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:图像冻结方法、芯片、拍摄装置、存储装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类