基于事件相机的高速结构光三维重建系统及重建方法

文档序号:87724 发布日期:2021-10-08 浏览:24次 >En<

阅读说明:本技术 基于事件相机的高速结构光三维重建系统及重建方法 (High-speed structured light three-dimensional reconstruction system and reconstruction method based on event camera ) 是由 张越一 熊志伟 黄雪岩 于 2021-06-09 设计创作,主要内容包括:本发明提供了一种基于事件相机的高速结构光三维重建方法,所述三维重建方法包括:产生随机散斑,通过投影仪将所述随机散斑投影到目标物体表面经反射后触发事件,产生事件流;对于事件相机接收到的所述事件流,采用自适应事件帧提取算法,将事件流转化为图片帧的形式;将包含目标物体的数据提取的事件帧作为形变帧;将另一组不包含目标物体的数据提取的事件帧作为参考帧,计算所述参考帧和所述形变帧之间的像素偏移;通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体的三维点云,完成三维重建。(The invention provides a high-speed structured light three-dimensional reconstruction method based on an event camera, which comprises the following steps: generating random speckles, projecting the random speckles to the surface of a target object through a projector, triggering an event after reflection, and generating an event stream; for the event stream received by the event camera, converting the event stream into a picture frame form by adopting a self-adaptive event frame extraction algorithm; taking an event frame containing data extraction of a target object as a deformation frame; taking another group of event frames which do not contain data extraction of the target object as reference frames, and calculating pixel offset between the reference frames and the deformation frames; and triangularizing the spatial positions of the event camera and the projector by combining the offset to obtain a three-dimensional point cloud of the object, and finishing three-dimensional reconstruction.)

基于事件相机的高速结构光三维重建系统及重建方法

技术领域

本发明涉及计算机图像处理领域,尤其涉及一种基于事件相机的高速 结构光三维重建系统及重建方法。

背景技术

结构光系统通常由投影仪和相机组成,通过投影仪投射含有特定结构 信息的图片模板到物体表面,再由相机同步采集相应的图片。通过对比原 始图片模板与经过物体反射而产生偏移的图片模板,从而计算出物体的位 置和深度信息。传统结构光系统受限于相机的有限传输带宽(扫描速度通 常为每秒30帧到60帧),远远达不到高速三维测量的要求。而利用了高 速相机的结构光系统虽然能达到高速测量的效果,但是其昂贵的价格和高 功耗的缺点也往往令人诟病。

发明内容

有鉴于此,本发明的主要目的在于提供一种基于事件相机的高速结构 光三维重建系统及重建方法,以期部分地解决上述技术问题中的至少之一。

为了实现上述目的,作为本发明的一方面,提供了一种基于事件相机 的高速结构光三维重建方法,所述三维重建方法包括:

产生随机散斑,通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件,产生事件流;

对于事件相机接收到的所述事件流,采用自适应事件帧提取算法,将 事件流转化为图片帧的形式;

将包含目标物体的数据提取的事件帧作为形变帧;将另一组不包含目 标物体的数据提取的事件帧作为参考帧,计算所述参考帧和所述形变帧之 间的像素偏移;

通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云,完成三维重建。

其中,所述事件相机和所述投影仪在使用前需要进行标定。

其中,所述事件相机将事件以事件流的形式存储为二进制文件,其中, 所述事件相机的工作频率为100MHz。

其中,所述参考帧和所述形变帧之间的像素偏移是通过数字图像相关 算法计算得到的。

其中,所述触发事件的关键是在每个投影周期中加入一定比例的非投 影时间,即通过固定频率地开启和关闭投影仪的控制开关,使物体表面产 生亮暗变化,从而触发事件。

其中,所述自适应事件帧提取算法以行为单位,统计事件流中相邻且 行数相同的事件数,当某一行事件数大于给定阈值时,设此行数的时间戳 为初始扫描时间tbegin,行数为r。然后接着扫描直到当前扫描的行数大于r, 记录此时的行时间戳tend。将所有时间戳在范围[tbegin,tend)内的事件进行提取 并转换成图片帧的形式。

其中,所述自适应事件帧提取算法包括:依据事件的二维位置将对应 的像素点设为255,如果某个像素点没有对应的事件则设为0。

作为本发明的另一方面,提供了一种基于事件相机的高速结构光三维 重建系统,包括投影仪和事件相机。

其中,所述投影仪使用型号为德州电子TI-DLP6500的投影仪。

其中,所述事件相机使用型号为芯仑CeleX-V的事件相机。

基于上述技术方案可知,本发明的基于事件相机的高速结构光三维重 建系统及重建方法相对于现有技术至少具有如下有益效果的一部分:

本发明与其他基于事件相机的结构光系统相比,大大提高了系统的扫 描速度和精度,达到了1000fps的扫描速度,在一米的距离上,三维重建 精度为0.27mm。

附图说明

图1为本发明实施例提供的基于事件相机的高速结构光三维重建方法 的流程图。

具体实施方式

事件相机(Event Camera)是一种新型的仿视网膜机制的传感器,它能 响应局部的亮度变化,具有低延迟(1微秒)、高动态范围(140dB)、低 功耗(1mW)等优势。事件相机的这些特性十分适合应用到结构光领域。 然后事件相机独特的成像机制阻碍其进一步应用到结构光系统中。近几年, 国外出现了一些基于事件相机的结构光系统的相关研究:Brandli等人利用 激光以固定频率闪烁地投射到物体表面来触发事件,然后通过激光按行扫 描物体从而恢复物体的三维结果;Mangalore等人利用投影仪连续投影移 动条纹的方式来触发事件,该方法等效于并行地按线扫描。然而这些现有 的基于事件相机的结构光系统并没有利用到事件相机的低延时特性,他们 需要多次投影才能实现一次有效重建,这大大降低了结构光系统的扫描频 率。

本发明的目的在于搭建一套基于事件相机的高速结构光系统并从事 件相机产生的事件流中提取物体的三维信息。

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实 施例,并参照附图,对本发明作进一步的详细说明。

如图1所示,为基于事件相机的高速结构光三维重建方法的流程图。 该方法具体包括:

产生随机散斑,通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件,产生事件流;

对于事件相机接收到的所述事件流,采用自适应事件帧提取算法,将 事件流转化为图片帧的形式;

将包含目标物体的数据提取的事件帧作为形变帧;将另一组不包含目 标物体的数据提取的事件帧作为参考帧,计算所述参考帧和所述形变帧之 间的像素偏移;

通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云,完成三维重建。

在本发明进一步的实施例中,首先通过业界已有的算法产生随机散斑, 并通过投影仪高速投影该随机散斑到物体表面。其中触发事件的关键是在 每个投影周期中加入一定比例的非投影时间,即通过固定频率地开启和关 闭投影仪的控制开关,使物体表面产生亮暗变化,从而触发事件。

在本发明进一步的实施例中,对于接收到的事件流,本发明提出了一 种自适应事件帧提取算法,将事件流转化为图片帧的形式,便于利用图像 处理算法得到三维信息。由于事件相机容易受到外界噪声干扰,因此其输 出的事件分布往往带有随机性,因此无法利用传统结构光系统常用的触发 线来实现硬同步,而本发明的事件帧提取算法可以实现事件相机与投影仪 的软同步。该算法对事件流定义为Es,Es是事件e=(x,y,p,t)的集合,其中 (x,y)表示事件触发的二维平面坐标,t代表事件触发的时间戳,p表示触 发事件的极性。本算法以行为单位,统计事件流中相邻且行数相同的事件 数,当某一行事件数大于给定阈值th时,设此行数的时间戳为初始扫描时 间tbegin,行数为r。然后按事件的存储顺序扫描直到当前扫描的行数大于r, 记录此时的行时间戳tend。将所有时间戳在范围[tbegin,tend)内的事件进行提取 并转换成图片帧的形式。具体方法是依据事件的二维位置将对应的像素点 设为255,如果某个像素点没有对应的事件则设为0。该算法可以有效且 快速地将事件提取成事件帧,从而用于后续的三维信息提取算法。

在本发明进一步的实施例中,分别拍摄两组数据,其中一组不包含目 标物体,通过自适应事件帧提取算法提取的事件帧作为参考帧(reference frame),另一组包含目标物体,其提取的事件帧作为形变帧(deformation frame)。将这两个帧通过数字图像相关算法(Digital Image Correlation)计 算出它们之间的像素偏移。通过偏移量结合相机和投影仪的空间位置进行 三角化(triangulation)得到物体的三维点云。

通过上述技术方案,本系统实现了基于事件相机的高速结构光三维重 建,其中涉及到的具体实施参数将在后续的实施方法部分予以详细说明。

以大卫(David)石膏模型为例子,给出了实施方式和具体操作过程, 但本发明的保护范围不限于下述的实施例。

在本发明进一步的实施例中,本发明使用的事件相机型号为芯仑 CeleX-V事件相机,投影仪型号为德州电子TI-DLP6500。首先,需要对 相机和投影仪进行标定,由于事件相机可以输出灰度图片,因此可以按常 规相机的方法对本系统进行标定。其次,本实例的物体摆放位置为投影仪 正前方1米左右。随后,投影仪投影频率为每秒1000帧,投影的图片模板为块大小为8x8的随机散斑。投影的图片模板经过物体表面反射后会触 发事件,事件相机将事件以事件流的形式存储为二进制文件,其中事件相 机工作频率为100MHz。经过自适应事件帧提取算法软同步提取事件帧后, 经由传统数字图像相关算法得到参考帧和形变帧的像素偏移。为了更好地 评估像素的偏移量,本算法通过腐蚀和膨胀操作得到物体的感兴趣区域 (mask)。得到偏移量后,通过双目系统的三角化操作得到物体的三维点 云。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行 了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已, 并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、 等同替换、改进等,均应包含在本发明的保护范围之内。

6页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种产品及用户三维交互方法及交互设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!