一种复杂光照条件的多目图像采集、预处理系统及方法
阅读说明：本技术 一种复杂光照条件的多目图像采集、预处理系统及方法 (Multi-view image acquisition and preprocessing system and method under complex illumination condition ) 是由 王健 李清洵 居旻 吕琦 于 2019-10-18 设计创作，主要内容包括：本发明公开了一种复杂光照条件的多目图像采集、预处理系统及方法,用于在实际应用中实现对物体进行全方位多角度、复杂光照条件的图像信息的获取,并对获取的图像进行一系列的预处理优化,为后续应用提供有效的图像数据集。本图像采集系统由硬件部分和软件部分两块组成,硬件部分包括整个装置的箱体结构、图像采集模块、光照模块以及通信模块,软件部分包括硬件部分的通信连接和消息传递的实现。系统通过接收读取输入的命令,按照要求高效并且低难度地实现对物体的多目图像采集和存储。针对本采集系统提供了图像预处理的过程,能够高效处理和优化所采集的图像,便于后续更好地利用图像。(The invention discloses a multi-view image acquisition and preprocessing system and method under complex illumination conditions, which are used for acquiring image information of an object under the complex illumination conditions in all directions and at multiple angles in practical application, and performing a series of preprocessing optimization on the acquired image to provide an effective image data set for subsequent application. The image acquisition system consists of a hardware part and a software part, wherein the hardware part comprises a box body structure of the whole device, an image acquisition module, an illumination module and a communication module, and the software part comprises the communication connection of the hardware part and the realization of message transmission. The system efficiently acquires and stores the multi-purpose image of the object with low difficulty according to requirements by receiving a reading input command. The image preprocessing process is provided for the acquisition system, the acquired image can be efficiently processed and optimized, and the image can be better utilized subsequently.)
技术领域
本发明涉及图像检测技术领域，主要涉及一种复杂光照条件的多目图像采集、预处理系统及方法。
背景技术
随着计算机信息技术的飞速发展，机器视觉和图像处理等领域逐渐兴起。机器视觉技术是人工智能的一个分支，它是用机器代替人眼来对目标对象进行测量、采集和处理，模拟人的眼睛和大脑进行感知和识别的一门学科。机器视觉被应用于医学、军事等诸多领域中，发挥着越来越大的作用。
在工业各种应用中，自动化的图像获取采集是计算机视觉中数字化图像处理的第一步，所以研究和设计图像采集系统是所有视觉系统开发的基础，是不可或缺的一个重要组成部分。图像采集系统用于实现将物体的可视化图像和特征转化为能被计算机处理的数据。
目前已经有许多研究人员针对各种具体的应用场景提出了各种各样的图像采集系统并投入使用，但大多数系统都只是基于单目相机或双目相机来对物体进行采集，为实现全方位图像的获取，会加入机械结构辅助完成，这样会增大图像采集的物理实现难度，也会耗费更多的人力财力，造成效率低下。此外，许多现有的采集系统仅仅完成对图像的获取，在采集的同时完成对所获得图像的预处理以实现对图像集的初步优化，若所采集的图像集后续用于如缺陷检测等具有高精度要求的应用，可能会带来不必要的误差。
图像采集作为机器视觉的重要环节，研究出更佳的图像采集系统和预处理方法有很重要的意义。多目视觉检测技术是通过多个视觉传感器对同一个目标从不同的角度获取图像，并对所采集到的图像进行相应的匹配、拼接、融合、分割等处理操作，最终获得目标图像信息的一种图像处理技术。基于多目视觉的图像采集方案能够获得更丰富的图像数据和信息，提高了图像采集效率和精度，故而本发明采用多目视觉方法实现采集系统，并且在实际应用中用于实现对物体进行全方位多角度的图像信息的获取。
发明内容
发明目的：为了实现图像的多方位信息采集，本发明提供一种复杂光照条件的多目图像采集、预处理系统及方法，能够获取丰富的物体图像信息和更有效的图像结果，并且在一定的光照条件下，利用多目图像采集系统来实现对物体的三维多角度信息的获取，并对获取的图像进行优化处理。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种复杂光照条件的多目图像采集模块，包括采集箱体结构、图像采集模块、光照模块和通信模块；所述箱体结构内侧底部设有用于固定被测物体的卡槽；所述光照模块包括若干平行于长方体箱体棱边的条状光源；所述条状光源均匀分布与箱体结构内侧表面；所述图像采集模块包括若干分布于条状光源附近的相机模块；所述通信模块连接上位机与各相机模块的通信终端。
进一步地，所述相机模块的通信终端优选树莓派，通过分布式连接将若干树莓派通过中继树莓派连接至上位机服务器。
进一步地，所述通信终端基于Redis实现图像的分布式存储。
进一步地，所述相机模块选用数字摄像机。
一种利用上述复杂光照条件的多目图像采集模块的图像采集、预处理方法，包括如下步骤：
步骤1、根据采集时自动保存的目录信息，对不同角度下的相机模块所采集的图像能自动按照该角度的成像情况对物体成像边界进行最小矩形逼近并裁减，最大化减小无意义背景部分在图像中的占比，获取目标区域ROI；
步骤2、通过特征提取获得目标物体的几个边界点作为特征点，选定一张图片作为参考的基准图片，通过特征点的匹配，建立图像之间的数学变换模型，实现图像中物体的配准，完成矫正；
步骤3、计算并存储参考图像的亮度，并且以该参考图像的亮度为基准，自动对该光源条件下拍摄的所有图像进行图像增强，最终将这些图像的亮度调整至一致；
步骤4、对被拍摄物体进行前景检测；对各个相机模块分别进行无长条形物体放置时的大量图像采集，以实现背景建模；通过轮廓的检测和提取，实现对背景部分的单一颜色填充，去除背景的干扰；
步骤5、将经过上述处理后的图像，通过SIFT算法进行特征点的检测，进行特征点匹配、去除误匹配点对、建立图像之间的数学变换模型，从而实现图像的拼接，获取被采集物体的完整图像信息。
有益效果：
1、本发明中图像采集系统对图像的获取是立体、多方位的，一个图像采集相机模块只能获得一个角度的图像和有限的视野。
2、本发明对于图像的采集是高效的，由于通常情况下需要获取大量的图像用于其他用途，考虑到图像采集的效率问题，本发明采用多目相机对物体进行多角度的图像捕捉。
3、本发明中多目图像采集系统的各个相机模块，能够自动根据各自摄像头的安装位置、安装角度、拍摄时间、所拍摄物体的编号、以及每次拍摄时的光照条件对获取的图像自动进行目录分类保存，因此可以直观地根据保存目录和名称获得所有图像的具体采集信息，对后续图像处理提供极大的便利。
4、本发明降低了多角度图像采集的物理实现难度，能够降低成本，提高采集效率。另外，本发明具体的运作机制的实现依赖于Redis的发布/订阅模式，大幅提高了数据采集与存储的效率。图像经过预处理，很大程度降低了图像采集过程中可能产生的干扰或误差，提升了图像集的可利用性。
附图说明
图1为采集对象的几何结构及标号示意图
图2为图像采集系统的几何结构示意图
图3为图像采集系统通信模块结构图
图4为网桥连接结构图
图5为Redis数据库及订阅/发布结构示意图
图6为图像剪裁效果示意图
图7为图像配准效果示意图
图8为图像采集系统操作流程图
图9为图像采集流程图
图10为图像剪裁流程图
图11为图像配准矫正流程图
图12为图像亮度校准流程图
图13为图像背景检测和填充流程图
图14为图像拼接流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明应用图像采集系统对一种长条状的物体进行图像采集。该物体除去底部一共有5个面、4条侧棱和2条上侧棱，物体的几何结构如图1所示。利用本发明的图像采集系统能够实现对物体的这些棱和面的图像采集，如图2所示。包括采集箱体结构、图像采集模块、光照模块和通信模块；所述箱体结构内侧底部设有用于固定被测物体的卡槽；所述光照模块包括若干平行于长方体箱体棱边的条状光源；所述条状光源均匀分布与箱体结构内侧表面；所述图像采集模块包括若干分布于条状光源附近的相机模块；所述通信模块连接上位机与各相机模块的通信终端。
相机模块的数量、位置和角度根据目标对象的形状设置，具体来说，相机模块的设置原则为了获得无死角的获取观测对象的图像，实际相机的设置位置和数量受限于取决相机的视角和图像畸变情况，本系统一周设置8边形分布8个相机模块，每个相机模块负责60°视角内的图像。因此，对于本系统中测试对象是长方形和观察表面要求，设置了19个相机模块，对于其他观测物体的外形和尺寸，综合考虑采集模块的数量、位置和角度。考虑到本发明的采集系统需要实现图像传输的通信，19个相机模块的终端都选用树莓派来实现。树莓派体积小，成本低，具有采集图像的功能和通信功能，而且能够通过控制它的GPIO口的电位实现对LED光源的控制。
系统摄像头使用数字摄像头。由于本系统的传输距离比较短，数字摄像头能够直接处理数字信号，所以可在短距离传输的情况下实现更快的图像输出。
系统光源选择LED灯。在人工光源中，LED灯具有寿命长、成本低、计算机可控等优点，同时根据所需要采集图像的物体的几何特征，选择条形LED灯。当被拍摄物体与光源放置平行时，LED灯到达物体表面的光照强度是均匀的。对物体的各个面来说，它会接收到正面光、背面光和正斜光这三种光照角度。具体采集图像的时候，需要通过不断地调整和实验，确定最优的光照条件以获得最好的成像结果。
系统的通信模块如图3所示，通过对上位机的普通服务器机箱和19个树莓派的连接来实现的。考虑到树莓派只能通过USB或网口实现通信，而系统中所使用的树莓派数目很多，因此本系统选用4个能通过USB和网口两种方式通信的3B版本树莓派和15个只能通过USB通信的ZERO版本树莓派，通过3B版本实现ZERO版本和上位机服务器通信的中继作用，从而实现分布式系统的连接。
如图4-5所示，图像采集系统的软件部分为分布式系统。
(1)各个相机模块与上位机之间的通信控制通过网桥来实现。图4局部展示连接中的一个树莓派3B和与之相连的4个树莓派ZERO之间的网桥连接示意图。由于选用的树莓派都基于Linux操作系统，所以分布式系统的配置都要在Linux环境下完成。
(2)系统中图像的采集命令及图像传输基于Redis所实现，具体结构如图5。上位机维护一个消息频道channel，19个树莓派订阅这个频道，上位机通过该频道依循通信规约发布命令。在指定光源条件、需要完成拍摄的摄像头以及当前拍摄物体的编号后，所有的树莓派从频道中接收到消息后读取指令，并根据具体的要求完成相应光源条件的实现和图像的采集。上位机能够通过Redis的持久化机制从各分布式终端内获取图像。本发明能够实现对所采集图像按照拍摄的具体面或棱的编号以及拍摄角度进行分目录存储，并会标记具体的光照条件、拍摄时间、物体序号等信息，方便后续的预处理，极大提高了对所采集图像利用的效率。
利用上述图像采集系统实现图像采集、预处理的方法，主要包括以下步骤：
步骤1、根据采集时自动保存的目录信息，对不同角度下的相机模块所采集的图像能自动按照该角度的成像情况对物体成像边界进行最小矩形逼近并裁减，最大化减小无意义背景部分在图像中的占比，获取目标区域ROI；
步骤2、通过特征提取获得目标物体的几个边界点作为特征点，选定一张图片作为参考的基准图片，通过特征点的匹配，建立图像之间的数学变换模型，实现图像中物体的配准，完成矫正；
步骤3、计算并存储参考图像的亮度，并且以该参考图像的亮度为基准，自动对该光源条件下拍摄的所有图像进行图像增强，最终将这些图像的亮度调整至一致；
步骤4、对被拍摄物体进行前景检测；对各个相机模块分别进行无长条形物体放置时的大量图像采集，以实现背景建模；通过轮廓的检测和提取，实现对背景部分的单一颜色填充，去除背景的干扰；
步骤5、将经过上述处理后的图像，通过sift算法进行特征点的检测，进行特征点匹配、去除误匹配点对、建立图像之间的数学变换模型，从而实现图像的拼接，获取被采集物体的完整图像信息。
其中，步骤1具体获取目标区域ROI的方法如图6和图10：
(1)将图像采集系统各个模块搭建完备，并把待采集物体放置在卡槽内。
(2)完成Redis的配置，在上位机向频道中发送图像采集命令。发布/订阅消息机制所约定的发布命令的格式为”#+需要开启的LED灯编号+.+需要进行图像采集的树莓派编号#”。本发明中的采集系统箱体内已经对各LED灯和树莓派进行了编号标注，LED灯编号从A到L，树莓派编号从a到s。
(3)根据命令中的编号，系统自动按照要求完成图像的采集，并根据不同拍摄角度和拍摄位置对所采集到的物体图像统一命名并分目录存储。
图像采集系统的图像剪裁操作步骤如下：
分别对每个相机模块采集图像中的目标区域ROI进行定位。
提取目标区域ROI的顶点坐标。
批量对各相机模块采集的图像按照对应的ROI坐标进行剪裁并保存。
步骤2中图像配准、矫正步骤如图7和图11：
(1)对于各角度下采集的图像，分别任选一张作为基准参考图像。
(2)提取图像的特征点(比如SIFT特征等)，获得图像中外形、轮廓、ROI区域的特征点。
(3)建立各图像与参考图像之间配对特征点的相互关联。
(4)根据配对特征点完成图像的配准，实现图像矫正。
步骤3中图像亮度校准步骤如图12：
(1)对于各光照条件下采集的图像，分别任选一张作为基准参考图像。
(2)计算参考图像的亮度值。
(3)通过图像增强，以参考图像的亮度为基准，将对应光照条件下采集的所有图像的亮度调至一致。
步骤4中图像背景检测和填充部分操作步骤如图13：
(1)图像采集系统中不放置目标物体。
(2)每个相机模块在各指定光照条件下对采集系统背景进行多张图像的获取，对图像各像素点实现背景建模，构造背景模型。
(3)对采集图像的每个像素采样值与背景的对应位置进行匹配，实现前景检测，获得图像中的被采集物体和背景。
(4)对背景进行图像处理，实现单一色彩填充。
步骤5中多图像拼接操作步骤如图14：
(1)经由上述步骤处理之后，针对某一物体在某一指定光源条件下所采集到的多目图像，利用SIFT算法进行特征点的检测。
(2)对不同角度采集的图像中提取的特征点进行匹配，确定图像之间的位置关系，获取图像之间相互匹配的特征点对。
(3)再通过RANSAC将特征点对中的误匹配点对进行去除。
(4)根据特征对应关系建立图像之间的数学变换模型，完成坐标变换。
(5)实现融合待拼接图像区域，完成图像的拼接，从而获取被采集物体的完整图像信息。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。