阅读说明：本技术 基于视觉度量的建筑外墙表面喷涂方法 (Building exterior wall surface spraying method based on visual measurement ) 是由 贺王鹏 陈志杰 廖楠楠 支云彭 李�诚 郭宝龙 于 2020-06-08 设计创作，主要内容包括：本发明涉及一种基于视觉度量的建筑外墙表面喷涂方法,具体含有以下步骤：1、选择一个标定好的CCD相机和一个测距仪；2、将相机和测距仪连接在建筑外墙喷涂机器人控制电路上；3、拍摄建筑外墙表面图像并测量相机到建筑外墙表面的距离；4、建筑外墙喷涂机器人根据相机到建筑外墙表面的距离值、相机焦距和建筑外墙表面图像的像面尺寸,计算出建筑外墙表面图像的实际尺寸；5、训练U-Net网络；6、将建筑外墙表面图像输入到U-Net网络,进行图像分割,划分出需进行喷涂的建筑外墙表面区域；7、对需喷涂的外墙表面区域进行喷涂；本发明处理速度快,计算量小,目标窗口轮廓测量精度高,很好地满足了实际施工需求。(The invention relates to a building outer wall surface spraying method based on visual measurement, which specifically comprises the following steps: 1. selecting a calibrated CCD camera and a distance meter; 2. connecting a camera and a range finder on a control circuit of a spraying robot for the outer wall of a building; 3. shooting an image of the surface of the outer wall of the building and measuring the distance from a camera to the surface of the outer wall of the building; 4. the building outer wall spraying robot calculates the actual size of the building outer wall surface image according to the distance value from the camera to the building outer wall surface, the camera focal length and the image surface size of the building outer wall surface image; 5. training a U-Net network; 6. inputting the surface image of the building outer wall into a U-Net network, carrying out image segmentation, and dividing a surface area of the building outer wall needing spraying; 7. spraying the surface area of the outer wall to be sprayed; the method has the advantages of high processing speed, small calculated amount and high measurement precision of the target window profile, and well meets the actual construction requirements.)

基于视觉度量的建筑外墙表面喷涂方法

(一)、技术领域：

本发明涉及一种建筑外墙表面喷涂方法，特别涉及一种基于视觉度量的建筑外墙表面喷涂方法。

(二)、背景技术：

社会经济的蓬勃发展特别是建筑业的快速发展，越来越多的建筑外墙立面需要喷涂粉刷，施工工人的工作量很大，而且处在高空施工，工人的人身安全得不到很好的保证。随着建筑技术的不断提高，各类智能高空作业机器人不断被应用到建筑业，有效地替代了人的工作，使得建筑行业成本大幅下降，并把工人从艰苦、繁重、高危的工作中解放出来。建筑外墙喷涂机器人的使用，可以使建筑外墙立面施工实现标准化、流程化，并提升建筑外墙立面的喷涂质量和作业效率。通常建筑外墙立面是需要进行喷涂的主要元素，而建筑外墙立面上会有窗户、阳台等较多的特殊表面，如何快速精确地判断该区域是否需要进行喷涂施工，自动准确测量该区域的形状和精确尺寸，以及喷涂质量是否达到预期，已成为制约喷涂机器人在建筑外墙立面大面积连续施工的瓶颈。

现有的喷涂机器人度量系统是基于机器视觉的对建筑物图像获取、图像识别以及色差检测，确定图像尺寸及图像中窗口尺寸在二维图像中可分解为对直线段的检测。

但在实际的施工中存在着许多问题，阻碍了喷涂过程的完全自动化：

(1)轮廓提取的限制性。只能提取特定形状的目标轮廓，无法处理边界较为复杂的目标，且提取的轮廓与实际目标边缘相比，存在较大的误检和漏检。

(2)目标轮廓尺寸测量局限性。对特定形状的目标轮廓测量精度较高，而对其它特殊的目标轮廓测量精度较低。

(3)对背景干扰较为敏感。当场景光线变化或是墙面存在较多噪点和杂斑时，易对边界检测精度和前景区域的识别造成影响。

(4)算法效率较低。基于像素的检测算法需对全局信息进行统计，大大增加了计算量，导致很难满足实际施工需求。

(三)、

发明内容

：

本发明要解决的技术问题是：提供一种基于视觉度量的建筑外墙表面喷涂方法，该方法处理速度快，计算量小，目标窗口轮廓测量精度高，很好地满足了实际施工需求。

本发明的技术方案：

一种基于视觉度量的建筑外墙表面喷涂方法，含有以下步骤：

步骤一、根据系统运行的环境选择一个CCD相机和一个测距仪，CCD相机要求成像品质好，灵活性高，对CCD相机进行相机标定，保证图像畸变最小化，为后续的尺寸测量做好准备；

步骤二、在建筑外墙喷涂机器人控制电路上设置图像信号输入接口和距离信号输入接口，CCD相机的信号输出接口与图像信号输入接口相连接，测距仪的信号输出接口与距离信号输入接口相连接，整合两个硬件设备，保证图像和距离数据的传输；

步骤三、建筑外墙喷涂机器人控制电路控制CCD相机拍摄建筑外墙表面，获得建筑外墙表面图像，建筑外墙喷涂机器人控制电路控制测距仪测量CCD相机到建筑外墙表面的距离，得到CCD相机到建筑外墙表面的距离值；

步骤四、在相机的非接触测量中，根据相机成像原理有对应的三角测量法，建筑外墙喷涂机器人控制电路根据CCD相机到建筑外墙表面的距离值、CCD相机焦距和建筑外墙表面图像的像面尺寸，利用三角形相似原理，或根据镜头视场角，计算出建筑外墙表面图像的实际尺寸；

步骤五、训练U-Net网络：建筑外墙喷涂机器人控制电路将Wireframe数据集和York数据集输入U-Net网络，进行网络学习，以提高U-Net网络对图像的检测性能和检测速度；U-Net网络作为一种U型对称深度卷积神经网络在图像分割中的效果十分显著，U-Net网络结构左右深度一般为4层，利用卷积和池化进行4次的压缩处理，再进行反卷积和反池化操作扩展特征图大小；利用该网络进行的直线段的检测精确度高但是速度较慢，外墙背景图信息较为简单，并且考虑U-Net网络在小样本下依旧能很好的运行，通过减小网络中编解码的次数克服原本网络的速度问题；实验结果证明，经过学习改进后的算法对所获取的简单图像具有较高的检测性能，并且测量误差能够满足对建筑外墙表面度量的需求；

步骤六、建筑外墙喷涂机器人控制电路将步骤三中获得的建筑外墙表面图像输入到训练好的U-Net网络，进行图像分割，划分出需进行喷涂的建筑外墙表面区域；

步骤七、建筑外墙喷涂机器人控制电路依照步骤四中计算出的建筑外墙表面图像的实际尺寸控制建筑外墙喷涂机器人对需进行喷涂的建筑外墙表面区域进行喷涂。

步骤七后，建筑外墙喷涂机器人控制电路再控制CCD相机对喷涂后的建筑外墙表面进行拍摄，获得喷涂后的建筑外墙表面图像，然后再使用超像素分割算法，对喷涂后的建筑外墙表面图像先在Lab颜色空间进行图像转换，再进行喷涂质量评价。

CCD相机为面阵式CCD相机，测距仪为相位激光测距仪。

图像信号输入接口和距离信号输入接口均为USB接口，建筑外墙喷涂机器人控制电路中含有中央处理器、信号转换模块、USB接口模块和电源模块，图像信号输入接口和距离信号输入接口通过USB接口模块与信号转换模块的输入口连接，信号转换模块的输出口与中央处理器连接，电源模块给中央处理器、信号转换模块和USB接口模块供电；电源模块的稳压电路设计保证了CCD相机和测距仪供电的需求，信号转换模块对相机和测距仪的多模信号进行融合。

USB接口模块采用GL850G芯片。

本发明的有益效果：

1、本发明由CCD相机获取待喷涂区域的色彩信息，由激光测距仪获取待喷涂区域的深度信息，并进行融合处理，结合全卷积神经网络U-Net对CCD相机获取的建筑外墙图像进行分割，确定图像中窗口边缘、窗口尺寸，及需要进行喷涂的建筑外墙表面区域，实现了非接触测量，系统处理速度快，计算量小，目标窗口轮廓测量精度高，很好地满足了实际施工需求。

2、本发明采用畸变较小的面阵式的CCD相机，测量前对相机进行标定，消除了相机的畸变对图像的影响，可用来获取高质量的图像；采用相位激光测距仪获取深度信息，测量距离短，且精度高达毫米级；经过训练的全卷积神经网络U-Net对直线段的检测性能强，速度快，这些都大大提高了系统对目标窗口轮廓尺寸的度量精度和检测速度。

3、本发明使用的LSD直线检测方法，把线段检测问题作为区域着色提取问题，通过U-Net网络进行图像语义分割提取直线，针对建筑外墙表面图像颜色单一且内部纹理较少的特点，对U-Net网络进行改进，为了提取图像的低维度信息，在原来的模型基础上提出一种浅层的U-Net网络模型，这样减少提取深度信息的卷积操作，也提升了网络检测的速率，为了增加低维度信息的占重比，增加网络中跳跃连接次数，经过训练后的网络可以更好提取外墙图像中的浅层信息。

4、本发明对喷涂质量的评价采用超像素分割算法，利用Lab颜色空间进行图像转换，喷涂质量和效果在Lab颜色空间相较于RGB更接近人类的颜色感知。

(四)、

具体实施方式

：

基于视觉度量的建筑外墙表面喷涂方法含有以下步骤：

步骤一、根据系统运行的环境选择一个面阵式CCD相机和一个相位激光测距仪，CCD相机镜头选择焦距为6mm的工业级镜头，CCD相机成像品质好，灵活性高，对CCD相机进行相机标定，保证图像畸变最小化，为后续的尺寸测量做好准备；

步骤二、在建筑外墙喷涂机器人控制电路上设置图像信号输入接口和距离信号输入接口，CCD相机的信号输出接口与图像信号输入接口相连接，测距仪的信号输出接口与距离信号输入接口相连接，整合两个硬件设备，保证图像和距离数据的传输；

步骤三、建筑外墙喷涂机器人控制电路控制CCD相机拍摄建筑外墙表面，获得建筑外墙表面图像，建筑外墙喷涂机器人控制电路控制测距仪测量CCD相机到建筑外墙表面的距离，得到CCD相机到建筑外墙表面的距离值；

步骤四、在相机的非接触测量中，根据相机成像原理有对应的三角测量法，建筑外墙喷涂机器人控制电路根据CCD相机到建筑外墙表面的距离值、CCD相机焦距和建筑外墙表面图像的像面尺寸，利用三角形相似原理，或根据镜头视场角，计算出建筑外墙表面图像的实际尺寸；

步骤五、训练U-Net网络：建筑外墙喷涂机器人控制电路将Wireframe数据集和York数据集输入U-Net网络，进行网络学习，以提高U-Net网络对图像的检测性能和检测速度；U-Net网络作为一种U型对称深度卷积神经网络在图像分割中的效果十分显著，U-Net网络结构左右深度一般为4层，利用卷积和池化进行4次的压缩处理，再进行反卷积和反池化操作扩展特征图大小；利用该网络进行的直线段的检测精确度高但是速度较慢，外墙背景图信息较为简单，并且考虑U-Net网络在小样本下依旧能很好的运行，通过减小网络中编解码的次数克服原本网络的速度问题；实验结果证明，经过学习改进后的算法对所获取的简单图像具有较高的检测性能，并且测量误差能够满足对建筑外墙表面度量的需求；

步骤六、建筑外墙喷涂机器人控制电路将步骤三中获得的建筑外墙表面图像输入到训练好的U-Net网络，进行图像分割，划分出需进行喷涂的建筑外墙表面区域；

步骤七、建筑外墙喷涂机器人控制电路依照步骤四中计算出的建筑外墙表面图像的实际尺寸控制建筑外墙喷涂机器人对需进行喷涂的建筑外墙表面区域进行喷涂。

步骤七后，建筑外墙喷涂机器人控制电路再控制CCD相机对喷涂后的建筑外墙表面进行拍摄，获得喷涂后的建筑外墙表面图像，然后再使用超像素分割算法，对喷涂后的建筑外墙表面图像先在Lab颜色空间进行图像转换，再进行喷涂质量评价。

图像信号输入接口和距离信号输入接口均为USB接口，建筑外墙喷涂机器人控制电路中含有中央处理器、信号转换模块、USB接口模块和电源模块，图像信号输入接口和距离信号输入接口通过USB接口模块与信号转换模块的输入口连接，信号转换模块的输出口与中央处理器连接，电源模块给中央处理器、信号转换模块和USB接口模块供电；电源模块的稳压电路设计保证了CCD相机和测距仪供电的需求，信号转换模块对相机和测距仪的多模信号进行融合。USB接口模块采用GL850G芯片。