一种单幅彩色条纹图动态三维测量方法及系统
阅读说明：本技术 一种单幅彩色条纹图动态三维测量方法及系统 (Dynamic three-dimensional measurement method and system for single color fringe pattern ) 是由 赵宏 朱倩 于 2021-08-17 设计创作，主要内容包括：本发明公开了一种单幅彩色条纹图动态三维测量方法及系统,所述方法包括：S1、投影三幅强度一致的红、绿、蓝均匀强度图；拍摄投影的均匀强度图,采集红、绿、蓝均匀强度图；S2、计算颜色通道间的耦合强度系数；S3、向待测物投影一幅彩色条纹图并拍摄彩色条纹图；S4、对彩色条纹图中三个通道的灰度条纹图去耦；S5、分解去耦后的彩色条纹图,得到三幅无背景的条纹图和三幅背景图；S6、用背景图求解调制度比值,得到色彩归一化的无背景的条纹图；S7、对色彩归一化的无背景的条纹图进行解调,求取的解调相位；S8、对解调相位解包裹,求取解包裹相位,重建三维形貌。本发明将三幅灰度条纹图编码在一幅彩色条纹图上,通过投影和解耦,得到满足相移法解调需求的灰度相移条纹图。(The invention discloses a dynamic three-dimensional measurement method and a system for a single color fringe pattern, wherein the method comprises the following steps: s1, projecting three uniform intensity maps with consistent intensity, namely red, green and blue; shooting a projected uniform intensity map, and collecting red, green and blue uniform intensity maps; s2, calculating the coupling intensity coefficient among the color channels; s3, projecting a color stripe image to the object to be measured and shooting the color stripe image; s4, decoupling the gray stripe images of the three channels in the color stripe image; s5, decomposing the decoupled color stripe image to obtain three background-free stripe images and three background images; s6, solving the modulation ratio by using the background image to obtain a color normalized background-free fringe image; s7, demodulating the color normalized background-free fringe pattern to obtain a demodulation phase; and S8, unwrapping the demodulation phase, solving the unwrapped phase, and reconstructing the three-dimensional shape. The invention codes three gray-scale fringe patterns on one color fringe pattern, and obtains the gray-scale phase shift fringe pattern meeting the demodulation requirement of a phase shift method through projection and decoupling.)
技术领域
本发明属于光学三维测量技术领域，具体涉及一种单幅彩色条纹图动态三维测量方法及系统。
背景技术
近几十年来，动态三维形貌测量技术被广泛的应用于各个领域，如工业检测、机器视觉和智能监控等。为了实现动态物体的三维形貌测量，通常采用多摄像机的立体视觉方法和条纹投影轮廓术。其中立体视觉由于存在立体匹配的不确定性使测量精度低，且多相机增加了测量成本。而条纹投影轮廓术具有非接触、全场、高精度等优点，因此得到了广泛的发展和应用。条纹投影轮廓术主要包含相位解调、相位解包裹和相位到高度的映射这三个流程。其中相位解调的精度对三维形貌测量结果具有决定性的意义，因此学者展开了大量的研究。
在相位解调方法中，最常用的两种方法是空域法和相移法。其中，空域法虽然只需一幅灰度条纹图就可提取相位，但当测量对象是表面复杂的物体时，该方法容易出现频谱混叠，导致相位提取错误；而相移法，由于对环境光不敏感、能够获得像素级相位点，且因为是用多幅灰度相移条纹图计算相位，因此解调精度高，但该方法要求灰度相移条纹图必须是在待测物静止状态下进行采集，这样才能够保证解调相位的精度。
随着各行各业的发展，对动态三维形貌测量的速度和精度要求越来越高，传统的三维形貌测量技术已经不能满足需求，因此需要研究一种动态、高精度的三维形貌测量技术，而在该技术中，关键性的问题就是如何快速、高精度的提取解调相位。考虑到现有的相位解调方法中空域法虽然只需拍摄一幅灰度条纹图就可以提取相位，但解调相位精度低，不适合测量表面复杂的物体；而相移法需要拍摄三幅以上的灰度条纹图才可以提取相位，限制了动态测量的速度和精度。因此，针对基于条纹投影轮廓术的动态三维形貌测量技术而言，目前缺乏一种测量精度和效率兼得的方法。
随着彩色相机的发展，它的优势在于具有三个通道，而传统的灰白相机只有一个通道，因此学者们将三幅灰度图编码在一幅彩色图中，通过投影采集一幅彩色图就可以得到三幅灰度图的信息，提高了测量效率。但在彩色相机的使用中，因为投影仪和相机的颜色响应不一致，不可避免的问题是三个通道之间的色彩耦合和不平衡，Peisen S.Huang和张宗华团队均投影采集三幅红绿蓝条纹图计算耦合系数(文献：Color-encoded digitalfringe projection technique for high-speed three-dimensional surfacecontouring和Time efficient color fringe projection system for3D shape andcolor using optimum 3-frequency Selection)，这种方法很好地实现去耦，但存在的问题是每次测量时都需要投影三幅红绿蓝条纹图，耗时且不具有适应性。对于色彩不平衡的校正，学者Pan等人投影采集三幅以上彩色条纹图，使用三幅图之间的数学关系计算出每个通道的条纹图背景项和调制度，然后进行三通道的色彩归一化校正(文献Color-encodeddigital fringe projection technique for high-speed 3-D shape measurement:color coupling and imbalance compensation)，该方法虽然归一化精度高，但需要投影采集的图片过多，不适合快速动态三维形貌测量。
发明内容
针对现有的动态三维形貌测量技术的测量速度和精度受到解调方法限制的问题，本发明目的在于提出一种速度和精度同时兼顾的解调相位方法及系统，以满足动态三维形貌测量的需求。本发明方法只需要投影采集一幅彩色条纹图就可提取相位，既保留了相移法的鲁棒性，又提高了测量效率，实现了动态三维形貌测量。
为达到上述目的，本发明所述一种单幅彩色条纹图动态三维测量方法，包括以下步骤：
S1、向标定白板投影三幅强度一致的红色均匀强度图绿色均匀强度图和蓝色均匀强度图拍摄投影的均匀强度图，采集到红色均匀强度图绿色均匀强度图和蓝色均匀强度图
S2、利用S1采集到的红色均匀强度图绿色均匀强度图和蓝色均匀强度图计算每个主颜色通道在其他两个通道的耦合强度系数；
S3、使用和S1相同的测量系统，向待测物投影一幅彩色条纹图Ip,其中，分别为彩色条纹图Ip中红色通道、绿色通道、蓝色通道上的灰度条纹图；同步拍摄彩色条纹图像，采集到一幅彩色条纹图Ic,其中，分别为彩色条纹图Ic中红色通道、绿色通道、蓝色通道上的灰度条纹图；
S4、利用耦合强度系数，对采集到的彩色条纹图Ic中三个通道的灰度条纹图分别去耦；
S5、对去耦后的彩色条纹图进行分解，输出三幅无背景的条纹图RIMF,GIMF,BIMF和三幅背景图RIMF1,GIMF1,BIMF1；
S6、用三幅背景图RIMF1,GIMF1,BIMF1，以其中一个通道为基准通道，求取另外两个通道分别对基准通道的调制度比值M1,M2；利用调制度比值M1,M2，对三幅无背景的条纹图RIMF,GIMF,BIMF进行色彩归一化，得到三幅幅值一致的灰度条纹图RIMF”,GIMF”,BIMF”；
S7、对灰度条纹图RIMF”,GIMF”,BIMF”进行解调，求取解调相位φ；
S8、对解调相位φ进行解包裹，求取解包裹相位，重建三维形貌。
进一步的，S1中，投影的均匀强度图的强度范围为120～220。
进一步的，S2中，通过不同通道之间的强度比值，计算每个主颜色通道在其他两个通道的耦合强度系数。
进一步的，S4中，去耦公式为：
其中，分别为去耦后的彩色条纹图中红色通道、绿色通道、蓝色通道的灰度条纹图；Krg,Krb分别为采集到的红色均匀强度图中，红色主颜色通道对绿色通道和蓝色通道的耦合强度系数；Kgr,Kgb分别为采集到的绿色均匀强度图中，绿色主颜色通道对红色通道和蓝色通道的耦合强度系数；Kbr,Kbg分别为采集到的蓝色均匀强度图中，蓝色主颜色通道对红色通道和绿色通道的耦合强度系数。
进一步的，S5中，使用EMD算法对去耦后的彩色条纹图进行分解。
进一步的，S6中，利用调制度比值对无背景的条纹图进行色彩归一化。
进一步的，S7中，利用三步相移法对三幅幅值一致的灰度条纹图RIMF”,GIMF”,BIMF”进行解调。
进一步的，S8中，利用质量图解包裹方法，对解调相位φ进行解包裹。
一种基于单幅彩色条纹图的动态三维形貌测量系统，包括彩色相机、投影仪和上位机；所述彩色相机和投影仪的输出端、输入端均与上位机连接，用于收发上位机的指令；所示投影仪用于向标定白板投影红色均匀强度图、绿色均匀强度图和蓝色均匀强度图，用于向待测物投影彩色条纹图；彩色相机用于拍摄标定用的投影的均匀强度图，以及被测物上的彩色条纹图的投影图像，并将拍摄的图像传递至上位机，上位机上存储有可在上位机上运行的计算程序，所述处理器执行所述计算程序时，对接收到的图像到进行相位解调。
与现有技术相比，本发明至少具有以下有益的技术效果：
1)本发明为动态三维形貌测量提供了新思路。传统的相移解调方法需要三幅以上的灰度相移条纹图才可实现，在相移条纹图采集期间，如果物体发生移动，将会影响解调精度，不能实现高精度的三维重建。本发明利用彩色相机具有三个通道的优势，将三幅灰度条纹图编码在一幅彩色条纹图上，通过单次投影采集和后续解耦，就可得到满足相移法解调需求的三幅灰度相移条纹图，保留了相移法的鲁棒性，测量结果不受物体运动的影响，实现了动态测量；
2)本发明利用经验模态分解(Empirical Mode Decomposition：EMD)算法从一幅彩色条纹图中提取到三幅背景图，进行调制度归一，实现了三幅条纹图的色彩归一化，与传统色彩归一化方法相比，将所需要的彩色图幅数从三幅降为一幅，更好地的满足了动态测量需求；
3)本发明与传统的颜色去耦方法相比，通过在白板上投影采集三幅红、绿、蓝、均匀强度图，预标定整个系统的耦合系数，对正式测量中采集到的彩色图直接去耦即可，不需要多次标定，提高了测量效率。
附图说明
图1为一种单幅彩色条纹图动态三维测量方法的流程示意图；
图2为预标定使用的三幅红绿蓝均匀图。其中Red、Green、Blue分别是采集到的三幅红绿蓝均匀图，R1、R2、R3，B1、B2、B3，C1、C2、C3为红绿蓝均匀图分解得到的单通道均匀图；
图3a为经过去耦后的红色通道条纹图；
图3b为对图3a中条纹图经过EMD分解后得到的无背景条纹图；
图3c为对图3a中条纹图经过EMD分解后得到的背景图；
图3d为图3a中白色实线对应的横截面；
图3e为图3b中白色实线对应的横截面；
图3f为图3c中白色实线对应的横截面；
图4a为三个通道中未进行色彩归一化的无背景条纹图第350列横截面；
图4b为三个通道中色彩归一化后的无背景条纹图第350列横截面；
图5a为单幅彩色条纹图解调相位结果；
图5b为图5a中白色实线的横截面；
图5c为图5b中解调相位与12步灰度相移法求取的解调相位横截面；
图5d为本发明得到的解调相位误差。
注：灰度条纹图相移步数越多，解调相位精度越高，因此本发明采用12步相移图得到的解调相位作为参考值，查看本发明方法的解调相位误差。
图6a为人脸解包裹相位图；
图6b为图6a的三维展示图；
图6c为图6a中AB实线对应的轮廓横截面，黑色方框内为部分轮廓放大图；
图6d为图6a中CD实线对应的轮廓横截面，黑色方框内为部分轮廓放大图；
注：图6c和图6d中“参考方法”是以12步相移法解调，多频解包裹方法得到的解包裹相位图的横截面，将本发明方法与参考方法作对比，两种方法的三维重建结果一致；
图7为测量系统示意图。
附图中，1-彩色相机，2-投影仪，3-上位机，4-待测物。
具体实施方式
为了使本发明的目的和技术方案更加清晰和便于理解。以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1，一种单幅彩色条纹图动态三维测量方法，包括以下步骤：
步骤一：使用投影仪2分别向标定白板投影三幅强度一致的红色均匀强度图绿色均匀强度图和蓝色均匀强度图强度范围为120～220(依据不同相机的强度线性范围而定)，通过彩色相机1拍摄投影的均匀强度图，采集到红色均匀强度图绿色均匀强度图和蓝色均匀强度图图2分别是采集到的三幅红、绿、蓝均匀强度图及其分解为单通道的均匀图。例如红色均匀强度图各个通道的强度值，观察强度值可得，R1是主颜色通道，强度值最大；R2是R1在绿色通道的耦合强度值，与红色通道相邻，因此耦合的强度值较大；而R3是R1在蓝色通道的耦合强度值，与红色通道不相邻，因此耦合的强度值最小(几乎为0)；本发明所用的测量系统如图7所示。
注：在本发明中，投影采集的图片都具有红、绿、蓝三个通道。
投影的红、绿、蓝均匀强度图公式分别如下：
其中，为投影的红色均匀图中的红色通道、绿色通道、蓝色通道上的均匀强度图；
为投影的绿色均匀图中的红色通道、绿色通道、蓝色通道上的均匀强度图；
为投影的蓝色均匀图中的红色通道、绿色通道、蓝色通道上的均匀强度图。
实际采集的红、绿、蓝均匀强度图公式分别如下：
其中，为采集的红色均匀图中的的红色通道、绿色通道、蓝色通道上的均匀强度图；
为采集的绿色均匀图中的的红色通道、绿色通道、蓝色通道上的均匀强度图；
为采集的蓝色均匀图中的的红色通道、绿色通道、蓝色通道上的均匀强度图。
步骤二：利用步骤一采集到的红色均匀强度图绿色均匀强度图和蓝色均匀强度图通过不同通道之间的强度比值，计算每个主颜色通道在其他两个通道的耦合强度系数：
其中，Krg,Krb分别为采集到的红色均匀强度图中，红色主颜色通道对绿色通道和蓝色通道的耦合强度系数；Kgr,Kgb分别为采集到的绿色均匀强度图中，绿色主颜色通道对红色通道和蓝色通道的耦合强度系数；Kbr,Kbg分别为采集到的蓝色均匀强度图中，蓝色主颜色通道对红色通道和绿色通道的耦合强度系数。
步骤三：使用步骤一中的测量系统，由投影仪2向待测物4投影一幅彩色条纹图Ip,其中，分别为彩色条纹图Ip中红色通道、绿色通道、蓝色通道上的灰度条纹图；通过彩色相机1同步拍摄彩色条纹图像，采集到一幅彩色条纹图Ic,其中，分别为彩色条纹图Ic中红色通道、绿色通道、蓝色通道上的灰度条纹图。具体如下式所示：
投影的彩色条纹图Ip三个通道的灰度条纹图分别为：
采集的彩色条纹图Ic三个通道的灰度条纹图分别为：
其中，分别为的背景项，分别为的调制度；分别的背景项，分别为的调制度，φ是包裹相位。
步骤四：利用步骤二求得的耦合强度系数Krg,Krb,Kgr,Kgb,Kbr,Kbg，对步骤三中采集到的彩色条纹图中三个通道的灰度条纹图分别去耦，计算公式为：
其中，分别为去耦后的彩色条纹图中红色通道、绿色通道、蓝色通道的灰度条纹图，是的背景项，是的调制度。首先对进行去耦校正，得到然后使用已校正的强度对进行去耦，得到最后使用已校正的强度和对进行去耦，得到本步骤的去耦校正思想是使用已经校正的通道强度对其他通道进行去耦校正，去耦效果更优。
步骤五：使用EMD算法对去耦后的彩色条纹图进行分解，输出三幅无背景的条纹图和三幅背景图，如下表示：
其中，RIMF对应高频项GIMF对应高频项BIMF对应高频项RIMF1对应低频项(即背景项)GIMF1对应低频项(即背景项)BIMF1对应低频项(即背景项)
图3a至图3f展示了对人脸模型的三维测量过程中，去耦后的彩色条纹图中红色通道图像经过EMD分解为一幅条纹图RIMF(高频项)和一幅背景图RIMF1(低频项)，从图3e和图3f中可以看出经过EMD分解后高频项和低频项完全分离，为下一步色彩归一化做准备；
步骤六：使用步骤五得到的三幅背景图RIMF1,GIMF1,BIMF1，以蓝色通道为基准，求取红色通道、绿色通道分别对蓝色通道的背景图调制度比值M1,M2，如下式所示：
其中corr1,corr2,corr3,corr4均为调制因子，取值范围为-5～5，用以保证三幅无背景的条纹图得到归一化程度更好。(x,y)是背景图的像素点坐标，RIMF1(x,y)是RIMF1坐标为(x,y)时的像素点强度值，RIMF2(x,y)是RIMF2坐标为(x,y)时的像素点强度值，RIMF3(x,y)是RIMF3坐标为(x,y)时的像素点强度值，M1(x,y)是M1坐标为(x,y)时的数值，M2(x,y)是M2坐标为(x,y)时的数值。
得到调制度比值后，对步骤五中的三幅无背景的条纹图RIMF,GIMF,BIMF进行色彩归一化，得到三幅幅值一致的灰度条纹图RIMF”,GIMF”,BIMF”，色彩归一化公式如下：
RIMF”＝RIMF/M1
GIMF”＝GIMF/M2
RIMF”＝BIMF
同样地，本步骤也可以分别以绿色通道和红色通道为基准进行色彩归一化。例如以绿色通道为基准时，求取红色通道、蓝色通道分别对红色通道的背景图调制度比值M1,M2，如下式所示：
则色彩归一化公式变为：
RIMF”＝RIMF/M1
GIMF”＝GIMF
RIMF”＝BIMF/M2
以红色通道为基准时，求取绿色通道、蓝色通道分别对蓝色通道的背景图调制度比值M1,M2，如下式所示：
则色彩归一化公式变为：
RIMF”＝RIMF
GIMF”＝GIMF/M1
RIMF”＝BIMF/M2
本步骤无论以红、绿、蓝哪个通道作为基准进行色彩归一化，均能得到调制度一致的三幅条纹图，也就是将三幅条纹图进行了色彩归一化。图4a和图4b所示是色彩归一化前后的条纹图，从图中可以看出经过色彩归一化处理后，三幅条纹图的幅值一致，满足了后续相移法解调的要求。
步骤七：利用三步相移法，对步骤六中得到的三幅幅值一致的灰度条纹图RIMF”,GIMF”,BIMF”进行解调，求取的解调相位及其相位误差如图5a至图5d所示，解调相位φ的求解公式如下式所示：
图5a为本发明方法得到的人脸模型解调相位图，图5b是图5a中白色实线对应的解调相位，可以看到求出的相位幅值在(-π,π)之间。由于相移法解调中，相移步数越多，解调精度越高，因此将12步相移解调法作为参考，评价本发明方法的解调相位误差。图5c是本发明方法和12步相移法解调得到的解调相位的截面图，图5d是将图5c中两种方法得到的解调相位做差得到的相位误差，可以看到本发明方法误差在0.06rad之内，满足高精度测量和后续解包裹的要求。
步骤八：利用质量图解包裹方法，对步骤七得到的解调相位φ进行解包裹，求取解包裹相位，重建三维形貌，如图6a和6b所示。在条纹投影轮廓术中，由于12步相移法解调，多频法解包得到的解包裹相位精度高，因此将其作为参考值，去对比本发明方法的精度，图6c和图6d实验结果表明本发明方法得到的解包裹相位与参考方法得到的解包裹相位一致，能够很好地重建三维形貌。
参照图7，一种基于单幅彩色条纹图的动态三维形貌测量系统，包括彩色相机1、投影仪2和上位机3，彩色相机1和投影仪2的输出端、输入端均与上位机连接，用于收发上位机的指令。投影仪2用于向标定白板投影红色均匀强度图、绿色均匀强度图和蓝色均匀强度图，用于向待测物4投影一幅彩色条纹图；彩色相机1用于拍摄标定用的投影的均匀强度图，以及被测物上的彩色条纹图的投影图像，并将拍摄的图像传递至上位机，上位机上存储有可在上位机上运行的计算程序，所述处理器执行所述计算程序时，实现上述的相位解调方法的步骤，根据接收到的图像计算其解调相位φ，并根据解调相位φ进行解包裹，求取解包裹相位，重建三维形貌。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述上位机可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述上位机可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
本发明所公开方法为动态三维形貌测量提供了新的思路。所提方法主要包含两大步，第一步为预标定环节，由于色彩耦合主要是由测量系统的光学特性及器件引起的，因此可以通过步骤一和步骤二预标定得到耦合强度系数，为正式测量中图像去耦做准备。第二步为正式测量环节，采用同一测量系统，采集一幅彩色条纹图，使用预标定环节得到的耦合强度系数进行去耦校正得到无耦合的彩色条纹图，之后经过EMD分解及色彩归一化，得到三幅无背景的、调制度一致的灰度相移条纹图，满足了三步相移解调法的要求，通过三步相移解调法就可以得到高精度的解调相位。本发明的优势在于通过投影采集一幅彩色条纹图提取高精度的解调相位，由于是使用单帧采集的图片提取相位，物体的运动速度对相位的精度无任何影响，因此本发明方法可以应用在动态物体三维形貌测量中。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：角度检测装置