基于条纹图像转换网络FPTNet的动态高精度三维测量方法
阅读说明：本技术 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 (Dynamic high-precision three-dimensional measurement method based on fringe image conversion network FPTNet ) 是由 郑东亮 韩静 柏连发 赵壮 于浩天 张钊 于 2020-09-28 设计创作，主要内容包括：本发明涉及基于条纹图像转换网络FPTNet的动态高精度三维测量方法,包括以下步骤：1.搭建条纹图像转换网络,2.条纹图像采集与参数标定,3.条纹图像转换,4.进行包裹相位和绝对相位计算,5.重建三维信息。本发明仅需投影单帧或两帧正弦条纹图像即可计算获得精确的绝对相位,从而得到准确的三维信息,精确测量动态物体的三维信息,有效避免了运动误差,提高了三维测量的速度与精度。(The invention relates to a dynamic high-precision three-dimensional measurement method based on a fringe image conversion network FPTNet, which comprises the following steps of: 1. and (2) establishing a stripe image conversion network, acquiring stripe images and calibrating parameters, 3. converting the stripe images, 4. calculating a wrapping phase and an absolute phase, and 5. reconstructing three-dimensional information. According to the invention, the accurate absolute phase can be calculated and obtained only by projecting a single frame or two frames of sine stripe images, so that accurate three-dimensional information is obtained, the three-dimensional information of the dynamic object is accurately measured, the motion error is effectively avoided, and the speed and the accuracy of three-dimensional measurement are improved.)
技术领域
本发明涉及基于条纹图像转换网络FPTNet的动态高精度三维测量方法，属于计算机视觉技术领域。
背景技术
动态三维测量在生物医药、逆向工程，人脸识别等应用中得到了广泛的应用。条纹投影轮廓术是一种典型的结构光技术，由于其高分辨率、高速、高分辨率等特性，经常被使用。条纹投影轮廓术首先使用相移算法或基于变换的算法计算所需相位，相移算法需要至少三条相移正弦条纹，这可能会对动态对象产生运动诱导误差；基于变换的算法可以利用单个正弦条纹来计算所需的相位，但很难保持目标的边缘。计算得到相位被包裹在的范围内，需要相位展开才能获得绝对相位。相位展开方法可分为空间和时间相位展开两类。由于局部误差传播，前者在复杂曲面上经常失效。后者在实际测量中常用，但需要大量的条纹形式，如二进制或三进制编码、相位编码或多频正弦方法等。多频法源于激光干涉法，利用两组或多组相移正弦条纹图像可直接应用于条纹投影轮廓术。在无噪声系统中，采用两组相移正弦条纹图像效果良好，但在实际的噪声系统中，需要多组图像。
近年来，伴随着计算机性能的不断提高，深度学习取得了迅速发展，在图像变换任务中广泛应用，如分割、超分辨率、风格迁移等。最近，研究者们尝试在三维测量领域引入深度学习来提高测量效率或解决传统方法中的固有问题，有研究者使用深度学习来减少所需的条纹，但仍需至少三帧条纹图像才能成功展开相位，此外，还有研究者引入深度学习直接将单帧条纹图像转换为三维形状，但会产生高达2mm的测量误差。
综上，设计合理的方法，在保证测量精度的同时减少条纹图像数量，对于动态三维测量尤为重要。
发明内容
为了解决上述技术问题，本发明提供基于条纹图像转换网络FPTNet的动态高精度三维测量方法，其具体技术方案如下：
基于条纹图像转换网络FPTNet的动态高精度三维测量方法，包括以下步骤：
步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；
步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；
步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；
步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：
，（1）
(x，y)为像素坐标，N为一组相移条纹的步数，为相移量，再基于格雷码图的方式将包裹相位解包裹得到绝对相位，如式（2）：
，（2）
式中
步骤五：重建三维信息：结合绝对相位与系统中投影仪与相机的标定参数，重建待测物体的准确三维信息。
进一步的，所述条纹图像转换网络包括FPTNet-C与FPTNet-U两个子网络，所述FPTNet-U分为FPTNet-UI和FPTNet-UII两种类型。
进一步的，所述原始条纹图像分为单帧正弦条纹图像与两帧正弦条纹图像，所述单帧正弦条纹图像输入FPTNet-C转换为具有相同频率的相移正弦条纹图像。
进一步的，所述待测物体表面的相移不超过一个条纹周期时，所述单帧正弦条纹图像输入FPTNet-UI转换为不同频率的正弦条纹图像，所述两帧正弦条纹图像输入FPTNet-UII转换为不同频率的正弦条纹图像。
进一步的，所述条纹图像转换网络包括训练阶段和推理阶段，所述训练阶段通过使输出条纹图像与条纹投影轮廓系统实际采集的条纹图像之间的差别最小化，训练条纹图像转换网络学习条纹图像的转换，所述推理阶段使经过训练的条纹图像转换网络将单帧或两帧正弦条纹图像转换出不同频率的正弦条纹图像。
进一步的，所述条纹图像转换网络利用（3）式实现参数最优化，
，（3）
式中Loss为条纹图像转换网络的损失函数，为条纹图像转换网络训练过程的参数集，m代表图片的像素个数，n表示输入的图片数量，为第n张条纹图像转换网络输出相移条纹图片，为第n张标准相移条纹图片，N表示相移步数。
进一步的，所述条纹图像转换网络由卷积层、Batch-norm层、ReLu层以及drop-out层连接构建。
本发明的有益效果：
本发明仅需投影单帧或两帧正弦条纹图像即可计算获得精确的绝对相位，从而得到准确的三维信息，精确测量动态物体的三维信息，有效避免了运动误差，提高了三维测量的速度与精度。
附图说明
图1是本发明的流程示意图，
图2是本发明的动态三维测量步骤示意图，
图3是本发明的动态物体旋转的风扇测量示意图，
图4是本发明动态物体掉落的玩偶的测量示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，本发明的基于条纹图像转换网络FPTNet的动态高精度三维测量方法，包括以下步骤：
步骤一：搭建条纹图像转换网络：引入深度学习搭建条纹图像转换网络；
步骤二：条纹图像采集与参数标定：使用相机与投影仪搭建条纹投影轮廓系统，通过标定得到条纹投影轮廓系统中投影仪与相机的标定参数，通过条纹投影轮廓系统采集待测物体的原始条纹图像；
步骤三：条纹图像转换：将原始条纹图像输入条纹图像转换网络，原始条纹图像经过条纹图像转换网络得到全部正弦条纹图像；
步骤四：进行包裹相位和绝对相位计算：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：
(x，y)为像素坐标，N为一组相移条纹的步数，为相移量，再基于格雷码图的方式将包裹相位解包裹得到绝对相位
，（2）
式中
步骤五：重建三维信息：结合绝对相位与系统中投影仪与相机的标定参数，重建待测物体的准确三维信息。其中，条纹图像转换网络由卷积层、Batch-norm层、ReLu层以及drop-out层连接构建。条纹图像转换网络包括FPTNet-C与FPTNet-U两个子网络，FPTNet-U分为FPTNet-UI和FPTNet-UII两种类型；原始条纹图像分为单帧正弦条纹图像与两帧正弦条纹图像，单帧正弦条纹图像输入FPTNet-C转换为具有相同频率的相移正弦条纹图像，待测物体表面的相移不超过一个条纹周期时，单帧正弦条纹图像输入FPTNet-UI转换为不同频率的正弦条纹图像，两帧正弦条纹图像输入FPTNet-UII转换为不同频率的正弦条纹图像。条纹图像转换网络包括训练阶段和推理阶段，训练阶段通过使输出条纹图像与条纹投影轮廓系统实际采集的条纹图像之间的差别最小化，训练条纹图像转换网络学习条纹图像的转换，推理阶段使经过训练的条纹图像转换网络将单帧或两帧正弦条纹图像转换出不同频率的正弦条纹图像。条纹图像转换网络利用（3）式实现参数最优化，
（3）
式中Loss为条纹图像转换网络的损失函数，为条纹图像转换网络训练过程的参数集，m代表图片的像素个数，n表示输入的图片数量，
实施例一：使用本发明测量动态物体：旋转的风扇、掉落的玩偶。
首先，通过条纹投影轮廓系统标定得到系统标定参数，并采集正弦条纹图像如图2中Input所示。在训练阶段，需使用条纹投影轮廓系统采集Output作为训练条纹图像转换网络的真值；推理阶段，只需将Input输入条纹图像转换网络即可转换得到Output。然后，引入深度学习搭建构造条纹图像转换网络，由一个编码器和一个解码器组成，其中包括多个卷积层、BN层、ReLu层与降采样、升采样模块等。其中卷积层用来提取特征；BN层使得输出的结果都会被规范化到合理范围中，加快转换网络训练的收敛速度且降低了对网络参数初始化过程的依赖程度；ReLu层以避免网络训练过程中的梯度消失问题等；通过空域降采样将输入信息编码为深度语义、提取深度特征；升采样层恢复图像分辨率。如图2中所示，FPTNet-C、FPTNet-UI为单帧输入，FPTNet-UII为两帧输入。预测并回归输出转换后的图像，通过计算输出图像与真值之间的误差：
其中Loss为条纹图像转换网络的损失函数，为条纹图像转换网络训练过程的参数集，m代表图片的像素个数，n表示输入的相移图片数量，为第n张条纹图像转换网络输出相移条纹图片，
本发明仅需投影单帧或两帧正弦条纹图像即可计算获得精确的绝对相位，从而得到准确的三维信息，精确测量动态物体的三维信息，有效避免了运动误差，提高了三维测量的速度与精度。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。