阅读说明：本技术 双目立体视觉三维测量方法及系统、服务器及存储介质 (Binocular stereo vision three-dimensional measurement method and system, server and storage medium ) 是由 彭凯 丁毅 薛彧 冯锐 冯文顺 彭麟雅 王学 于 2019-09-02 设计创作，主要内容包括：本发明公开了一种双目立体视觉三维测量方法及系统、服务器及存储介质,其通过投影3种特定频率竖直正弦条纹至物体表面,采用相位测量轮廓术进行条纹分析后,再利用三频率相位展开技术获取绝对相位,通过绝对相位引导双目立体匹配,获得精确的三维测量结果。通过投影结构光的方式,为待测物体增加主动特征,解决被动式立体视觉方法匹配速度慢,在低纹理区域匹配精度低的问题。此外,通过基于频率选择的三频率相位展开技术对变形条纹图像进行相位展开,具有较强的抗噪声性能,能够非常准确的确定变形条纹的绝对相位。(The invention discloses a binocular stereo vision three-dimensional measurement method and system, a server and a storage medium, wherein 3 vertical sinusoidal stripes with specific frequencies are projected on the surface of an object, a phase measurement profilometry is adopted to analyze the stripes, then a three-frequency phase expansion technology is utilized to obtain an absolute phase, and binocular stereo matching is guided through the absolute phase, so that an accurate three-dimensional measurement result is obtained. By means of projecting structured light, active features are added to an object to be measured, and the problems that a passive stereoscopic vision method is low in matching speed and low in matching precision in a low-texture area are solved. In addition, the phase unwrapping is carried out on the deformed fringe image through a three-frequency phase unwrapping technology based on frequency selection, so that the method has strong anti-noise performance and can accurately determine the absolute phase of the deformed fringe.)

双目立体视觉三维测量方法及系统、服务器及存储介质

技术领域

本发明涉及三维测量技术领域，尤其涉及一种双目立体视觉三维测量方法及系统、服务器及存储介质。

背景技术

三维测量是指通过一定的方法和设备仪器获取物体的三维形貌特征的技术。高精度的三维测量技术被广泛应用于精密工业元器件的测量加工，医学图像重建，航空测绘，模型器具的逆向重建等领域。随着人工智能浪潮兴起的新兴技术领域如无人驾驶、智能机器人、智慧城市等同样需要三维测量技术的参与。双目立体视觉方法和结构光三维测量方法是目前应用最为广泛的两种三维测量技术。双目立体视觉方法是基于人眼视物原理的被动式三维测量技术，在不引入主动光源的情况下，根据图像的颜色、梯度、灰度等特征信息匹配不同相机拍摄图像的对应点，再根据视差原理恢复物体三维信息。这一方法操作简单，适用范围广，但对于低纹理区域寻找匹配点困难，匹配精度低，测量结果较差且处理速度较慢。结构光三维测量技术是通过向待测场景投影编码模板图像，根据调制变形后的编码模板恢复场景三维数据的主动式立体视觉方法。结构光三维测量技术的主要问题是，结构光三维测量方法需要将待测物体限定在固定的参考平面，且对反射光较为敏感。立体视觉方法和结构光三维测量方法各有优劣，且在很多情况下二者优缺点刚好互补，故而近年来很多专家学者都在研究如何能够将二者进行合理地结合从而实现实时高精度、高鲁棒性的三维测量方法

目前国内外基于结构光的双目立体视觉三维测量技术主要有以下几种形式。一类是利用投影结构光边缘特征引导双目立体匹配的算法，如投影网格、二元条纹、彩色条纹等结构光信号的立体视觉算法，这一类方法无法充分利用网格和条纹内的特征信息，无法获得较高的测量精度。另一类是基于正弦投影条纹信号的结构光立体视觉方法，正弦条纹信号的光强呈正弦规律变化，通过条纹分析技术获取相对相位信息，再采用相位展开技术获得绝对相位后，能够获取精确到单位像素的相位特征，实现高精度立体匹配，因而在结构光立体视觉领域应用广泛。

在结构光立体视觉的工业应用中，现有的方法在实时性和测量精度上仍然有所欠缺，很多结构光立体视觉系统需要通过在待测物体表面贴上物理标签的方式作为引导的方式，提高测量精度和减少匹配时间，这在实际应用中常常造成不便或限制系统的使用范围。因此探索更高精度高可靠性的实时结构光立体视觉三维测量方案很有必要。

发明内容

有鉴于此，本发明实施例提供了一种双目立体视觉三维测量方法及系统、服务器及存储介质，其具有实时性强、精确度高、抗噪声性能强等优点，能够解决现有技术在实时性和测量精度较差，使用范围受限等问题。

本发明实施例的第一方面，提供了一种双目立体视觉三维测量方法，所述双目立体视觉三维测量方法包括如下步骤：

分别投影三个特定频率竖直正弦条纹至待测物体表面，且每个频率投影三帧相移图像，通过左右相机拍摄投影至待测物体表面发生形变的条纹图像；

通过相位测量轮廓术对三频率条纹图像进行条纹分析，获取点的包裹相位，生成三频率包裹相位图；

通过三频率相位展开技术对上述得到的三频率包裹相位图进行相位展开，获得点的绝对相位；

将左右图像上对应点的绝对相位差作为匹配代价，进行双目立体匹配，获得匹配视差图；

根据视差原理，从视差图中恢复物体的三维形貌信息。

本发明实施例的第二方面，提供了一种双目立体视觉三维测量系统，所述双目立体视觉三维测量系统包括如下功能模块：

图像投影模块，用于分别投影三个特定频率竖直正弦条纹至待测物体表面，且每个频率投影三帧相移图像，通过左右相机拍摄投影至待测物体表面发生形变的条纹图像；

条纹分析模块，用于通过相位测量轮廓术对三频率条纹图像进行条纹分析，获取点的包裹相位，生成三频率包裹相位图；

相位展开模块，用于通过三频率相位展开技术对上述得到的三频率包裹相位图进行相位展开，获得点的绝对相位；

立体匹配模块，用于将左右图像上对应点的绝对相位差作为匹配代价，进行双目立体匹配，获得匹配视差图；

视差恢复模块，用于根据视差原理，从视差图中恢复物体的三维形貌信息。

本发明实施例的第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述双目立体视觉三维测量方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述双目立体视觉三维测量方法的步骤。

本发明所述双目立体视觉三维测量方法及系统、服务器及存储介质，其通过投影结构光的方式，为待测物体增加主动特征，解决被动式立体视觉方法匹配速度慢，在低纹理区域匹配精度低的问题。此外，通过基于频率选择的三频率相位展开技术对变形条纹图像进行相位展开，具有较强的抗噪声性能，能够非常准确的确定变形条纹的绝对相位。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的双目立体视觉三维测量方法的流程框图；

图2为本发明实施例提供的双目立体视觉三维测量系统的实验系统图；

图3为采用本发明实施例提供的双目立体视觉三维测量方法在不同频率下拍摄的正弦条纹图像(a)f₁＝18(b)f₂＝25(c)f₃＝30；

图4为本发明实施例提供的双目立体视觉三维测量系统的功能模块框图；

图5为本发明实施例提供的服务器的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的双目立体视觉三维测量方法，其包括如下步骤：

S1、分别投影三个特定频率竖直正弦条纹至待测物体表面，且每个频率投影三帧相移图像，通过左右相机拍摄投影至待测物体表面发生形变的条纹图像。

具体的，图2表示出了本发明实施例提供的双目立体视觉三维测量系统的一个实验系统图。选择最大公因子为1的三个频率f₁,f₂,f₃的竖直正弦条纹，每个所述频率的竖直正弦条纹分别投影三帧相移图像至待测物体表面，每个所述频率投影的三帧相移图像之间依次偏移2π/3的相位，通过左、右相机对待测物体表面进行不同频率以及不同相移图像的拍摄，得到多帧左、右变形条纹图像，如图3所示。

所述条纹图像的强度I可以表示为：

I＝A*cos(2πfy+φ(x,y))+B

式中，A为条纹振幅，B为标准光强，由于投影仪的光强范围为(0，255)，所以A，B取值应满足：

x为对应点的横坐标，y为对应点的纵坐标，投影竖直正弦条纹时，图像在竖直方向上的光强相等，在水平方向上的光强呈正弦关系变化。

S2、通过相位测量轮廓术对三频率条纹图像进行条纹分析，获取点的包裹相位φ_1L,φ_1R,φ_2L,φ_2R,φ_3L,φ_3R，生成三频率包裹相位图；

具体操作如下：

S21、获取变形条纹图像灰度值，表示为：

其中f为投影条纹基频成分的空间频率，φ为包裹相位，M为相移帧数；k表示谐波的当前次序，即第k次谐波，b_k是第k次谐波分量的幅度，相对于f₀来说变化缓慢，可以看作常数处理，m表示图像的帧序，即第m帧图像，对于三帧相移轮廓术来说，M＝3，m＝1,2,3。

S22、计算左右图像的中间变量D_A,D_B：

S23、计算包裹相位：

S3、通过三频率相位展开技术对上述得到的三频率包裹相位图进行相位展开，获得点在左右相机3个条纹频率下的绝对相位Φ_1L,Φ_1R,Φ_2L,Φ_2R,Φ_3L,Φ_3R，具体操作如下：

S31、当条纹频率f₁,f₂,f₃没有大于1的公因子时，每组 必定与唯一一组n₁(x,y),n₂(x,y),n₃(x,y)相对应，n₁(x,y),n₂(x,y),n₃(x,y)为同一对应点在不同频率下的条纹周期次序，即条纹阶数，因此可以建立与n₁,n₂,n₃之间的映射关系，如表1为选择频率18，25，30的条纹图像建立的条纹阶数映射表；

表1：f₁＝18,f₂＝25,f₃＝30时与n₁(x,y),n₂(x,y),n₃(x,y)的映射关系表：

S32、获取映射关系表后，计算点(x,y)的中间变量 根据计算得到的点的中间变量值在映射关系表中查找到该点对应的条纹阶数n₁(x,y),n₂(x,y),n₃(x,y)；

S33、通过下式计算对应点的绝对相位Φ₁,Φ₂,Φ₃：

S34、重复步骤c可以计算得到3个频率下左右图像的绝对相位Φ_1L,Φ_1R,Φ_2L,Φ_2R,Φ_3L,Φ_3R。

S4、理论上，物体上一点在左右图像上计算得到的绝对相位值是相等的，将左右图像绝对相位差作为匹配代价，运用双目立体匹配技术获得左右图像的匹配视差图，具体步骤如下：

S41、将右图作为基准图形，遍历右图上的点，对于右图上一点(x,y)，建立如下约束：

minX,maxX为点的横坐标在左右图像匹配的视差范围，N_R(x,y),N_L(x,y)为通过相位展开获得的条纹阶数；逐个遍历左图中满足上述约束条件的点。

S42、计算待匹配点的绝对相位差，作为匹配代价：

C(x,y,d)＝|Φ_R(x,y)-Φ_L(x+d,y)|

选择约束条件内匹配代价最小的匹配点为视差匹配结果，通过步骤3中求得的3组绝对相位均可计算得到视差，高频率条纹绝对相位具有更大的噪声容忍范围，能够获得更加准确的匹配结果，对于频率为f的竖直条纹图像，其水平方向上像素个数为W，图像中每个像素的相位偏移Ps为：

因此在立体匹配过程中，对绝对相位的误差容忍范围可近似为：

S43、对视差匹配结果进行亚像素估计，分别获得最佳匹配点匹配代价C₂，及其左右相邻点的匹配代价C₁,C₃，计算最佳匹配点的亚像素位置d_s：

d_s＝d-(C₃-C₁)/2*(C₁-2*C₂+C₃)

其中d为最佳匹配点的视差值。

S5、最后，根据视差结果恢复物体的三维形貌信息，测量左右相机光轴之间的距离B(Baseline)，左右相机的焦距为f，通过步骤S4确定图像上一点P(x,y)的亚像素位置为d_s，可以确定得到该点距离相机系统的深度z，即P点在相机坐标系下的三维空间Z轴坐标：

z＝B*f/d_s。

采用本发明所述双目立体视觉三维测量方法，其通过投影结构光的方式，为待测物体增加主动特征，解决被动式立体视觉方法匹配速度慢，在低纹理区域匹配精度低的问题。此外，通过基于频率选择的三频率相位展开技术对变形条纹图像进行相位展开，具有较强的抗噪声性能，能够非常准确的确定变形条纹的绝对相位。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上面主要描述了一种双目立体视觉三维测量方法，下面将对一种双目立体视觉三维测量系统进行详细描述。

如图4所示，所述双目立体视觉三维测量系统包括以下功能模块：

图像投影模块10，用于分别投影三个特定频率竖直正弦条纹至待测物体表面，且每个频率投影三帧相移图像，通过左右相机拍摄投影至待测物体表面发生形变的条纹图像；

条纹分析模块20，用于通过相位测量轮廓术对三频率条纹图像进行条纹分析，获取点的包裹相位，生成三频率包裹相位图；

相位展开模块30，用于通过三频率相位展开技术对上述得到的三频率包裹相位图进行相位展开，获得点的绝对相位；

立体匹配模块40，用于将左右图像上对应点的绝对相位差作为匹配代价，进行双目立体匹配，获得匹配视差图；

视差恢复模块50，用于根据视差原理，从视差图中恢复物体的三维形貌信息。

图5是本发明一实施例提供的双目立体视觉三维测量的服务器结构的示意图。所述服务器，为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个用户使用的计算机。如图5所示，该实施例的服务器6包括：存储器61、处理器62以及系统总线63，所述存储器61包括存储其上的可运行的程序611，本领域技术人员可以理解，图5中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图5对终端设备的各个构成部件进行具体的介绍：

存储器61可用于存储软件程序以及模块，处理器62通过运行存储在存储器61的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器61上包含双目立体视觉三维测量方法的可运行程序611，所述可运行程序611可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器61中，并由处理器62执行，以完成通知的传递并获取通知实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序611在所述服务器6中的执行过程。例如，所述计算机程序611可以被分割为获取模块、比对模块、拼接模块和发送模块。

处理器62是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器61内的软件程序和/或模块，以及调用存储在存储器61内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器62可包括一个或多个处理单元；优选的，处理器62可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器62中。

系统总线63是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器62的指令通过总线传递至存储器61，存储器61反馈数据给处理器62，系统总线63负责处理器62与存储器61之间的数据、指令交互。当然系统总线63还可以接入其他设备，例如网络接口、显示设备等。

所述服务器应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。

在本发明实施例中，该终端所包括的处理器62执行的可运行程序具体为：一种双目立体视觉三维测量方法，其包括：

分别投影三个特定频率竖直正弦条纹至待测物体表面，且每个频率投影三帧相移图像，通过左右相机拍摄投影至待测物体表面发生形变的条纹图像；

通过相位测量轮廓术对三频率条纹图像进行条纹分析，获取点的包裹相位，生成三频率包裹相位图；

通过三频率相位展开技术对上述得到的三频率包裹相位图进行相位展开，获得点的绝对相位；

将左右图像上对应点的绝对相位差作为匹配代价，进行双目立体匹配，获得匹配视差图；

根据视差原理，从视差图中恢复物体的三维形貌信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。