阅读说明：本技术 三维测量系统以及三维测量方法 (Three-dimensional measurement system and three-dimensional measurement method ) 是由 大西康裕 清水隆史 松本慎也 于 2019-02-14 设计创作，主要内容包括：为了提供一种提高测量分辨率且可实现高速处理的图像处理系统及方法,本发明的图像处理系统包括：摄像部,具有远离配置的第一摄像部及第二摄像部,拍摄对象物的互不相同的图像；第一计算部,通过使用第一摄像部及第二摄像部的至少任一者,并使用与立体相机方式不同的三维测量方式的距离信息或用于计算距离的信息,从而计算第一特征点的视差；以及第二计算部,使用第一摄像部及第二摄像部,通过立体相机方式,基于针对第二特征点的对应点的搜索结果来计算第二特征点的视差,根据第一特征点的视差及第二特征点的视差来确定对象物的三维形状,且第二计算部基于第一特征点的视差来设定搜索范围。(In order to provide an image processing system and method capable of improving measurement resolution and realizing high-speed processing, the image processing system of the present invention includes: an image pickup unit having a first image pickup unit and a second image pickup unit which are disposed apart from each other and which picks up different images of an object; a first calculation unit that calculates a parallax of the first feature point by using at least one of the first imaging unit and the second imaging unit and using distance information of a three-dimensional measurement method different from the stereo camera method or information for calculating a distance; and a second calculation unit that calculates a parallax of the second feature point based on a search result for a corresponding point of the second feature point by a stereo camera system using the first image pickup unit and the second image pickup unit, determines a three-dimensional shape of the object from the parallax of the first feature point and the parallax of the second feature point, and sets a search range based on the parallax of the first feature point.)

三维测量系统以及三维测量方法

相关申请的相互参照

本申请基于2018年2月14日提出申请的日本专利申请编号2018-023744，在此援用其记载内容。

技术领域

本公开涉及一种三维测量系统以及三维测量方法。

背景技术

以往，已知用于进行对象物的三维测量的各种方法，这些方法着眼于光的性质而大致分为使用光的直进性的方法与使用光的速度的方法。这些方法中，使用光的直进性的方法中，包含被分类为主动(active)测量(主动型测量)及被动(passive)测量(被动型测量)的任一个的方式，使用光的速度的方法中，包含被分类为主动测量(主动型测量)的方式。此处，例如非专利文献1中，关于作为主动测量方式的一例的空间编码图案投影法的具体例，记载了使用所谓主动单拍(one-shot)方式的方法，即：向对象物投影图案光，此图案光包含经空间编码(编码(coding))的图案的单一图像，利用摄像装置来拍摄经投影所述单一图像的对象物并计算距离，由此获取三维形状。

而且，作为被动测量方式的一例，已知利用所谓立体相机方式的方法，即：使用两台摄像装置来求出对象物的三维形状。所述立体相机方式中，将相机等摄像装置配置于例如左右而同时拍摄对象物，从所得的左右图像中搜索对应的像素的对(即，基准图像中的特征点与比较图像中的对应点)，求出左右图像中的特征点与对应点的视差(远离距离)，基于所述视差而计算各像素的三维位置，由此确定对象物的三维形状。

现有技术文献

非专利文献

非专利文献1：P.维尔斯特克(P.Vuylsteke)及A.奥斯特林克(A.Oosterlinck)，《利用单一的二维编码光图案的距离影像获取(Range Image Acquisition with a SingleBinary-Encoded Light Pattern)》，IEEE PAMI 12(2)，pp.148-164，1990。

发明内容

发明所要解决的问题

然而，以往的利用立体相机方式的方法中，虽然能将测量分辨率提高至摄像装置的像素单位，但由其原理导致测量时间耗费得相对较长，存在不良状况。

因此，本公开在一方面是鉴于所述情况而成，其目的在于提供一种三维测量技术，此三维测量技术的三维测量的测量分辨率高，且可通过缩窄搜索范围从而实现高速处理。

解决问题的技术手段

为了解决所述问题，本公开采用以下结构。

即，概略而言，本公开的三维测量系统的一例通过与立体相机方式不同的三维测量方式来获取第一特征点的视差作为对象物的三维信息，且通过在基于其结果而设定的有限的搜索范围中进行立体匹配的立体相机方式，获取第二特征点的视差作为对象物的三维信息，使用所得的第一特征点的视差及第二特征点的视差两者来确定对象物的三维形状。这样，本公开的三维测量系统的一例中，通过与立体相机方式不同的三维测量方式进行三维测量后，进行利用立体相机方式的三维测量。

所述结构中，可基于通过与立体相机方式不同的三维测量方式所得的三维信息，使随后实施的利用立体相机方式的三维测量的搜索范围较以往的立体相机方式的搜索范围更窄，因而与像以往那样单独利用立体相机方式来进行三维测量的方法相比，可提高处理速度。而且，由于使用通过立体相机方式所获取的三维信息，因而可实现高测量分辨率。

[1]具体而言，本公开的三维测量系统的一例包括：摄像部，具有相互远离配置的第一摄像部及第二摄像部，且拍摄所述对象物的互不相同的图像；第一计算部，通过使用所述第一摄像部及所述第二摄像部的至少任一者，并使用与立体相机方式不同的三维测量方式的距离信息或使用用于计算距离的信息，从而计算所述图像中的第一特征点的视差；以及第二计算部，使用所述第一摄像部及所述第二摄像部，通过立体相机方式来搜索针对第二特征点的对应点，基于所述搜索结果而计算所述第二特征点的视差，根据所述第一特征点的视差及所述第二特征点的视差来确定所述对象物的三维形状。另外，所述第二计算部基于所述第一特征点的视差来设定针对所述第二特征点的所述对应点的搜索范围。

所述结构中，通过使用第一摄像部及第二摄像部的至少任一者，并使用与立体相机方式不同的三维测量方式的距离信息或用于计算距离的信息，从而计算第一特征点的视差，由此可获得与第一特征点的间隔相应的、密度分布相对较粗的视差贴图(parallaxmap)。然后，通过立体相机方式，使用第一摄像部及第二摄像部进行针对第二特征点的对应点的搜索，基于其搜索结果而计算第二特征点的视差，由此可获得所拍摄的图像的像素单位的、密度分布相对较细的视差贴图。接下来，根据两视差贴图来确定对象物的三维形状。

此处，以往的仅利用立体相机方式的图像处理中，通常需要通过所拍摄的图像中的广范围(测量距离)中的立体匹配来进行针对特征点的对应点的搜索，因而处理时间不可避免地变长。相对于此，所述结构中，基于使用立体相机方式以外的三维测量方式的距离信息或用于计算距离的信息(例如相位信息、波长信息、焦外信息等)所得的第一特征点的视差，进行利用立体相机方式的搜索。由此，可与以往的立体相机方式相比，将针对各第二特征点的对应点的搜索范围限定于特别窄的范围。其结果为，可特别缩短立体匹配的搜索时间而进行高速处理。另一方面，立体匹配中的第二特征点与对应点的搜索能以所拍摄的图像的像素单位来进行，因而可实现高测量分辨率。

此外，所述结构中，既可基于针对各第一特征点所得的视差中的一个视差来设定用于求出第二特征点的视差的搜索范围，也可基于针对各第一特征点所得的视差中的多个视差来设定用于求出第二特征点的视差的搜索范围。在基于多个视差来设定搜索范围的情况下，与基于一个视差来设定搜索范围的情况相比，可更准确地限定搜索区域，其结果为，可实现处理时间的进一步缩短和/或立体匹配精度的进一步提高。

[2]所述结构中，更具体而言也可包括：投射部，为了确定三维形状而向所述对象物投射测量光。

此处，作为“测量光”，只要为各种三维测量方式所用的投射光或照明光，则并无特别限制，例如可列举具有规定的固定点图案的图案光、具有随机点图案的图案光、狭缝光等。所述结构在下述情况下有用，即：作为与立体相机方式不同的三维测量方式，特别使用主动测量方式来投射规定的测量光。

[3]所述结构中，所述第一特征点及所述第二特征点可为相同点，也可为不同的点。尤其若所述第一特征点及所述第二特征点为相同点，或存在于彼此的附近位置，则可更准确地限定第二特征点的搜索范围，由此可进一步缩短处理时间和/或进一步提高立体匹配精度。

此处，作为对象物的三维测量方式中使用光的直进性的主动测量方式，通常例如可列举：以三角测距作为基本原理的空间编码图案投影方式、时间编码图案投影方式、莫尔条纹图(moire topography)方式(等高线方式)、照度差立体方式(照射方向/光度立体(Photometric Stereo))等，及以同轴测距作为基本原理的照度差方式(单照射/平方反比(Inverse Square)+随机森林(Regression Forest))、激光共焦方式、白色共焦方式、干涉方式等。而且，作为使用光的直进性的被动测量方式，例如可列举：以三角测距作为基本原理的立体相机方式(包含多基线立体(multi-baseline stereo))、视体积交叉方式(轮廓推断外形(Shape from silhouette))、因式分解方式(factorization)、运动推断深度(Depthfrom Motion)(运动推断结构(Structure from Motion))方式、明暗推断深度(Depth fromShading)方式等，及以同轴测距作为基本原理的聚焦推断深度(Depth from focusing)方式、散焦推断深度(Depth from defocus)方式、缩放推断深度(Depth from zoom)方式等。进而，作为使用光的速度的主动测量方式，例如可列举：以同时测距作为基本原理的光时间差(飞行时间(Time Of Flight，TOF))测定方式、激光扫描方式、光时间差(TOF)测定方式、单照射(single shot)方式、光相位差(TOF)测定方式，以及利用电波、声波及微波的(TOF)方式等。

[4]另外，作为本公开的三维测量系统的一例的“与立体相机方式不同的三维测量方式”，只要为所述各方式中除了立体相机方式以外的方式，则可无任何限制地适用，而且，这些方式中，作为与所述立体匹配不同的三维测量方式，也可使用通过所述摄像部进行的一次拍摄而获得所述对象物的三维信息的方式。

所述结构中，可缩短在利用立体相机方式进行的三维测量之前实施的、与立体相机方式不同的三维测量方式的拍摄耗费的时间，甚至可缩短三维测量系统整体所需要的处理时间。

[5]所述结构中，所述第二计算部也可构成为，与不基于所述第一特征点的视差来设定所述搜索范围的情况相比，降低所述立体相机方式的(立体匹配)的匹配程度的指标的阈值。

所述结构中，可实现以往的立体相机方式无法达成的、对于相互反射的优异稳健性。

[6]所述结构中，也可为，所述第一计算部将表示所述第一特征点的三维位置的三维点群复原，所述第二计算部在针对所述第一特征点的一部分而未复原所述三维点群的情况下，针对与所述三维点群经复原的所述第一特征点的区域对应的所述第二特征点，基于所述第一特征点的视差来设定所述搜索范围，且针对与所述三维点群未经复原的所述第一特征点的区域对应的所述第二特征点，将所述搜索范围设定为预定的规定范围。

根据所述结构，即便在对于对象物中的一部分，无法在利用立体相机方式进行的三维测量之前通过最初的三维测量(利用与立体相机方式不同的三维测量方式进行的三维测量)将三维点群复原的情况下，也无需对所拍摄的图像整体进行扩大搜索范围的立体匹配，可实现处理的高速化。

[7]所述结构中，所述第一计算部可具有：第一图像处理部，将表示所述第一特征点的三维位置的三维点群复原；以及第二图像处理部，将所复原的所述三维点群中的各第一特征点的三维坐标二维投影于所述图像，求出所述各第一特征点的二维坐标，根据所述二维坐标而计算所述各第一特征点的视差。而且，所述第二计算部可具有：第三图像处理部，根据所述第一特征点的视差而求出所述第二特征点的视差的推定值，基于所述第二特征点的视差的推定值来设定所述对应点的搜索区域，在所述搜索区域中进行所述第二特征点与所述对应点的立体匹配，由此计算所述第二特征点的视差；以及第四图像处理部，基于所述第一特征点的视差及所述第二特征点的视差来确定所述对象物的三维形状。

所述结构中，可适宜地执行所述第一特征点的视差的计算及第二特征点的视差的计算，由此能更可靠地实现三维测量的高测量分辨率和高速处理。

[8]所述结构中，也可使所述第一摄像部的光轴与所述第二摄像部的光轴的距离，和所述投射部的光轴(测量光的光轴)与所述第一摄像部的光轴或所述第二摄像部的光轴的距离同等。此处，所谓“摄像部的光轴”，表示摄像部的光学中心轴，与摄像部的光学系统的结构无关，是指垂直地入射至由摄像元件所划定的拍摄面的中心的、光线的光路(换言之，垂直于拍摄面且经过拍摄面的中心的方向)。而且，所谓“投射部的光轴”，表示投射部的光学中心轴，与投射部的光学系统的结构无关，是指从由光源或发光元件所划定的投射面的中心垂直地出射的光线的光路(换言之，垂直于投射面且经过投射面的中心的方向、或者从投射面投射的光的强度达到最大的方向)。

所述结构中，第一摄像部与第二摄像部的基线长可和投射部与第一摄像部或第二摄像部的基线长同等，因而可提高三维测量的测量精度。

[9]所述结构中，也可使所述第一摄像部的光轴与所述第二摄像部的光轴的距离，较所述投射部的光轴(测量光的光轴)与所述第一摄像部的光轴或所述第二摄像部的光轴的距离更长。

所述结构中，第一摄像部与第二摄像部的基线长可较投射部与第一摄像部或第二摄像部的基线长更大，因而可提高三维测量的测量精度。

[10]所述结构中，也可使所述投射部的光轴(测量光的光轴)、所述第一摄像部的光轴及所述第二摄像部的光轴配置于同一平面上。

所述结构中，可构成所述[8]及[9]的任一配置，而且，在使投射部与第一摄像部及第二摄像部一体化而构成例如传感器单元的情况下，可使第一摄像部与第二摄像部的基线长相对较大，因而可进一步提高由立体相机方式所得的测量精度。

[11]所述结构中，可使所述第一摄像部的光轴与所述第二摄像部的光轴配置于同一平面上，且所述投射部的光轴(测量光的光轴)不配置于所述平面上。

所述结构中，也可构成所述[8]及[9]的任一配置，而且，在使投射部与第一摄像部及第二摄像部一体化而构成例如传感器单元的情况下，可使所述传感器单元的占据面积(footprint)相对较小，减少系统的设置面积。

[12]所述结构中，也可使所述投射部向所述对象物投射与所述测量光不同的通常照明光。此外，为方便起见，在后述的实施方式中，有时将向对象物投射测量光的结构元件称为“第一投射部”，将向对象物投射通常照明光的结构元件称为“第二投射部”。

所述结构中，可将与测量光不同的通常照明光用作例如检查用途的一般照明，因而即便在对象物处于暗的周边环境下的情况下，也可适宜地实施三维测量。进而，通过将拍摄经投射通常照明的对象物所得的图像、与预先设定或保持的对象物的形状设计数据(计算机辅助设计(Computer Aided Design，CAD)模型数据)比对，进行例如所谓CAD匹配，从而可更准确地把握对象物的位置姿势。

[13]本公开的三维测量方法的一例为可使用所述结构的三维测量系统的一例有效地实施的方法，包含以下的各步骤。即，所述方法使用三维测量系统，此三维测量系统包括：摄像部，具有相互远离配置的第一摄像部及第二摄像部；第一计算部；以及第二计算部，所述方法包含下述步骤：所述摄像部拍摄所述对象物的互不相同的图像；所述第一计算部通过使用所述第一摄像部及所述第二摄像部的至少任一者，并使用与立体相机方式不同的三维测量方式的距离信息或用于计算距离的信息，从而计算所述图像中的第一特征点的视差；以及所述第二计算部通过立体相机方式来搜索针对第二特征点的对应点，基于所述搜索结果而计算所述第二特征点的视差，根据所述第二特征点的视差来确定所述对象物的三维形状。另外，在确定所述对象物的三维形状的步骤中，所述第二计算部基于所述第一特征点的视差来设定针对所述第二特征点的所述对应点的搜索范围。

此外，本公开中，所谓“部”、“部件”、“装置”及“系统”，并非仅意指物理部件，也包含借由软件来实现所述“部”、“部件”、“装置”及“系统”所具有的功能的结构。而且，一个“部”、“部件”、“装置”及“系统”所具有的功能也可由两个以上的物理部件或装置来实现，或者两个以上的“部”、“部件”、“装置”及“系统”的功能也可由一个物理部件或装置来实现。

发明的效果

根据本公开，可提高三维测量的测量分辨率，且通过缩窄搜索范围从而实现高速处理。而且，通过所述高速处理，可提高系统整体的处理速度，节约存储容量，且可减少通信的数据量，并且可提高处理的可靠性。

附图说明

图1为示意性地表示实施方式的三维测量系统的适用场景的一例的概略的平面图。

图2为示意性地表示实施方式的三维测量系统的硬件的结构的一例的平面图。

图3为示意性地表示实施方式的三维测量系统的功能结构的一例的平面图。

图4为表示实施方式的三维测量系统的处理顺序的一例的流程图。

图5为实施方式的三维测量系统的处理顺序的一例的时机图。

图6(A)及(B)分别表示利用实施方式的三维测量系统拍摄对象物的一例所得的图像、及使用所述图像进行第一图像处理而复原的三维点群图像。

图7(A)为表示利用实施方式的三维测量系统拍摄对象物的一例所得的图像的平行化图像、及将复原三维点的三维坐标二维投影于所述平行化图像所得的图像的局部放大图。(B)为表示利用实施方式的三维测量系统拍摄对象物的一例所得的图像的平行化图像、及将复原三维点的三维坐标二维投影于所述平行化图像所得的图像的局部放大图。

图8为示意性地表示与多个第一特征点的间隔相应的、密度分布相对较粗的视差贴图的概念图。

图9(A)及(B)分别为表示对于对象物的一例利用实施方式的三维测量系统所得的合并视差贴图的一例的图像、及表示使用所述图像复原的三维形状的三维点群图像。

图10针对各种对象物来表示下述图像的一览，所述图像表示利用各种方式进行三维测量结果最终获得的视差贴图。

图11(A)至(D)分别为示意性地表示实施方式的传感器单元的第一结构例至第四结构例的立体图。

图12(A)及(B)分别为示意性地表示实施方式的传感器单元的第五结构例及第六结构例的立体图。

图13(A)至(C)分别为示意性地表示实施方式的传感器单元的第九结构例至第十一结构例的平面图。

具体实施方式

以下，参照附图对本公开的一例的实施方式(以下也表述为“实施方式”)进行说明。但是，以下说明的实施方式仅为例示，并非意在将以下未明示的各种变形或技术的适用除外。即，本公开的一例可在不脱离其主旨的范围内进行各种变形而实施。而且，以下的附图的记载中，对相同或类似的部分标注相同或类似的符号，附图为示意性，且未必与实际的尺寸或比率等一致。进而，有时在附图相互间也包含彼此的尺寸关系或比率不同的部分。

§1适用例

首先，使用图1对适用本公开的一例的场景的一例进行说明。图1为示意性地表示本实施方式的三维测量系统100的适用场景的一例的概略的平面图。本实施方式的三维测量系统100为用于对作为测量对象的对象物OB的三维形状进行测量的系统。

图1的示例中，三维测量系统100包括与对象物OB相向配置的传感器单元200、及连接于传感器单元200的计算机300。传感器单元200是三维(Three Dimension，3D)用投影仪110、与例如以夹持所述3D用投影仪110的方式配置的第一相机210及第二相机220一体地构成而成。此外，3D用投影仪110、第一相机210及第二相机220也可并未作为传感器单元200而全部一体化，而是各自分别设置，也可局部一体化。

3D用投影仪110以投射区域S110向对象物OB投射照明(以下也称为“3D用照明”)，此照明包含用于进行对象物OB的三维测量的测量光(例如图案光)。而且，第一相机210及第二相机220分别包含例如搭载有通常的光学传感器的相机装置，分别以视角S210、视角S220来拍摄经投射3D用照明的对象物OB。

计算机300控制3D用投影仪110进行的投射处理、以及第一相机210及第二相机220进行的拍摄处理，并且执行由第一相机210及第二相机220分别拍摄的、互不相同的图像Img1、图像Img2的图像处理，确定对象物OB的三维形状。

更具体来说，计算机300进行以下的(1)至(4)所示的第一图像处理至第四图像处理作为图像Img1、图像Img2的图像处理。

(1)第一图像处理

此第一图像处理例如为利用主动单拍方式进行的三维测量，自图像Img1、图像Img2的至少任一者复原三维点群，此三维点群表示与测量光(图案光)所含的图案相应的、多个对象像素的三维位置。此时，例如多个对象像素以较图像Img1、图像Img2中的像素单位更粗的密度而分布。此外，在使用被动测量方式作为与立体相机方式不同的三维测量方式的情况下，也可不进行测量光的投射，即不包括3D用投影仪110。

(2)第二图像处理

将针对多个第一特征点(对象像素)所复原的三维点群中的各点(复原三维点)的三维坐标二维投影于图像Img1、图像Img2(包括对这些图像视需要实施了适当处理的图像。以下相同)，求出图像Img1、图像Img2各自中的各第一特征点的二维坐标，根据所述二维坐标而计算各第一特征点的视差。由此，可获得与多个第一特征点的间隔相应的、密度分布相对较粗的视差贴图。

(3)第三图像处理

此第三图像处理为利用立体相机方式进行的三维测量，将图像Img1、图像Img2的一者作为基准图像且将另一者作为比较图像，进行立体匹配。此处，首先在基准图像中，基于存在于第二特征点的规定的附近位置的、第一特征点的视差，求出第二特征点与对应点的视差的推定值。然后，基于所述第二特征点的视差的推定值，限定性地设定针对第二特征点的对应点的搜索区域(即，将搜索区域限定于狭窄范围)。接下来，在所述搜索区域中进行立体匹配，计算第二特征点的视差。由此，以补充所述(2)中所得的密度分布相对较粗的视差贴图的方式，获得图像Img1、图像Img2的像素单位的密度分布相对较细的视差贴图。此外，用于求出第二特征点的视差的搜索范围既可基于针对各第一特征点所获得的视差中的一个视差来设定，也可基于针对各第一特征点所获得的视差中的多个视差来设定(也参照后述的图8的说明)。

(4)第四图像处理

将所述(1)至(3)中所得的各视差贴图合并而制作合并视差贴图，对所述合并视差贴图视需要实施适当的滤波等后处理后，将求出了视差的各像素(所述(1)中的第一特征点及所述(3)中的第二特征点)的视差转换为深度方向的距离(所谓视差-深度转换)，由此确定对象物OB的三维形状。

这样，传感器单元200相当于本公开的“投射部”(“第一投射部”)及“摄像部”的一例，3D用投影仪110相当于本公开的“投射部”(“第一投射部”)的一例，第一相机210及第二相机220分别相当于本公开的“第一摄像部”及“第二摄像部”的一例。而且，图像Img1、图像Img2相当于本公开的“对象物的互不相同的图像”的一例。进而，计算机300中的特别进行图像处理的部分(例如后述的图像处理部350)相当于本公开的“第一图像处理部”、“第二图像处理部”及具有这些图像处理部的“第一计算部”、以及“第三图像处理部”、“第四图像处理部”及具有这些图像处理部的“第二计算部”各自的一例。

如以上那样，本实施方式可谓混合三维测量系统及其方法的一例，所述混合三维测量系统将可求出对象物OB的三维形状的利用与立体相机方式不同的三维测量方式(例如，将图案光作为测量光而向对象物投射的主动单拍方式。但不限定于此)进行的三维测量、与可通过立体匹配来求出对象物OB的三维形状的利用立体相机方式进行的三维测量融合。但是，由已述的各现有技术的问题表明，即便将以往的两方式简单地组合使用，也不能提高测量分辨率并且实现高速处理。

相对于此，本实施方式并非将与立体相机方式不同的三维测量方式和立体相机方式仅简单地组合，而是使用由与立体相机方式不同的三维测量方式所得的三维信息(第一特征点的视差)，由此可与通常的立体相机方式相比，将立体匹配的针对第二特征点的对应点的搜索区域限定于特别窄的范围。

换言之，根据本实施方式，首先可通过立体相机方式来补充与其他像素(第二特征点及其对应点)有关的视差信息，所述其他像素位于以与立体相机方式不同的三维测量方式获得了视差信息的第一特征点间。另外，通过将此时的立体匹配的搜索区域限定于可靠的狭窄范围，从而可达成极短的处理时间。这些的结果为，可保持由立体相机方式所得的高测量分辨率，并且大幅度地缩短立体匹配的搜索时间甚至处理时间。而且，通过这样限定搜索区域，从而可实现对相互反射的优异稳健性，并且也可减轻立体匹配中的像素间的误对应。

§2结构例

[硬件结构]

接下来，使用图2，对本实施方式的三维测量系统100的硬件结构的一例进行说明。图2为示意性地表示本实施方式的三维测量系统100的硬件的结构的一例的平面图。

图2的示例中，三维测量系统100包括：传感器单元200，具有图1中也例示的3D用投影仪110以及第一相机210及第二相机220而一体地构成；以及计算机300，连接于传感器单元200。

3D用投影仪110例如包括激光光源111、图案掩模112及透镜113。从激光光源111出射的光由图案掩模112转换为具有规定的图案的测量光(图案光)，经由透镜113而向外部投射。激光光源111生成的激光光的波长并无特别限定，例如可使用红外光、可见光、紫外光等。图案掩模112为形成有规定的图案的图案掩模。此外，3D用投影仪110不限定于所述结构，也可利用通常的投影仪。此时，只要将形成规定的图案的图案掩模112保存于投影仪本体等而应对即可。此外，3D用投影仪110的结构不限定于所述结构，可适用各种三维测量方式所用的包含适当的光源及其他光学系统部位的投影装置等。

计算机300含有控制运算部301、通信接口(Interface，I/F)部302、存储部303、输入部304及输出部305，各部经由总线306而相互可通信地连接。

控制运算部301含有中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)等，根据信息处理而进行各结构元件的控制及各种运算。

通信I/F部302例如为用于通过有线或无线而与其他装置通信的通信模块。通信I/F部302与其他装置通信所用的通信方式为任意，例如可列举局域网(Local Area Network，LAN)或通用串行总线(Universal Serial Bus，USB)等。尤其传感器单元200的3D用投影仪110、第一相机210及第二相机220可设置成经由通信I/F部302而可与控制运算部301等通信。

存储部303例如为硬盘驱动器(Hard Disc Drive，HDD)、固态驱动器(Solid StateDrive，SSD)等辅助存储装置，存储控制运算部301所执行的各种程序(传感器单元200等硬件的控制程序、图像处理程序等)、以及测量光(例如具有规定的图案的图案光)、所拍摄的图像Img1、图像Img2等数据。此外，对象物OB的CAD模型数据等也可存储于存储部303。此处，图像处理程序包含用于执行所述适用例中说明的第一图像处理至第四图像处理的程序，通过由控制运算部301执行所述图像处理程序，从而实现后述的功能结构例中的图像处理功能。

输入部304例如为可由鼠标(mouse)或键盘(keyboard)、触摸屏(touch panel)等来实现，用于受理来自用户的各种输入操作的接口设备。输出部305例如为显示器、扬声器、打印机等用于通过显示、声音、印刷等而向利用三维测量系统100的用户等告知各种信息的接口设备。

[功能结构]

接下来，使用图3对本实施方式的三维测量系统100的功能结构的一例进行说明。图3为示意性地表示本实施方式的三维测量系统100的功能结构的一例的平面图。

图2所示的三维测量系统100的控制运算部301将存储部303中存储的各种程序(控制程序、图像处理程序等)在RAM中展开。接下来，控制运算部301通过CPU来解释及执行RAM中展开的各种程序，控制各结构元件。由此，如图3所例示，本实施方式的三维测量系统100可实现包括控制部310、图像获取部320、图像记录部330、图像输出部340及图像处理部350的结构。

控制部310特别控制从传感器单元200的3D用投影仪110向对象物OB的3D用照明的投射、以及第一相机210及第二相机220对经投射3D用照明的对象物OB的拍摄。图像获取部320从第一相机210及第二相机220获取由这些相机拍摄的对象物OB的图像Img1、图像Img2。图像记录部330保持由图像获取部320所获取的对象物OB的图像Img1、图像Img2以及通过图像处理部350中的图像处理而最终获得的表示对象物OB的三维形状的三维点群图像等。图像输出部340将这样获得的表示对象物OB的三维形状的三维点群图像等输出至显示器或打印机等，以使三维测量系统100的用户可看到。

图像处理部350包括第一图像处理部351、第二图像处理部352、第三图像处理部353及第四图像处理部354。这些第一图像处理部351、第二图像处理部352、第三图像处理部353及第四图像处理部354分别执行所述(1)至(4)所示的第一图像处理至第四图像处理，获得表示对象物OB的三维形状的三维点群图像。

此外，本实施方式中，对三维测量系统100所包括的计算机300所实现的各功能由通用的CPU来实现的示例进行了说明，但以上的功能的一部分或全部也可由一个或多个专用的处理器来实现。而且，关于三维测量系统100所包括的计算机300的功能结构，当然也可根据实施方式适当进行功能的省略、替换及追加。而且，所谓“计算机”，可理解为通常的信息处理装置。

§3运行例

接下来，使用图4至图8，对三维测量系统100的运行的一例进行说明。图4为表示本实施方式的三维测量系统100的处理顺序的一例的流程图，也为表示使用三维测量系统100的三维测量方法的处理顺序的一例的流程图。而且，图5为本实施方式的三维测量系统100的处理顺序的一例的时机图。此外，以下说明的处理顺序仅为一例，各处理可尽可能地变更。而且，关于以下说明的处理顺序，可根据实施方式适当进行步骤的省略、替换及追加。进而，以下说明的各“时刻t”表示图5的处理的开始及结束的时机。

(启动)

首先，三维测量系统100的用户启动三维测量系统100，使启动的三维测量系统100执行各种程序(控制程序、图像处理程序等)。然后，计算机300的控制部310按照以下的处理顺序，控制传感器单元200及计算机300的各运行，而且进行对象物OB的图像Img1、图像Img2的图像处理。

(步骤S10)

首先，步骤S10中，视需要调整对象物OB与传感器单元200的相对配置，而且，设定从3D用投影仪110投射3D用照明的条件、以及第一相机210及第二相机220的拍摄条件后，基于时刻t1的适当的触发(时机信号)，在时刻t1至时刻t2从3D用投影仪110向对象物OB投射包含图案光的3D用照明。

(步骤S20)

接下来，步骤S20中，在投射3D用照明的时刻t1至时刻t2之间，利用第一相机210及第二相机220进行对象物OB的拍摄，在时刻t1至时刻t3中，从第一相机210及第二相机220读出各自所得的图像Img1、图像Img2。接下来，在时刻t3至时刻t5中，将图像Img1、图像Img2分别各自连续地或同时向计算机300传输。此外，图5中，例示在时刻t3至时刻t4之间传输图像Img1，在时刻t4至时刻t5之间传输图像Img2的情况。

(步骤S30)

接下来，步骤S30中，使用图像Img1、图像Img2的至少任一者，在时刻t4至时刻t6中，执行所述(1)的第一图像处理(例如利用主动单拍方式进行的三维测量)，由图像Img1、图像Img2的至少任一者来复原三维点群，此三维点群表示与将测量光(图案光)所含的图案相应的、多个第一特征点的三维位置。此外，图4及图5中，例示使用图像Img1的情况，但也可使用图像Img2，也可使用图像Img1、图像Img2两者。此处，图6(A)及图6(B)分别表示利用三维测量系统100拍摄对象物OB的一例(金属制的工件)所得的图像Img1、及使用所述图像Img1进行步骤S30的第一图像处理而复原的三维点群图像Img3D1。

(步骤S40)

接下来，步骤S40中，在时刻t6至时刻t7中进行以下的处理。即，此处首先进行图像Img1、图像Img2的通常的平行化处理，使用经平行化的图像Img1、图像Img2(平行化图像)，执行所述(2)的第二图像处理(复原三维点群投影)。由此，将复原三维点群中的各第一特征点(复原三维点)的三维坐标(即，图6(B)中的各点的三维坐标)二维投影于图像Img1、图像Img2。此外，向图像Img1的二维投影可在步骤S30的图像Img1的处理中，在时刻t4至时刻t6之间实质上同时执行。

此处，图7(A)表示利用三维测量系统100拍摄对象物OB的一例(金属制的工件)所得的图像Img1的平行化图像Img1’(与图6(A)实质上同等)、及将复原三维点的三维坐标二维投影于所述平行化图像Img1’所得的图像Img10的局部放大图。同样地，图7(B)表示利用三维测量系统100拍摄对象物OB的一例(金属制的工件)所得的图像Img2的平行化图像Img2’、及将复原三维点的三维坐标二维投影于所述平行化图像Img2’所得的图像Img20的局部放大图。图像Img10、图像Img20中的“+”记号的标记相当于复原三维点(对象像素)的二维投影点。

接下来，计算图像Img10、图像Img20间的各复原三维点的视差，作为图像Img1、图像Img2间的多个第一特征点(对象像素)的各视差。此处，在图7(A)的图像Img10中例示符号的对象像素G10～对象像素G13分别对应于在图7(B)的图像Img20中例示符号的对象像素G20～对象像素G23，根据对应的对象像素间的二维坐标来计算各第一特征点(对象像素)的视差。由此，获得与多个第一特征点的间隔相应的、密度分布相对较粗的视差贴图。

此处，进一步对所述图像Img1、图像Img2的平行化处理以及用于将复原三维点的三维坐标二维投影于平行化图像而获得二维坐标的数值处理的更具体的一例作以下说明。

首先，平行化处理中，将第一相机210的原点坐标设定为基准坐标。接下来，若将第一相机210及第二相机220的透镜的变形事先从图像Img1、图像Img2中除去，以线性模型考虑，则主动单拍方式的三维点X_A、由第一相机210所得的图像Img1中的对应二维坐标点U_L、及由第二相机220所得的图像Img2中的对应二维坐标点U_R可作为下述式(1)及式(2)所表示的关系而模型化。

[数1]

U_L＝K_L(I︱O)X_A…(1)

U_R＝K_R(R₂︱t₂)X_A…(2)

所述式中，K_L表示第一相机210的内部行列，K_R表示第二相机220的内部行列，旋转行列R₂及平移向量t₂表示第二相机220相对于第一相机210的姿势。

接下来，在将第一相机210及第二相机220水平设置的情况下，两者的图像Img1、图像Img2中的对应像素在垂直方向出现在相同位置，因此假想使第一相机210及第二相机220两者旋转，设为理想的平行状态。此处的平行化处理中，使用满足下述式(3)所表示的条件的旋转行列R_rect及假想的相机行列K_rect，使第一相机210假想旋转R_rect·R₂，使第二相机220假想旋转R_rect。

[数2]

接下来，可根据下述式(4)及式(5)所表示的关系，求出与由不同于立体相机方式的三维测量方式(例如主动单拍方式)所得的复原三维点X_A对应的平行化图像Img1’中的对应二维坐标U’_L、及平行化图像Img2’中的对应二维坐标U’_R。

[数3]

U’_L＝K_rectR_rectR₂(I︱O)X_A…(4)

U’_R＝K_rectR_rect(R₂︱t₂)X_A…(5)

(步骤S50)

接下来，步骤S50中，使用图像Img1、图像Img2，在与步骤S40同样的时刻t6至时刻t7中，执行所述的(3)第三图像处理(利用立体相机方式进行的三维测量)，将图像Img1、图像Img2(进行了平行化处理的情况下为图像Img1’、图像Img2’)中的一者作为基准图像且将另一者作为比较图像，进行基准图像中的任意的第二特征点与针对此第二特征点的比较图像中的对应点的立体匹配。此外，也可将图像Img2作为基准图像，将图像Img1作为比较图像。

首先，提取基准图像(例如图像Img1’)中的第二特征点，基于存在于所述第二特征点的规定的附近位置的、第一特征点的视差，计算第二特征点与对应点的视差的推定值。

此处，图8为示意性地表示步骤S40中所得的与多个第一特征点的间隔相应的、密度分布相对较粗的视差贴图的概念图。图8中，以行列进行了区分的各区域相当于基准图像中的单位像素，一并示出任意提取的作为第二特征点的像素GA、及作为存在于其附近位置且在视差贴图中视差已知的第一特征点的例如对象像素G10～对象像素G13(参照图7(A))。此处，对计算作为第二特征点的像素GA与其对应点的视差的推定值的方法的一例作以下说明。但是，所述推定方法不限定于以下的方法。而且，此处以第一特征点及第二特征点为不同的点且存在于彼此的附近位置的情况为例进行说明，但第一特征点及第二特征点也可为相同点，而且，即便在为不同点的情况下，也不限定于两者相互存在于附近位置的示例。进而，若第一特征点及第二特征点为不同的点，且通过立体相机以外的三维测量方式所求出的第一特征点的距离信息的精度充分，则通过将利用立体相机方式来求出第一特征点的距离信息的处理除外，从而可加快计算速度。

即，存在于作为第二特征点的像素GA的附近位置的、作为第一特征点的像素的视差为d的情况下，作为第二特征点的像素GA的视差d_GA例如可推定为满足下述式(6)的范围内的值。下述式(6)中，Δd表示可适当设定的容限(以下相同)。

[数4]

d-Δd≦d_GA≦d+Δd…(6)

而且，例如图8所示，在作为第二特征点的像素GA的附近位置存在作为可获得视差的第一特征点的多个对象像素G10～G13的情况下，使式(6)的概念发展，作为第二特征点的像素GA的视差d_GA例如也可推定为满足下述式(7)的范围内的值。下述式(7)中，min(d_n)表示选择最小的d_n的运算，max(d_n)表示选择最大的d_n的运算，d₀～d₃分别表示作为第一特征点的像素G10～像素G13的视差。

[数5]

min(d₀,d₁,d₂,d₃)-Δd≦d_GA≦max(d₀,d₁,d₂,d₃)+Δd…(7)

基于这样推定的作为第二特征点的像素GA的视差d_GA，而限定性地设定针对所述第二特征点的对应点的搜索区域(即，将搜索区域限定于狭窄范围)。接下来，在所述搜索区域中进行平行化图像Img1’、平行化图像Img2’的立体匹配，计算作为第二特征点的像素GA的真正的视差。此外，也可在立体匹配之前，视需要对平行化图像Img1’、平行化图像Img2’实施适当的滤波等前处理。此外，此处基于针对各第一特征点所得的视差中的多个(四个)视差来设定用于求出第二特征点的视差的搜索范围，但不限定于此，也可基于针对各第一特征点所得的视差中的一个、两个、三个或五个以上的视差，来设定用于求出第二特征点的视差的搜索范围。

通过对多个第二特征点(例如，作为图8所示的第一特征点的像素以外的所有像素)执行以上的处理，从而以补充与多个第一特征点的间隔相应的、密度分布相对较粗的视差贴图(图8)的方式，获得图像Img1、图像Img2的像素单位的密度分布相对较细的视差贴图(例如，计算作为图8所示的第一特征点的像素G10～像素G13以外的所有第二特征点的像素的视差)。

(步骤S60)

然后，步骤S60中，在时刻t7至时刻t8中，将步骤S30、步骤S50中所得的视差信息合并，换言之，将步骤S30中所得的密度分布相对较粗的视差贴图、与步骤S50中所得的密度分布相对较细的视差贴图合并，获得合并视差贴图(例如判明图8所示的所有像素的视差的贴图)。接下来，对所述合并视差贴图视需要实施适当的滤波等后处理后，将第一特征点及第二特征点的所有像素的视差转换为深度方向的距离(所谓视差-深度转换)，由此确定对象物OB的三维形状。

接下来，将所得的表示对象物OB的三维形状的三维点群图像视需要输出至显示器或打印机等，以使三维测量系统100的用户可看到，结束一系列处理。此处，图9(A)及图9(B)分别示出表示对于对象物OB的一例(金属制的工件)利用三维测量系统100所得的合并视差贴图的一例的图像ImgM(此处，以灰阶示意性地表示视差的大小)、及表示使用所述图像ImgM所复原的三维形状的三维点群图像Img3DM。

§4作用、效果

如以上那样，本实施方式的三维测量系统及三维测量方法的一例提供一种混合三维测量系统及其方法，所述混合三维测量系统将利用与立体相机方式不同的三维测量方式进行的三维测量、与可通过立体匹配来求出对象物的三维位置的利用立体相机方式进行的三维测量融合。

然而，本实施方式的一例并非将与立体相机方式不同的三维测量方式和立体相机方式仅简单地组合，而是使用以与立体相机方式不同的三维测量方式所得的三维信息(第一特征点的视差)，由此可与通常的立体相机方式相比，将立体匹配的针对第二特征点的对应点的搜索区域限定于特别窄的范围。

换言之，根据本实施方式的一例，可着眼于以与立体相机方式不同的三维测量方式获得的第一特征点间的像素，通过立体相机方式来补充针对所述像素(第二特征点及其对应点)的视差信息，通过将此时的立体匹配的搜索区域限定于可靠的狭窄范围，从而可达成极短的处理时间。其结果为，可大幅度地缩短具有像素单位的高测量分辨率的立体相机方式的立体匹配的搜索时间(如图5所示，步骤S40的处理时间为时刻t6至时刻t7的极短时间)及总体的处理时间。而且，通过这样限定搜索区域，从而可实现对于相互反射的优异稳健性，并且也可减轻立体匹配中的像素间的误对应。

此处，图10针对表面的性状不同的各种对象物OB，以表形式来表示下述图像的一览，所述图像表示利用各种方式进行三维测量结果最终获得的视差贴图。此外，在任一方式中，均使用本实施方式的三维测量系统100的传感器单元200作为传感器单元，图10中表示所得的两种图像Img1、Img2(其中，将图案删除)。而且，为方便起见，将仅利用主动单拍方式进行图像处理所得的结果、及仅利用立体相机方式进行图像处理所得的结果分别表示为“比较例1”及“比较例2”。而且，将利用本实施方式的三维测量系统100进行图像处理所得的结果表示为“实施例1”。进而，作为对象物OB，选定A.无纹理的对象物、B.具有形状边缘的对象物、C.具有纹理的对象物、及D.产生正反射的工件。而且，图10中，在针对各对象物OB利用各方式所得的视差贴图的图像的栏中，对显示良好的结果的图像标注“○”记号，对不显示良好的结果的图像标注“×”记号。

如图10所示，比较例1(仅利用主动单拍方式进行的图像处理)中，对于A.无纹理的对象物及D.产生正反射的工件获得了良好的结果，但对于B.具有形状边缘的对象物及C.具有纹理的对象物，未获得良好的结果。相反地，比较例2(仅利用立体相机方式进行的图像处理)中，对于B.具有形状边缘的对象物及C.具有纹理的对象物获得了良好的结果，但对于A.无纹理的对象物及D.产生正反射的工件，未获得良好的结果。相对于此，实施例1(利用本实施方式的三维测量系统100进行的图像处理)中，对于任一对象物OB均获得了良好的结果。这些结果可谓表示本实施方式的三维测量系统100相对于其他方式的优越性(特别是对于对象物OB的表面性状的差异的高稳健性)的一例。如此而确认到，本实施方式的一例将基于与立体相机方式不同的三维测量方式(例如主动单拍方式)及立体相机方式各自的测量原理的差异的、可测量区域的差异有效地组合，由此与以往相比获得优越的效果。

§5变形例

以上，对作为本公开的一例的实施方式进行了详细说明，但到此为止的所述说明在所有方面仅表示本公开的一例，当然可在不脱离本公开的范围的情况下进行各种改良或变形。例如，可进行以下那样的变更。此外，以下关于与所述实施方式同样的结构元件使用同样的符号，关于与所述实施方式同样的方面，适当省略说明。以下的变形例可适当组合。

＜5.1＞

例如，所述实施方式的运行例中的步骤S30的(1)第一图像处理中，提及了仅使用图像Img1、图像Img2中的图像Img1的情况，但(1)第一图像处理也可仅使用图像Img1、图像Img2中的图像Img2来实施，也可使用图像Img1、图像Img2两者来实施。

尤其根据使用图像Img1、图像Img2两者的结构，可获得两个密度分布相对较粗的视差贴图，因而可提高特征点的未知视差的推定的精度和/或准确度。而且，根据选择性地使用两个图像中相对较良好的任一个图像的结构，也可提高密度分布相对较粗的视差贴图自身的精度，因而此时也可提高特征点的未知视差的推定的精度和/或准确度。

此外，传感器单元200所包括的相机不限于各一台的第一相机210及第二相机220(合计两台)，第一相机210及第二相机220的至少任一者也可为多台(合计三台以上)。而且，由各相机拍摄的图像Img1、图像Img2分别不限于一个图像，当然分别可为多个图像。根据这些结构，用于获得密度分布相对较粗的视差贴图的图像的选择范围广，因而此时也可进一步提高特征点的未知视差的推定的精度和/或准确度，并且也可提高立体相机方式所用的两个图像的选择性，因而可进一步提高最终确定的三维形状的精度和/或准确度。

＜5.2＞

此处，使用图11(A)至(D)，对传感器单元200中的3D用投影仪110以及第一相机210及第二相机220的相对几何学配置的结构例进行说明。

＜5.2.1＞

图11(A)为示意性地表示传感器单元200的第一结构例的立体图。所述第一结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22配置于同一平面P1上，3D用投影仪110的光轴P11不配置于所述平面P1上。换言之，所述第一结构例构成为，3D用投影仪110的光轴P11配置于与由第一相机210的光轴P21及第二相机220的光轴P22划定的假想的平面P1上的位置不同的位置。而且，所述第一结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22的距离，和3D用投影仪110的光轴P11与第一相机210的光轴P21的距离、及3D用投影仪110的光轴P11与第二相机220的光轴P22的距离的任一个均同等。

所述第一结构例中，第一相机210与第二相机220的基线长(距离)，和3D用投影仪110与第一相机210的基线长、及3D用投影仪110与第二相机220的基线长的任一个均同等，因而可提高三维测量的测量精度。而且，此时可使利用第一相机210的由主动单拍方式所得的测量精度、与利用第二相机220的由主动单拍方式所得的测量精度同等，在以两个相机利用主动单拍方式进行三维测量的情况下有用。进而，可使传感器单元200的占据面积相对较小，因而可减少三维测量系统的设置面积。

＜5.2.2＞

图11(B)为示意性地表示传感器单元200的第二结构例的立体图。所述第二结构例也构成为，第一相机210的光轴P21与第二相机220的光轴P22配置于同一平面P1上，3D用投影仪110的光轴P11不配置于所述平面P1上。换言之，所述第二结构例也构成为，3D用投影仪110的光轴P11配置于与由第一相机210的光轴P21及第二相机220的光轴P22所划定的假想的平面P1上的位置不同的位置。而且，所述第二结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22的距离，较3D用投影仪110的光轴P11与第一相机210的光轴P21的距离更长。

所述第二结构例中，第一相机210与第二相机220的基线长较3D用投影仪110与第一相机210的基线长更大，因而可提高三维测量的测量精度。而且，此时也可使利用第二相机220的由主动单拍方式所得的测量精度较第一结构例(图11(A))中的由主动单拍方式所得的测量精度更高，在以单侧的相机利用主动单拍方式进行三维测量的情况下有用。进而，可使传感器单元200的占据面积相对较小，因而可减少三维测量系统的设置面积。

＜5.2.3＞

图11(C)为示意性地表示传感器单元200的第三结构例的立体图。所述第三结构例构成为，3D用投影仪110的光轴P11配置于由第一相机210的光轴P21及第二相机220的光轴P22划定的假想的平面P2上(即，全部配置于同一平面上)。而且，所述第三结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22的距离，和3D用投影仪110的光轴P11与第一相机210的光轴P21的距离、及3D用投影仪110的光轴P11与第二相机220的光轴P22的距离的任一个均同等。

所述第三结构例中，第一相机210与第二相机220的基线长较3D用投影仪110与第一相机210的基线长、及3D用投影仪110与第二相机220的基线长的任一个均更大，因而可提高三维测量的测量精度。而且，3D用投影仪110与第一相机210的基线长、及3D用投影仪110与第二相机220的基线长同等，因而可使利用第一相机210的由主动单拍方式所得的测量精度、与利用第二相机220的由主动单拍方式所得的测量精度同等，在以两个相机利用主动单拍方式进行三维测量的情况下有用。进而，可使第一相机210与第二相机220的基线长与例如第一结构例(图11(A))或第二结构例(图11(B))相比增大，因而若为其他测量参数或运算法则相同的条件，则可进一步提高由立体相机方式所得的测量精度，在即便扩大传感器单元200的设置面积也欲提高由立体相机方式所得的测量精度的情况下有用。

＜5.2.4＞

图11(D)为示意性地表示传感器单元200的第四结构例的立体图。所述第四结构例也构成为，3D用投影仪110的光轴P11配置于由第一相机210的光轴P21及第二相机220的光轴P22所划定的假想的平面P2上(即，全部配置于同一平面P2上)。而且，所述第四结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22的距离，和3D用投影仪110的光轴P11与第一相机210的光轴P21的距离同等。

所述第四结构例中，第一相机210与第二相机220的基线长和3D用投影仪110与第一相机210的基线长同等，因而可提高三维测量的测量精度。而且，此时可使利用第二相机220的由主动单拍方式所得的测量精度较第三结构例(图11(C))中的由主动单拍方式所得的测量精度更高，在以单侧的相机利用主动单拍方式进行三维测量，且欲进一步提高由主动单拍方式所得的测量精度的情况下有用。

＜5.3＞

接下来，使用图12(A)及(B)，对在传感器单元200中追加配置用于向对象物OB投射通常照明光的二维(Two Dimension，2D)用投影仪120的结构例进行说明。这样，2D用投影仪120相当于本公开的“投射部”(“第二投射部”)的一例，3D用投影仪110及2D用投影仪120相当于本公开的“投射部”的一例，具有2D用投影仪120的传感器单元200也相当于本公开的“投射部”的一例。

＜5.3.1＞

图12(A)为示意性地表示传感器单元200的第五结构例的立体图。所述第五结构例具有对图11(B)所示的第二结构例追加设有2D用投影仪120的配置。而且，所述第五结构例构成为，第一相机210的光轴P21与第二相机220的光轴P22配置于同一平面P1上，3D用投影仪110的光轴P11与2D用投影仪120的光轴P12配置于与平面P1不同的同一平面P3上。此外，设平面P1与平面P3平行。

所述第五结构例中，可将2D用投影仪120用作例如检查用途的一般照明，因而即便在对象物OB处于暗的周边环境下的情况下，也可适宜地实施三维形状的测量。而且，通过从2D用投影仪120获取拍摄经投射通常照明的对象物OB所得的图像，并将此图像、与例如预先设定或保持于计算机300的存储部303或图像记录部330的对象物OB的形状设计数据(CAD模型数据)比对，进行例如所谓CAD匹配，从而可更准确地把握对象物OB的位置姿势。

而且，所述第五结构例中，除了2D用投影仪120以外的传感器单元200的结构与第二结构例同样，因而可与第二结构例同样地提高三维测量的测量精度。而且，此时可使利用第二相机220的由主动单拍方式所得的测量精度较第一结构例(图11(A))中的由主动单拍方式所得的测量精度更高，在以单侧的相机利用主动单拍方式进行三维测量的情况下有用。进而，可使传感器单元200的占据面积相对较小，因而可减少三维测量系统的设置面积。

＜5.3.2＞

图12(B)为示意性地表示传感器单元200的第六结构例的立体图。所述第六结构例具有对图11(C)所示的第三结构例追加设有2D用投影仪120的配置。而且，所述第六结构例构成为，2D用投影仪120的光轴P12配置于由3D用投影仪110的光轴P11、第一相机210的光轴P21及第二相机220的光轴P22所划定的假想的平面P4上的位置(即，全部配置于同一平面P4上)，且2D用投影仪120配置于3D用投影仪110与第二相机220之间。

所述第六结构例中，可与第五结构例同样地，将2D用投影仪120用作例如检查用途的一般照明，因而即便在对象物OB处于暗的周边环境下的情况下，也可适宜地实施三维形状的测量。而且，通过从2D用投影仪120获取拍摄经投射通常照明的对象物OB所得的图像，并将此图像、与例如预先设定或保持于计算机300的存储部303或图像记录部330的对象物OB的形状设计数据(CAD模型数据)比对，进行例如所谓CAD匹配，从而可更准确地把握对象物OB的位置姿势。

而且，所述第六结构例中，第一相机210与第二相机220的基线长较3D用投影仪110与第一相机210的基线长、及3D用投影仪110与第二相机220的基线长的任一个均更大，因而可提高三维测量的测量精度。而且，此时可使利用第二相机220的由主动单拍方式所得的测量精度较第三结构例(图11(C))中的由主动单拍方式所得的测量精度更高，在以单侧的相机利用主动单拍方式进行三维测量，且欲进一步提高由主动单拍方式所得的测量精度的情况下有用。进而，可使第一相机210与第二相机220的基线长与例如第三结构例(图11(C))相比进一步增大，因而若其他测量参数或运算法则为相同的条件，则可进一步提高由立体相机方式所得的测量精度，在即便进一步扩大传感器单元200的设置面积也欲进一步提高由立体相机方式所得的测量精度的情况下有用。

＜5.4＞

此外，所述第一结构例至第六结构例的传感器单元200的配置是作为在下述情况时有用的结构而例示，即：作为与立体相机方式不同的三维测量方式，通过以三角测距作为基本原理的测量方式而获得测量信息，基于此测量信息来实施利用立体相机方式的立体匹配。

另一方面，作为使用其他三维测量方式的实施方式，可列举第七结构例，即：作为与立体相机方式不同的三维测量方式，利用以同轴测距作为基本原理的测量方式(各种TOF测定方式等)而获得测量信息，基于此测量信息来实施利用立体相机方式的立体匹配。所述第七结构例的情况下，也可使用图11(A)至(D)以及图12(A)及(B)所示的传感器单元200，这些中，3D用投影仪110(时间测量用的照明光)与第一相机210的基线长极短(距离接近)，且第一相机210与第二相机的基线长极长(距离变远)的图11(C)及图12(B)所示的配置可进一步提高测量精度，尤其图12(B)所示的配置有用。

＜5.5＞

而且，所述实施方式中，例如对下述结构进行了说明，即：使用第一相机210及第二相机220中的一者(单个)，利用主动单拍方式通过测量进行测距后，求出第一特征点的视差。另一方面，作为进而使用其他三维测量方式的实施方式，可列举第八结构例，即：在向对象物OB投影图案光的状态下，使用第一相机210及第二相机220两者来确定空间码，由此求出第一特征点的视差。利用所述第八结构例的测量具体而言可通过空间编码图案投影方式和/或时间编码图案投影方式来实施。

＜5.6＞

进而，使用图13(A)至(C)，对从传感器单元200的3D用投影仪110投射的3D用照明的投射区域S110的结构例进行说明。

＜5.6.1＞

图13(A)为示意性地表示传感器单元200的第九结构例的平面图。所述第九结构例包括下述3D用投影仪110，即：3D用照明的投射区域S110覆盖第一相机210的视角S210及第二相机220的视角S220的重复部分(共同视场)。所述第九结构例特别适于下述情况，即：在所述实施方式的三维测量系统100中，在一次3D用照明的投射时拍摄图像Img1、图像Img2，使用这些图像Img1、图像Img2进行混合三维测量。

＜5.6.2＞

图13(B)为示意性地表示传感器单元200的第十结构例的平面图。所述第十结构例包括下述3D用投影仪110，即：3D用照明的投射区域S110覆盖第一相机210的视角S210及第二相机220的视角S220的任一者(单一视场)整体。所述第十结构例在所述实施方式的三维测量系统100中拍摄主动单拍方式所用的图像时有用，此时，立体相机方式所用的图像可由不同的投射区域的其他照明(例如2D用投影仪)来拍摄。

＜5.6.3＞

图13(C)为示意性地表示传感器单元200的第十一结构例的平面图。所述第十一结构例包括下述3D用投影仪110，即：3D用照明的投射区域S110覆盖第一相机210的视角S210及第二相机220的视角S220两者的整体部分(多个视场)。所述第十一结构例可适宜地应对下述任一情况，即：在所述实施方式的三维测量系统100中，在一次3D用照明的投射时拍摄图像Img1、图像Img2，使用这些图像Img1、图像Img2进行混合三维测量的情况；以及分别拍摄主动单拍方式所用的图像与立体相机方式所用的图像的情况。

＜5.7＞

所述实施方式中，在步骤S30中，使用图像Img1、图像Img2的至少任一者来复原三维点群，此三维点群表示与测量光(图案光)所含的图案相应的、多个第一特征点的三维位置，但视对象物OB的形状或测量条件不同，也设想针对第一特征点的一部分而无法复原三维点群的情况。因此，所述第十二结构例构成为，在此情况下，例如针对与三维点群经复原的第一特征点的区域对应的第二特征点，基于第一特征点的视差将立体匹配的搜索范围设定为狭窄范围，另一方面，针对与三维点群未经复原的第一特征点的区域对应的第二特征点，将立体匹配的搜索范围设定为预定的规定范围。此外，所述第十二结构例的硬件结构可设为与其他实施方式及其他结构例同等。

根据所述第十二结构例，在关于对象物OB中的一部分，无法由在利用立体相机方式的三维测量之前的最初的三维测量(利用与立体相机方式不同的三维测量方式进行的三维测量；例如主动单拍方式)来复原三维点群的情况下，无需进行对图像Img1、图像Img2整体扩大搜索范围的立体匹配，可实现处理的高速化。

§6附记

以上说明的实施方式是为了容易地理解本公开，而非用于限定性地解释本公开。实施方式所包括的各元件以及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，可将不同实施方式所示的结构彼此局部地替换或组合。

(附记1)

一种三维测量系统(100)，包括：

摄像部(200)，具有相互远离配置的第一摄像部(210)及第二摄像部(220)，且拍摄所述对象物(OB)的互不相同的图像(Img1、Img2)；

第一计算部(350)，通过使用所述第一摄像部(210)及所述第二摄像部(220)的至少任一者，并使用与立体相机方式不同的三维测量方式的距离信息或用于计算距离的信息，从而计算所述图像中的第一特征点的视差(d₀～d₃)；以及

第二计算部(350)，使用所述第一摄像部(210)及所述第二摄像部(220)，通过立体相机方式来搜索针对第二特征点的对应点，基于所述搜索结果而计算所述第二特征点的视差，根据所述第一特征点的视差(d₀～d₃)及所述第二特征点的视差来确定所述对象物(OB)的三维形状，

所述第二计算部(350)基于所述第一特征点的视差(d₀～d₃)来设定针对所述第二特征点的所述对应点的搜索范围。

(附记2)

根据附记1所记载的三维测量系统(100)，包括：

投射部(200、110)，为了确定三维形状而向所述对象物(OB)投射测量光。

(附记3)

根据附记1或2所记载的三维测量系统(100)，其中，

所述第一特征点及所述第二特征点为相同点，或存在于彼此的附近位置。

(附记4)

根据附记1至3中任一项所记载的三维测量系统(100)，其中，

与所述立体相机方式不同的三维测量方式通过所述摄像部(200)进行的一次拍摄而获得所述对象物(OB)的三维信息。

(附记5)

根据附记1至4中任一项所记载的三维测量系统(100)，其中，

与不基于所述第一特征点的视差(d₀～d₃)来设定所述搜索范围的情况相比，所述第二计算部(350)降低所述立体相机方式的匹配程度的指标的阈值。

(附记6)

根据附记1至5中任一项所记载的三维测量系统，其中，

所述第一计算部(350)将表示所述第一特征点的三维位置的三维点群复原，

所述第二计算部(350)在针对所述第一特征点的一部分而未复原所述三维点群的情况下，针对与所述三维点群经复原的所述第一特征点的区域对应的所述第二特征点，基于所述第一特征点的视差(d₀～d₃)来设定所述搜索范围，且针对与所述三维点群未经复原的所述第一特征点的区域对应的所述第二特征点，将所述搜索范围设定为预定的规定范围。

(附记7)

根据附记1至6中任一项所记载的三维测量系统(100)，其中，

所述第一计算部(350)具有：第一图像处理部(351)，将表示所述第一特征点的三维位置的三维点群复原；以及第二图像处理部(352)，将经复原的所述三维点群中的各第一特征点的三维坐标二维投影于所述图像，求出所述各第一特征点的二维坐标，根据所述二维坐标而计算所述各第一特征点的视差(d₀～d₃)，

所述第二计算部(350)具有：第三图像处理部(353)，根据所述第一特征点的视差(d₀～d₃)而求出所述第二特征点的视差的推定值，基于所述第二特征点的视差的推定值来设定所述对应点的搜索区域，在所述搜索区域中进行所述第二特征点与所述对应点的立体匹配，由此计算所述第二特征点的视差；以及第四图像处理部(354)，基于所述第一特征点的视差(d₀～d₃)及所述第二特征点的视差来确定所述对象物(OB)的三维形状。

(附记8)

根据附记2至7中任一项所记载的三维测量系统(100)，其中，

所述第一摄像部(210)的光轴(P21)与所述第二摄像部(220)的光轴(P22)的距离，和所述投射部(110)的光轴(P11)与所述第一摄像部(210)的光轴(P21)或所述第二摄像部(220)的光轴(P22)的距离同等。

(附记9)

根据附记2至7中任一项所记载的三维测量系统(100)，其中，

所述第一摄像部(210)的光轴(P21)与所述第二摄像部(220)的光轴(P22)的距离，较所述投射部(110)的光轴(P11)与所述第一摄像部(210)的光轴(P21)或所述第二摄像部(220)的光轴(P22)的距离更长。

(附记10)

如附记2至9中任一项所记载的三维测量系统(100)，其中，

所述投射部(110)的光轴(P11)、所述第一摄像部(210)的光轴(P21)及所述第二摄像部(220)的光轴(P22)配置于同一平面(P2)上。

(附记11)

根据附记2至9中任一项所记载的三维测量系统(100)，其中，

所述第一摄像部(210)的光轴(P21)与所述第二摄像部(220)的光轴(P22)配置于同一平面(P1)上，所述投射部(110)的光轴(P11)不配置于所述平面(P1)上。

(附记12)

如附记2至11中任一项所记载的三维测量系统(100)，其中，

所述投射部(200、120)向所述对象物(OB)投射与所述测量光不同的通常照明光。

(附记13)

一种三维测量方法，使用三维测量系统(100)，所述三维测量系统(100)包括：摄像部(200)，具有相互远离配置的第一摄像部(210)及第二摄像部(220)；第一计算部(350)；以及第二计算部(350)，所述三维测量方法包括下述步骤：

所述摄像部(200)拍摄所述对象物(OB)的互不相同的图像(Img1、Img2)；

所述第一计算部(350)通过使用所述第一摄像部(210)及所述第二摄像部(220)的至少任一者，并使用与立体相机方式不同的三维测量方式的距离信息或用于计算距离的信息，从而计算所述图像中的第一特征点的视差(d₀～d₃)；以及

所述第二计算部(350)使用所述第一摄像部(210)及所述第二摄像部(220)，通过立体相机方式来搜索针对第二特征点的对应点，基于所述搜索结果而计算所述第二特征点的视差，根据所述第一特征点的视差(d₀～d₃)及所述第二特征点的视差来确定所述对象物(OB)的三维形状，

在确定所述对象物(OB)的三维形状的步骤中，所述第二计算部(350)基于所述第一特征点的视差(d₀～d₃)来设定针对所述第二特征点的所述对应点的搜索范围。

符号的说明

100：三维测量系统

110：3D用投影仪

111：激光光源

112：图案掩模

113：透镜

120：2D用投影仪

200：传感器单元

210：第一相机

220：第二相机

300：计算机

301：控制运算部

302：通信I/F部

303：存储部

304：输入部

305：输出部

306：总线

310：控制部

320：图像获取部

330：图像记录部

340：图像输出部

350：图像处理部

351：第一图像处理部

352：第二图像处理部

353：第三图像处理部

354：第四图像处理部

OB：对象物

d₀～d₃：第一特征点的视差

d_GA：像素(第二特征点)的视差(的推定值)

G10～G13：作为第一特征点的像素

G20～G23：作为第一特征点的像素

GA：像素(第二特征点)

Img1、Img2：图像

Img1’、Img2’：平行化图像

Img10、Img20：二维投影的图像

Img3D1、Img3DM：三维点群图像

ImgM：图像(合并视差贴图)

P1、P2、P3、P4：假想的平面

P11、P12、P21、P22：光轴

S10～S60：步骤

S110：投射区域

S210、S220：视角

t1～t8：时刻