阅读说明：本技术 三维测定装置、三维测定方法以及程序 (Three-dimensional measurement device, three-dimensional measurement method, and program ) 是由 松本慎也 大西康裕 于 2019-02-06 设计创作，主要内容包括：本发明提供一种三维测定装置等,可提高针对拍摄条件变动的稳健性,并且以更高分辨率测定对象物的三维形状。三维测定装置包括：投光部,向对象物投射将数据进行编码而成的图案；摄像部,拍摄经投射图案的对象物的图像；以及算出部,基于特征点的位置及经解码的数据来算出三维点群的位置,图案包含多个至少表示二位且用于算出三维点群的位置的单位图案,单位图案包含第一区域、及面积大于第一区域的第二区域,第一区域与第二区域的面积比为0.3以上且0.9以下。(The invention provides a three-dimensional measuring device and the like, which can improve the robustness against the change of the shooting condition and measure the three-dimensional shape of an object with higher resolution. The three-dimensional measurement device includes: a light projecting unit for projecting a pattern obtained by encoding data onto an object; an image pickup unit that picks up an image of the object having the projected pattern; and a calculation unit that calculates the position of the three-dimensional point group based on the position of the feature point and the decoded data, wherein the pattern includes a plurality of unit patterns that represent at least two bits and calculate the position of the three-dimensional point group, the unit patterns include a first region and a second region having an area larger than that of the first region, and the area ratio between the first region and the second region is 0.3 to 0.9.)

三维测定装置、三维测定方法以及程序

技术领域

本发明涉及一种三维测定装置、三维测定方法以及程序。

背景技术

近年来，正使用下述系统，即：向对象物投射经编码的图案或随机点图案，对经投射所述图案的对象物进行拍摄，对拍摄的图像进行分析，由此测定对象物的三维形状。

下述专利文献1中记载了一种决定物体(object)的三维形状的方法，此方法获取向物体投射图案所得的图像，从图像中选择基准成分，求出基准成分以外的图案成分的相对坐标，通过基于几何学模型的相对坐标的线性转换来决定物体的位置的相对深度。

下述专利文献2中记载了下述方法，即：拍摄被投射了经编码的图案的物体的、第一图像及第二图像，沿着第二图像的极线(epipolar line)搜索第一图像的像素区域，由此根据物体的二维图像来获取距离数据。

现有技术文献

专利文献

专利文献1：美国专利第6510244号说明书

专利文献2：美国专利第8208719号说明书

发明内容

发明所要解决的问题

专利文献1及专利文献2中，记载了测定人物等相对较大的对象物的三维形状的技术，但在测定相对较小的对象物的三维形状的情况下，需要以更高分辨率测定对象物的三维形状。因此，想到将图案设为更高密度而向对象物投射。但是，发明人发现，在测定散装的零件等相对较小的对象物的三维形状的情况下，有时图案投射于对象物的斜面而歪斜，或图案的对比度因环境光等或对象物的纹理(texture)的影响而降低，或由对象物的表面的凹凸导致图案变形，仅使图案简单地变细的情况下，有时难以测定三维形状。即，仅使图案简单地变细的情况下，针对拍摄条件变动的稳健性受损。

因此，本发明提供一种可提高针对拍摄条件变动的稳健性并且以更高分辨率测定对象物的三维形状的三维测定装置、三维测定方法以及程序。

解决问题的技术手段

本公开的一形态的三维测定装置包括：投光部，向对象物投射通过二维结构将数据进行编码而成的图案；摄像部，拍摄经投射图案的对象物的图像；以及算出部，提取图案的特征点，基于图像中的特征点的位置及经解码的数据，算出表示对象物的三维形状的、三维点群的位置，图案包含多个最小单位的单位图案，所述最小单位的单位图案至少表示二位，含有特征点，用于算出三维点群的位置，单位图案包含第一区域、及与第一区域相区分且面积大于第一区域的第二区域，第一区域的面积除以第二区域的面积所得的面积比为0.3以上且0.9以下。此处，对象物可为任意的物体，例如可为散装的零件。而且，图案的二维结构可为任意的结构，可为将单位图案以格子状铺满的结构。图案的特征点例如可为单位图案的中心点。而且，单位图案例如可在正方形的内部利用第一区域及第二区域来表示任意的花纹。此外，单位图案的外形可设为长方形，或为平行四边形。而且，第一区域及第二区域可根据由摄像部所拍摄的图像的各像素的像素值来区分。例如，可通过像素的亮度值来区分第一区域及第二区域，可根据亮度值是否为阈值以上来区分第一区域及第二区域。

根据所述形态，单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，由此即便在拍摄条件变动的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

所述形态中，单位图案在图像上为短边为3像素以上且10像素以下的四边形。此处，单位图案的短边可为单位图案的四边中最短的边。

根据所述形态，单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上的四边形，由此即便在拍摄条件变动的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。而且，单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为10像素以下的四边形，由此可高密度地排列将数据进行编码而成的二维结构，可使提取的特征点的密度增大。因此，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

所述形态中，在图像上，第一区域的面积除以第二区域的面积所得的面积比可为0.3以上且0.9以下。

根据所述形态，不仅由投光部所投射的单位图案的第一区域的面积除以第二区域的面积所得的面积比为0.3以上且0.9以下，而且由摄像部拍摄的单位图案中，第一区域的面积除以第二区域的面积所得的面积比也为0.3以上且0.9以下，由此可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

所述形态中，可还包括：设定部，根据图像上的单位图案的短边的像素数，来设定由投光部投射的图案的面积比的范围。

根据所述形态，根据图像上的单位图案的短边的像素数来设定单位图案所含的第一区域与第二区域的面积比的范围，由此可根据图像上的单位图案的密度来设定第一区域与第二区域的面积比的范围，可调整测定对象物的三维形状的分辨率、与针对拍摄条件变动的稳健性的平衡。

所述形态中，设定部也能以随着图像上的单位图案的短边的像素数变少而缩窄面积比的范围的方式进行设定。

根据所述形态，能以随着图像上的单位图案的密度变高而缩窄第一区域与第二区域的面积比的范围的方式进行设定，可随着测定对象物的三维形状的分辨率变高，而将第一区域与第二区域的面积比的范围限制于能确保针对拍摄条件变动的稳健性的范围。因此，可调整测定对象物的三维形状的分辨率、与针对拍摄条件变动的稳健性的平衡。

所述形态中，第一区域及第二区域也可通过由投光部投射的光的明暗来区分。

根据所述形态，通过光的明暗来区分第一区域及第二区域，由此即便为拍摄单色图像的摄像部也可辨识图案，可简化摄像部的构成而降低三维测定装置的成本。

所述形态中，第一区域及第二区域也可通过由投光部投射的光的波段来区分。

根据所述形态，通过光的波段来区分第一区域及第二区域，由此即便在环境光等白色光照射于对象物的情况下，第一区域及第二区域的差别也不易变化，容易辨识第一区域及第二区域。

所述形态中，第一区域及第二区域也可通过由投光部投射的光的偏振来区分。

根据所述形态，通过光的偏振来区分第一区域及第二区域，由此即便在环境光等光照射于对象物的情况下，第一区域及第二区域的差别也不易变化，容易辨识第一区域及第二区域。

所述形态中，单位图案也可含有第一区域不分离地连续的二维形状。

根据所述形态，可使单位图案的二维结构简单，容易辨识第一区域及第二区域。

所述形态中，单位图案也可含有第一区域隔着第二区域而分离的二维形状。

根据所述形态，可由单位图案构成各种二维结构，可提高经编码成单位图案的数据的密度。由此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配(matching)，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

所述形态中，图案也可包含：含有第一区域不分离地连续的二维形状的单位图案、及含有第一区域隔着第二区域而分离的二维形状的单位图案。

根据所述形态，可增加单位图案的二维结构的变化(variation)，增加能由单位图案表示的位数，使通过图案进行编码的数据的密度提高。因此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

所述形态中，第一区域也可在单位图案中，隔着第二区域而分离为两个。

根据所述形态，可使单位图案的二维结构相对较简单，容易辨识第一区域及第二区域，并且增加能由单位图案表示的数据量，使通过图案进行编码的数据的密度提高。因此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

所述形态中，第一区域也可在单位图案中，隔着第二区域而分离为三个以上。

根据所述形态，使单位图案的二维结构相对较复杂，能由单位图案表示的位数增加，容易确定单位图案的位置。因此，可确保针对拍摄条件变动的稳健性，并且缩短窗口匹配(window matching)的处理时间，减少用于测定对象物的三维形状的、图像识别的运算负荷。

所述形态中，投光部可包含调制元件，此调制元件调制所投射的图案的大小。

根据所述形态，可根据被投射图案的对象物的凹凸或倾斜度来调制图案的大小，确保针对拍摄条件变动的稳健性。而且，通过以增大图案的方式进行调制，增大图像上的短边的像素数，从而可减少三维点群的个数，减少用于测定对象物的三维形状的、图像识别的运算负荷。

本公开的另一形态的三维测定方法包括：向对象物投射通过二维结构将数据进行编码而成的图案；拍摄经投射图案的对象物的图像；以及提取图案的特征点，基于图像中的特征点的位置及经解码的数据，算出表示对象物的三维形状的、三维点群的位置，图案包含多个单位图案，所述单位图案至少表示二位，含有特征点，用于算出三维点群的位置，单位图案在图像上为短边为3像素以上且10像素以下的四边形。

根据所述形态，单位图案在图像上为短边为3像素以上的四边形，由此即便在拍摄条件变动的情况下，也可提取单位图案的特征点，将单位图案所表示的数据解码。而且，单位图案在图像上为短边为10像素以下的四边形，由此可高密度地排列将数据进行编码而成的二维结构，可使提取的特征点的密度增大。因此，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

本公开的另一形态的三维测定程序使三维测定装置所包括的运算部作为算出部而运行，所述三维测定装置包括：投光部，向对象物投射通过二维结构将数据进行编码而成的图案；以及摄像部，拍摄经投射图案的对象物的图像，所述算出部提取图案的特征点，基于图像中的特征点的位置及经解码的数据，算出表示对象物的三维形状的、三维点群的位置，图案包含多个单位图案，所述单位图案至少表示二位，含有特征点，用于算出三维点群的位置，单位图案在图像上为短边为3像素以上且10像素以下的四边形。

根据所述形态，单位图案在图像上为短边为3像素以上的四边形，由此即便在拍摄条件变动的情况下，也可提取单位图案的特征点，将单位图案所表示的数据解码。而且，单位图案在图像上为短边为10像素以下的四边形，由此可高密度地排列将数据进行编码而成的二维结构，可使提取的特征点的密度增大。因此，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

发明的效果

根据本发明，可提供一种三维测定装置、三维测定方法以及程序，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

附图说明

图1为本公开的实施方式的三维测定装置的功能框图。

图2为表示本实施方式的三维测定装置的控制部及识别部的物理构成的图。

图3为表示由本实施方式的三维测定装置的投光部投射的图案的一例的图。

图4为表示由本实施方式的三维测定装置的投光部投射的单位图案的示例的图。

图5为表示由本实施方式的三维测定装置的投光部投射的、第一区域及第二区域的面积比不同的图案的示例的图。

图6为表示因拍摄条件变动而混乱的图案的示例的图。

图7为针对以第一形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图8为针对以第二形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图9为针对以第三形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图10为表示由本实施方式的三维测定装置的投光部投射的、由编码图案不同的图形的组合所构成的单位图案的示例的图。

图11为表示由本实施方式的三维测定装置的投光部所投射，由编码图案不同的图形的组合所构成，且第一区域及第二区域的面积比不同的图案的其他示例的图。

图12为针对以第一形态混乱的其他示例的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图13为针对以第二形态混乱的其他示例的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图14为针对以第三形态混乱的其他示例的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。

图15为列举由本实施方式的三维测定装置的投光部所投射，由编码图案不同的图形的组合所构成，且第一区域及第二区域的面积比不同的图案的示例的图。

图16为由本实施方式的三维测定装置执行的对象物的三维形状的测定处理的流程图。

图17为表示由本实施方式的第一变形例的三维测定装置的投光部投射的单位图案的示例的图。

图18为表示由本实施方式的第二变形例的三维测定装置的投光部投射的单位图案的示例的图。

图19为表示由本实施方式的第三变形例的三维测定装置的投光部投射的图案的示例的图。

图20为表示由本实施方式的第四变形例的三维测定装置的投光部投射的图案的示例的图。

图21为表示由本实施方式的第五变形例的三维测定装置的投光部投射的单位图案的示例的图。

具体实施方式

以下，基于附图对本发明的一方面的实施方式(以下表述为“本实施方式”)进行说明。此外，各图中，标注相同符号的部分具有相同或同样的构成。

§1适用例

首先，使用图1对适用本发明的场景的一例进行说明。图1为本公开的实施方式的三维测定装置10的功能框图。本实施方式的三维测定装置10包括：投光部20，向对象物投射通过二维结构将数据进行编码而成的图案；摄像部30，拍摄经投射图案的对象物的图像；控制部40，控制投光部20及摄像部30，基于所拍摄的图像而输出表示对象物的三维形状的三维点群；以及识别部50，基于三维点群来识别对象物的三维形状。此外，三维测定装置10也可未必包括识别部50，识别部50也可包含能与三维测定装置10通信的另外的装置。而且，对象物例如既可为散装的零件，也可为平放的零件等任意物品。

投光部20可向对象物投射包含多个单位图案的图案，所述单位图案至少表示二位，含有特征点，用于算出三维点群的位置。投光部20例如可向对象物投射四边形的单位图案以格子状铺满的图案。然而，图案可包含任意形状的单位图案，例如也可包含圆形、曲面、随机点、栅格状及波状中至少任一形状的单位图案。而且，单位图案能以可根据单位图案的排列顺序来确定格子的列的方式排列。而且，四边形的单位图案例如可在正方形的内部表示任意的花纹，单位图案的外形也可设为长方形，或为平行四边形。

摄像部30相对于投光部20而以规定的距离及角度配置，且拍摄经投射图案的对象物的图像。图像中，拍摄到根据对象物的位置或方位等的状态而变形的图案。摄像部30可为一台，为了测定对象物的三维形状，只要拍摄一张图像即可。然而，三维测定装置10也可包括多个摄像部。而且，摄像部30既可拍摄一张对象物的图像，也可拍摄多张。

控制部40提取图案的特征点，基于图像中的特征点的位置及经解码的数据，算出表示对象物的三维形状的、三维点群的位置。本实施方式中，控制部40提取单位图案的中心作为特征点，基于单位图案所含的第一区域及第二区域的二维形状，将单位图案所表示的数据解码。此处，单位图案的第一区域及第二区域为互相可区分的区域，例如可为通过投射的光的明暗来进行区分的区域。而且，图像上的第一区域及第二区域可根据由摄像部30拍摄的图像的各像素的像素值来区分。例如，可通过像素的亮度值来区分第一区域及第二区域，可根据亮度值是否为阈值以上来区分第一区域及第二区域。本实施方式中，第二区域定义为面积大于第一区域的区域。此外，第一区域及第二区域的定义也可相反，也可将第一区域定义为面积大于第二区域的区域。此外，控制部40只要对投影于摄像部30的景深内的图案提取特征点即可，关于投影于景深外而模糊地拍摄的图案，也可不提取特征点。即，在由于模糊的影响而第一区域与第二区域的区分变得不明确的情况下，也可不将所述单位图案用于三维点群的位置的算出。

控制部40例如针对图像上的关注像素所属的列，将邻接的单位图案所表示的数据解码，基于数据的排列顺序，确定关注像素所属的列对应于由投光部20所投射的图案的哪一列。确定由投光部20所投射的图案的列后，确定经过所确定的列及投光部20的光源而贯穿对象物的平面。而且，确定经过图像上的关注像素、及投射于对象物的图案中对应于关注像素的单位图案的直线。此处，若投光部20与摄像部30之间的距离及角度已知，则可利用三角测量的方法来算出经过投光部20的平面与经过摄像部30的直线的交点到三维测定装置10的距离、即到对象物的距离。这样，控制部40可由一个单位图案来算出表示对象物的三维形状的、三维点群的一个点的位置。而且，控制部40可通过窗口匹配来确定图案所含的多个单位图案，针对所确定的多个单位图案分别算出三维点群的位置。此外，控制部40也可使用极线约束(epipolar constraint)，不仅确定由投光部20投射的图案的列，而且也确定行。

为了以更高分辨率测定对象物的三维形状，想到更高密度地排列将数据编码而成的单位图案并向对象物投射图案。关于单位图案的大小，存在由摄像部30的分辨率、即摄像部30所具有的光接收元件的密度所致的限制。假设更高密度地排列将数据进行编码而成的单位图案，图像上的单位图案的短边小于3像素，则难以基于图像来提取单位图案的特征点，或难以辨识单位图案的第一区域与第二区域，难以测定三维形状。因此，关于单位图案的大小，期望在图像上短边为3像素以上。若单位图案的短边在图像上为3像素以上，则例如可通过像素的明暗来辨识第一区域与第二区域，可将单位图案的特征点及单位图案所表示的数据解码。此外，所谓短边，可为单位图案的四边中最短的边。

而且，通过将单位图案在图像上的大小设为短边为10像素以下，从而可高密度地排列将数据进行编码而成的单位图案，以更高分辨率测定对象物的三维形状。此外，单位图案在图像上的大小可设为短边为9像素以下，或为8像素以下。

总而言之，由本实施方式的三维测定装置10的摄像部30拍摄的图像可为向对象物投射下述图案而得的图像，所述图案包含多个在图像上为短边为3像素以上且10像素以下的四边形的单位图案。

发明人发现，仅提高单位图案的排列密度而使图案简单地变得微细时，在图案的对比度因环境光等的影响而降低的情况、或投射于斜面而图案歪斜的情况等下，难以测定对象物的三维形状。即，仅使图案简单地变得微细时，针对拍摄条件变动的稳健性受损。相对于此，发明人对单位图案所含的第一区域及第二区域的形状进行各种变更，来验证针对拍摄条件变动的稳健性。另外发现，若第一区域的面积除以第二区域的面积所得的面积比为0.3以上且0.9以下，则即便在拍摄条件变动的情况下，也可从单位图案中提取特征点，或将单位图案所表示的数据解码。此处，单位图案所含的第一区域的面积除以第二区域的面积所得的面积比在由投光部20投射的图案中可为0.3以上且0.9以下，在由摄像部30拍摄的图像上，也可为0.3以上且0.9以下。此外，即便在由投光部20所投射的图案中，对第一区域或第二区域附加有噪声，第一区域的面积除以第二区域的面积所得的面积比稍许偏离0.3以上且0.9以下的范围，只要在由摄像部30所拍摄的图像上，第一区域的面积除以第二区域的面积所得的面积比为0.3以上且0.9以下，则即便在拍摄条件变动的情况下，也可从单位图案中提取特征点，或将单位图案所表示的数据解码。此处，所谓噪声，可为所投射的图案的第一区域中所含的第二区域，且此第二区域微小至在所拍摄的图像上不被识别为一个像素的程度。而且，也可与此相反，即，所谓噪声，也可为所投射的图案的第二区域中所含的第一区域，且此第一区域微小至在所拍摄的图像上不被识别为一个像素的程度。

根据本实施方式的三维测定装置10，单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上的四边形，由此即便在拍摄条件变动的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。而且，单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为10像素以下的四边形，由此可高密度地排列将数据进行编码而成的二维结构，可使提取的特征点的密度及编码的数据量增大。因此，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

§2构成例

[功能构成]

＜投光部＞

投光部20向对象物投射通过二维结构将数据进行编码而成的图案，投射的图案可使用任意图案。关于图案的具体例，将使用图3等在下文中详细说明。

由投光部20投射的图案可为铺满四边形的多个单位图案的图案，单位图案可含有第一区域及第二区域。此处，第一区域及第二区域可通过由投光部20投射的光的明暗来区分。例如，可将第一区域定义为经光照射的亮区域，将第二区域定义为未经光照射的暗区域，也可与此相反。通过根据光的明暗来区分第一区域及第二区域，即便为拍摄单色图像的摄像部30也可辨识图案，可简化摄像部30的构成而降低三维测定装置10的成本。

而且，单位图案的第一区域及第二区域也可通过由投光部20投射的光的波段来区分。例如，可将第一区域定义为经波段为450nm左右的蓝色光照射的区域，将第二区域定义为经波段为650nm左右的红色光照射的区域，也可与此相反。作为其他示例，可将第一区域定义为经波段为450nm左右的蓝色光照射的区域，将第二区域定义为经波段为580nm左右的黄色光照射的区域，也可与此相反。作为又一例，可将第一区域定义为经波段为450nm左右的蓝色光照射的区域，将第二区域定义为经波段为1μm左右的红外线照射的区域，也可与此相反。通过这样根据照射的光的波段来区分第一区域及第二区域，从而即便在环境光等白色光照射于对象物的情况下，第一区域及第二区域的差别也不易变化，容易辨识第一区域及第二区域。此外，也可根据对象物的吸光度，来选择单位图案的第一区域及第二区域的差异变得明显的波段的组合，辨识第一区域及第二区域。而且，也可根据摄像部30的摄像元件的分光灵敏度，来选择单位图案的第一区域及第二区域的差异变得明显的波段的组合，辨识第一区域及第二区域。

而且，单位图案的第一区域及第二区域也可通过由投光部20投射的光的偏振来区分。例如，可将第一区域定义为向第一方向直线偏振的光所照射的区域，将第二区域定义为向与第一方向正交的第二方向直线偏振的光所照射的区域，也可与此相反。而且，作为其他示例，可将第一区域定义为相对于光的行进方向而顺时针圆偏振的光所照射的区域，将第二区域定义为相对于光的行进方向而逆时针圆偏振的光所照射的区域，也可与此相反。此外，也可根据对象物的偏振光的吸光度，来选择单位图案的第一区域及第二区域的差异变得明显的偏振光的组合，辨识第一区域及第二区域。通过这样根据光的偏振来区分第一区域及第二区域，从而例如针对黑体或透明体等对象物，即便在环境光等光照射于对象物的情况下，第一区域及第二区域的差别也不易变化，容易辨识第一区域及第二区域。

投光部20既可为投射任意的固定图案的投影仪(projector)，也可为通过微机电系统(Micro Electro-Mechanical Systems，MEMS)等在每单位时间投射一个固定图案的投影仪。投光部20也可包含调制所投射的图案的大小的调制元件，例如可根据对象物的凹凸或倾斜度调制所投射的图案的大小。通过根据对象物的状态来调制图案的大小，从而可确保针对拍摄条件变动的稳健性。而且，通过以增大图案的方式调制，增大图像上的短边的像素数，从而可减少三维点群的个数，减少用于测定对象物的三维形状的、图像识别的运算负荷。

＜摄像部＞

摄像部30拍摄经投射图案的对象物的图像，可将所拍摄的图像输出至控制部40，或输出至其他机器。摄像部30可与投光部20以规定的距离及角度配置，例如，投光部20投射光的方向与摄像部30的拍摄方向大致相同，能以规定的距离配置于同一平面上。

＜控制部＞

控制部40包含图像输入部41、图像记录部42、算出部43、三维点群输出部44及设定部45。图像输入部41从摄像部30获取由摄像部30所拍摄的图像，输入至图像记录部42。图像记录部42将由摄像部30所拍摄的图像记录于存储器。

算出部43提取所拍摄的图案的特征点。算出部43可针对图案所含的每个单位图案提取特征点，例如可提取单位图案的中心作为特征点。而且，算出部43基于单位图案所含的第一区域及第二区域的二维形状，将单位图案所表示的数据解码。另外，算出部43基于图像中的特征点的位置及经解码的数据，算出表示对象物的三维形状的、三维点群的位置。更具体而言，针对关注的单位图案及和关注的单位图案邻接的单位图案，将单位图案所表示的数据解码，根据数据的排列顺序来确定关注的单位图案所属的列。接下来，基于从关注的单位图案中提取的特征点在图像上的位置、及所确定的列，通过三角测量来算出到对象物的距离。此外，算出部43也可使用极线约束，不仅确定关注的单位图案所属的列，而且也确定关注的单位图案所属的行。这样，可针对多个单位图案算出表示对象物的三维形状的多个点的位置，表示对象物的三维形状。

三维点群输出部44将所算出的三维点群的数据输出至识别部50。三维点群输出部44也可将三维点群的数据输出至显示部，或输出至三维测定装置10以外的装置。

设定部45可设定由投光部20投射的图案，或者设定摄像部30的光圈或曝光时间等。设定部45可根据图像上的单位图案的短边的像素数，来设定由投光部20投射的图案所含的单位图案的第一区域与第二区域的面积比的范围。即，设定部45可根据图像上的单位图案的短边的像素数，将第一区域与第二区域的面积比设为0.3以上且0.9以下的范围，或较0.3以上且0.9以下的范围更窄。通过这样根据图像上的单位图案的短边的像素数来设定单位图案所含的第一区域与第二区域的面积比的范围，从而可根据图像上的单位图案的密度来设定第一区域与第二区域的面积比的范围，可调整测定对象物的三维形状的分辨率、与针对拍摄条件变动的稳健性的平衡。

而且，设定部45能以随着图像上的单位图案的短边的像素数变少而缩窄第一区域与第二区域的面积比的范围的方式进行设定。例如，能以如下方式进行设定，即：在图像上的单位图案的短边的像素数为10像素的情况下，将第一区域与第二区域的面积比设为0.3以上且0.9以下的范围，随着图像上的单位图案的短边的像素数变得少于10像素，而使第一区域与第二区域的面积比窄于0.3以上且0.9以下的范围。由此，能以随着图像上的单位图案的密度变高而缩窄第一区域与第二区域的面积比的范围的方式进行设定，可随着测定对象物的三维形状的分辨率变高，将第一区域与第二区域的面积比的范围限制于能确保针对拍摄条件变动的稳健性的范围。因此，可调整测定对象物的三维形状的分辨率、与针对拍摄条件变动的稳健性的平衡。

＜识别部＞

识别部50包含计算机辅助设计(Computer Aided Design，CAD)模型存储部51、CAD匹配计算部52及CAD匹配输出部53。CAD模型存储部51可存储对象物的三维CAD模型。CAD匹配计算部52可进行从三维点群输出部44获取的三维点群、与存储于CAD模型存储部51的对象物的三维CAD模型的匹配。三维点群与三维CAD模型的匹配可通过任意的运算法则(algorithm)来进行。CAD匹配输出部53可将由CAD匹配计算部52计算出的匹配的结果输出至显示部或其他机器。

[硬件构成]

＜投光部＞

接下来，对本实施方式的三维测定装置10的硬件构成的一例进行说明。投光部20可含有光源、及用于生成具有图案的光的光掩模(photomask)，例如可含有激光光源及折射光学元件。而且，投光部20可为具有形成固定图案的光学元件及作为光调制元件的数字光处理器(Digital Light Processing，DLP)、液晶显示器(Liquid Crystal Display，LCD)、硅基液晶(Liquid Crystal On Silicon，LCOS)或微机电系统(Micro Electro-MechanicalSystems，MEMS)等的投影仪，可包含调制所投射的图案的大小的调制元件。投光部20可使来自激光光源的光入射至折射光学元件，利用形成于折射光学元件的表面的折射图案，生成具有二维结构的光。此外，投光部20可含有透镜等任意的光学构件，从光源出射的光的波段不限于可见光区域，也可为红外区域或紫外区域的波段。

＜摄像部＞

摄像部30可为至少含有光接收元件的相机，所述光接收元件检测由投光部20所投射的光。摄像部30可含有分离波长的滤波器、分离偏振光的滤波器或其他透镜等任意的光学构件。

＜控制部及识别部＞

图2为表示本实施方式的三维测定装置10的控制部40及识别部50的物理构成的图。三维测定装置10具有相当于运算部的中央处理器(Central Processing Unit，CPU)10a、相当于存储部的随机存取存储器(Random Access Memory，RAM)10b、相当于存储部的只读存储器(Read only Memory，ROM)10c、通信部10d、输入部10e及显示部10f。这些各构成经由总线而互相可收发数据地连接。此外，本例中对三维测定装置10包含一台计算机的情况进行说明，但三维测定装置10也可使用多台计算机来实现。

CPU 10a为进行与RAM 10b或ROM 10c中存储的程序的执行有关的控制或数据的运算、加工的控制部。CPU 10a为执行下述程序(三维测定程序)的运算部，即：基于经投射图案的对象物的图像，算出表示对象物的三维形状的、三维点群的位置，进行三维点群与三维CAD模型的匹配。CPU 10a从输入部10e或通信部10d接收各种输入数据，将输入数据的运算结果显示于显示部10f，或者保存于RAM 10b或ROM 10c。此外，虽图2中未记载，但也可通过图形处理器(Graphical Processing Unit，GPU)、张量处理器(Tensor Processing Unit，TPU)等专用集成电路(Application Specific Integrated Circuit，ASIC)等进行并列运算处理的单元，来进行与三维形状的测定有关的机械学习的运算。

RAM 10b在存储部中可改写数据，例如包含半导体存储元件。RAM 10b可存储CPU10a执行的三维测定程序、从摄像部30获取的对象物的图像、与所算出的三维点群有关的数据、对象物的三维CAD模型等数据。此外，这些为例示，RAM 10b中既可存储这些以外的数据，也可不存储这些的一部分。

ROM 10c在存储部中可读出数据，例如包含半导体存储元件。ROM 10c例如可存储三维测定程序、或不进行改写的数据。

通信部10d为将三维测定装置10连接于其他机器的接口。通信部10d可通过例如局域网(Local Area Network，LAN)而与投光部20及摄像部30连接，对投光部20发送与图案的设定有关的信息，对摄像部30发送与光圈、曝光时间或快门速度(shutter speed)等的设定有关的信息。而且，通信部10d可从摄像部30接收对象物的图像。而且，通信部10d可连接于国际互联网(Internet)等通信网络。进而，也可通过现场可编程门阵列(Field-Programmable Gate Array，FPGA)来控制投光部20的投光时间，或控制投光部20的光调制元件，或控制拍摄物30的曝光时时间或快门速度。

输入部10e从用户受理数据的输入，例如包含键盘(keyboard)、鼠标(mouse)及触摸屏(touch panel)。

显示部10f以视觉形式显示由CPU 10a得出的运算结果，例如包含液晶显示器(Liquid Crystal Display，LCD)。显示部10f例如可显示由摄像部30拍摄的对象物的图像，或显示所算出的三维点群，或显示与三维点群匹配的三维CAD模型。

三维测定程序既可存储于RAM 10b或ROM 10c等计算机可读取的存储介质而提供，也可经由通过通信部10d而连接的通信网络来提供。三维测定装置10通过CPU 10a执行三维测定程序，从而实现使用图1所说明的各种运行。此外，这些物理构成为例示，且也可未必为独立的构成。例如，三维测定装置10也可包括CPU 10a与RAM 10b或ROM 10c一体化的大规模集成电路(Large-Scale Integration，LSI)。

§3运行例

图3为表示由本实施方式的三维测定装置10的投光部20投射的图案的一例的图。此图中，将由投光部20投射的图案的一部分放大而图示。由投光部20投射的图案包含经排列成N×M(N及M为任意的自然数)的格子状的单位图案U，且包含经排列成n×m(n为小于N的自然数，m为小于M的自然数)的格子状的单位图案U归一而成的编码区域A。本例的图案中，经排列成2×2的格子状的单位图案U归一而构成一个编码区域A，由一个编码区域A来解码一个数据。邻接的编码区域A重复地含有单位图案U。

图4为表示由本实施方式的三维测定装置10的投光部20投射的单位图案的示例的图。此图中，图示了第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4。第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4为含有第一区域S1及第二区域S2的图案，具有在以相对较大的正方形构成的格子花纹的中央配置有一个相对较小的正方形的二维结构。

第一单位图案U1在左下和右上含有白色的第一区域S1，从左上到右下含有黑色的第二区域S2。第二单位图案U2在左上和右下含有白色的第一区域S1，从左下到右上含有黑色的第二区域S2。第三单位图案U3在左上和右下含有黑色的第一区域S1，从左下到右上含有白色的第二区域S2。第四单位图案U4在左下和右上含有黑色的第一区域S1，从左上到右下含有白色的第二区域S2。

此处，以白色表示的区域可为经光照射的亮区域，以黑色表示的区域可为未经光照射的暗区域。然而也可为，以白色表示的区域为未经光照射的暗区域，以黑色表示的区域为经光照射的亮区域。而且，以白色表示的区域可为例如经蓝色的光照射的区域，以黑色表示的区域可为经红色的光照射的区域，或者以白色表示的区域可为向第一方向直线偏振的光所照射的区域，以黑色表示的区域可为向与第一方向正交的第二方向直线偏振的光所照射的区域。

第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4含有第一区域S1隔着第二区域S2而分离的二维形状。而且，第一单位图案U1与第二单位图案U2互为旋转90°的形状，第三单位图案U3与第四单位图案U4互为旋转90°的形状，第一单位图案U1与第四单位图案U4互为黑白反转的形状，第二单位图案U2与第三单位图案U3互为黑白反转的形状。

通过第一区域S1隔着第二区域S2分离，从而可利用单位图案来构成各种二维结构，可使经编码成单位图案的数据的密度提高。由此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

而且，在第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4中，第一区域S1隔着第二区域S2而分离为两个。换句话说，在第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4中，第一区域S1虽然隔着第二区域S2而分离，但并未隔着第二区域S2而分离为三个以上。通过将第一区域S1的分离数抑制为两个，从而可使单位图案的二维结构相对较简单，容易辨识第一区域S1及第二区域S2。而且，可增加能由单位图案表示的数据量，使通过图案进行编码的数据的密度提高。因此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

图5为表示由本实施方式的三维测定装置10的投光部20投射的、第一区域及第二区域的面积比不同的图案的示例的图。此图中，图示了第一图案P1、第二图案P2、第三图案P3、第四图案P4及第五图案P5，这些图案包含图4所示的第一单位图案U1、第二单位图案U2、第三单位图案U3及第四单位图案U4，不改变单位图案的四边的长度而使第一区域及第二区域的面积比变化。此外，本例中单位图案的外形为正方形，单位图案的四边的长度分别相等。而且，关于第一图案P1，图示了单位图案U及从单位图案U中提取的特征点F。此外，第一图案P1、第二图案P2、第三图案P3、第四图案P4及第五图案P5是将图案的一部分放大而图示。而且，关于第一图案P1而图示了单位图案U及特征点F，但关于第二图案P2、第三图案P3、第四图案P4及第五图案P5，也同样地包含单位图案，从单位图案中提取特征点。

第一图案P1为单位图案U所含的第一区域的面积除以第二区域的面积所得的面积比为4/5＝0.8的示例。第二图案P2为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为21/29≈0.724的示例。第三图案P3为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为3/5＝0.6的示例。第四图案P4为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为5/13≈0.385的示例。第五图案P5为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为0.2的示例。

图6为表示因拍摄条件变动而混乱的图案的示例的图。此图中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了通过变更图像的对比度，向图像附加噪声，进行图像的平滑化及图像的仿射变换，从而再现拍摄条件的变动的图案的示例。此处，仿射变换包含与特定方向有关的图像的放大、缩小、剪切变形。此外，此图中，表示了单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为3/5＝0.6的图案的示例。

表示为“无变动”的图6的第一行中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了并无拍摄条件的变动的情况下的图案的示例。第一行所示的图案中，包含图4所示的四种单位图案。

表示为“第一条件”的图6的第二行中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了在第一条件下变动的图案的示例。此处，第一条件为将最亮的像素的亮度表示为M，将最暗的像素的亮度表示为L时，以成为M－L＝30的方式使对比度下降的条件。根据第二行所示的图案可确认，图像在第一条件下混乱，因而与第一行所示的无变动的情况相比，第一区域与第二区域的辨识变得困难。

表示为“第二条件”的图6的第三行中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了在第二条件下变动的图案的示例。此处，第二条件为将最亮的像素的亮度表示为M，将最暗的像素的亮度表示为L时，以成为M－L＝30的方式使对比度下降，基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化的条件。根据第三行所示的图案可确认，图像在第二条件下混乱，因而与第一行所示的无变动的情况相比，第一区域与第二区域的辨识变得更困难。

表示为“第三条件”的图6的第四行中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了在第三条件下变动的图案的示例。此处，第三条件为基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的放大，在图案伸长的方向进行30°的剪切变形的条件。根据第四行所示的图案可确认，图像在第三条件下混乱，因而与第一行所示的无变动的情况相比，第一区域与第二区域的辨识变得更困难。

表示为“第四条件”的图6的第五行中，针对图像上的单位图案的短边的长度为4像素、5像素及6像素的各情况，表示了在第三条件下变动的图案的示例。此处，第三条件为基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的缩小，在图案收缩的方向进行30°的剪切变形的条件。根据第五行所示的图案可确认，图像在第四条件下混乱，因而与第一行所示的无变动的情况相比，第一区域与第二区域的辨识变得更困难。

图7为针对以第一形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。此图中，以实线的曲线图G11来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G12来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G13来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G14来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G15来表示图像上的单位图案的短边的长度为4像素的情况。

以第一形态混乱的图案为将最亮的像素的亮度表示为M，将最暗的像素的亮度表示为L时，以M－L＝30的方式使对比度降低，基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化的图案。即，以第一形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，因此导致图像混乱。

根据曲线图G11～曲线图G15得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.3时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.8的范围，则解码的成功率为80％以上。而且得知，在单位图案的短边的长度为6像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.9的范围，则解码的成功率为90％以上。

设定部45例如可在单位图案的短边的长度为6像素至10像素的情况下，将单位图案的第一区域及第二区域的面积比的范围设定为大致0.4至0.9，在单位图案的短边的长度为4像素或5像素的情况下，将单位图案的第一区域及第二区域的面积比的范围缩窄而设定为大致0.4至0.8。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而在即便图像的对比度因环境光等而下降，且噪声施加于摄像部30的摄像元件的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图8为针对以第二形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。此图中，以实线的曲线图G21来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G22来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G23来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G24来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G25来表示图像上的单位图案的短边的长度为4像素的情况。

以第二形态混乱的图案为再现下述情况的图案，即：基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的放大，在图案伸长的方向进行20°的剪切变形，因此导致图像混乱。即，以第二形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜，因此导致图像混乱。

根据曲线图G21～曲线图G25得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.3时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.9的范围，则解码的成功率为70％以上。而且得知，在单位图案的短边的长度为5像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.9的范围，则解码的成功率为80％以上。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而即便在图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图9为针对以第三形态混乱的图案，表示第一区域及第二区域的面积比、与由图案来解码数据时的成功率的关系的图表。此图中，以实线的曲线图G31来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G32来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G33来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G34来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G35来表示图像上的单位图案的短边的长度为4像素的情况。

以第三形态混乱的图案为再现下述情况的图案，即：基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的缩小，在图案收缩的方向进行20°的剪切变形，因此导致图像混乱。即，以第三形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜，因此导致图像混乱。

根据曲线图G31～曲线图G35得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.35时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.6至0.7的范围，则解码的成功率为90％以上。而且得知，在单位图案的短边的长度为5像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.8的范围，则解码的成功率为90％以上。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而即便在图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图10为表示由本实施方式的三维测定装置10的投光部20投射的、由编码图案不同的图形的组合所构成的单位图案的示例的图。此图中，图示了第五单位图案U11、第六单位图案U12、第七单位图案U13及第八单位图案U14。第五单位图案U11、第六单位图案U12、第七单位图案U13及第八单位图案U14为包含第一区域S1及第二区域S2的图案，具有以由编码图案不同的图形的组合所构成的方式将以矩形构成的格子花纹与圆组合而构成的二维结构。

第五单位图案U11在左下和右上含有白色的第一区域S1，从左上到右下含有黑色的第二区域S2。第六单位图案U12在左上和右下含有白色的第一区域S1，从左下到右上含有黑色的第二区域S2。第七单位图案U13在左上和右下含有黑色的第一区域S1，从左下到右上含有白色的第二区域S2。第八单位图案U14在左下和右上含有黑色的第一区域S1，从左上到右下含有白色的第二区域S2。

此处，以白色表示的区域可为经光照射的亮区域，以黑色表示的区域可为未经光照射的暗区域。然而也可为，以白色表示的区域为未经光照射的暗区域，以黑色表示的区域为经光照射的亮区域。而且，以白色表示的区域例如可为经蓝色的光照射的区域，以黑色表示的区域可为经红色的光照射的区域，或者以白色表示的区域可为向第一方向直线偏振的光所照射的区域，以黑色表示的区域可为向与第一方向正交的第二方向直线偏振的光所照射的区域。

图11为表示由本实施方式的三维测定装置10的投光部20投射，由编码图案不同的图形的组合所构成，且第一区域及第二区域的面积比不同的图案的示例的图。此图中，图示了第七图案P11、第八图案P12、第九图案P13及第十图案P14，这些图案包含图10所示的第五单位图案U11、第六单位图案U12、第七单位图案U13及第八单位图案U14，不改变单位图案的四边的长度而使第一区域及第二区域的面积比变化。而且，关于第七图案P11，图示了单位图案U及从单位图案U中提取的特征点F。此外，第七图案P11、第八图案P12、第九图案P13及第十图案P14是将图案的一部分放大而图示。而且，关于第七图案P11而图示了单位图案U及特征点F，但关于第八图案P12、第九图案P13及第十图案P14，也同样地包含单位图案，从单位图案中提取特征点。

第七图案P11为单位图案U所含的第一区域的面积除以第二区域的面积所得的面积比为4/5＝0.8的示例。第八图案P12为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为21/29≈0.724的示例。第九图案P13为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为3/5＝0.6的示例。第十图案P14为单位图案所含的第一区域的面积除以第二区域的面积所得的面积比为5/13≈0.385的示例。

图12为其他示例的图案以第一形态混乱的情况下的、表示第一区域及第二区域的面积比与由图案来解码数据时的成功率的关系的图表，所述其他示例的图案包含多个具有下述二维结构的单位图案，所述二维结构是以由编码图案不同的图形的组合所构成的方式将以矩形构成的格子花纹与圆组合而构成。此图中，以实线的曲线图G41来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G42来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G43来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G44来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G45来表示图像上的单位图案的短边的长度为4像素的情况。

以第一形态混乱的图案为将最亮的像素的亮度表示为M，将最暗的像素的亮度表示为L时，以成为M－L＝30的方式使对比度下降，基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化的图案。即，以第一形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，且噪声施加于摄像部30的摄像元件，因此导致图像混乱。

根据曲线图G41～曲线图G45得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.3时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.7的范围，则解码的成功率为80％以上。而且得知，在单位图案的短边的长度为5像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.8的范围，则解码的成功率为90％以上。

设定部45例如也可在单位图案的短边的长度为5像素至10像素的情况下，将单位图案的第一区域及第二区域的面积比的范围设定为大致0.4至0.8，在单位图案的短边的长度为4像素的情况下，将单位图案的第一区域及第二区域的面积比的范围缩窄而设定为大致0.4至0.7。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而即便在图像的对比度因环境光等而降低，且噪声施加于摄像部30的摄像元件的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图13为其他示例的图案以第二形态混乱的情况下的、表示第一区域及第二区域的面积比与由图案来解码数据时的成功率的关系的图表，所述其他示例的图案包含多个具有下述二维结构的单位图案，所述二维结构是以由编码图案不同的图形的组合所构成的方式将以矩形构成的格子花纹与圆组合而构成。此图中，以实线的曲线图G51来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G52来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G53来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G54来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G55来表示图像上的单位图案的短边的长度为4像素的情况。

以第二形态混乱的图案为再现下述情况的图案，即：基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的放大，在图案伸长的方向进行20°的剪切变形，因此导致图像混乱。即，以第二形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜，因此导致图像混乱。

根据曲线图G51～曲线图G55得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.3时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.7的范围，则解码的成功率几乎为100％。而且得知，在单位图案的短边的长度为5像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.9的范围，则解码的成功率几乎为100％。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而即便在图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图14为其他示例的图案以第三形态混乱的情况下的、表示第一区域及第二区域的面积比与由图案来解码数据时的成功率的关系的图表，所述其他示例的图案包含多个具有下述二维结构的单位图案，所述二维结构是以由编码图案不同的图形的组合所构成的方式将以矩形构成的格子花纹与圆组合而构成。此图中，以实线的曲线图G61来表示图像上的单位图案的短边的长度为10像素的情况，以虚线的曲线图G62来表示图像上的单位图案的短边的长度为8像素的情况，以一点划线的曲线图G63来表示图像上的单位图案的短边的长度为6像素的情况，以双点划线的曲线图G64来表示图像上的单位图案的短边的长度为5像素的情况，以点线的曲线图G65来表示图像上的单位图案的短边的长度为4像素的情况。

以第三形态混乱的图案为再现下述情况的图案，即：基于标准偏差为5的高斯分布对图像附加噪声，基于标准偏差为1的高斯分布使图像平滑化，针对x轴方向进行20％的缩小，在图案收缩的方向进行20°的剪切变形，因此导致图像混乱。即，以第三形态混乱的图案为再现下述情况的图案，即：图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜，因此导致图像混乱。

根据曲线图G61～曲线图G65得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，当单位图案的第一区域及第二区域的面积比为0.3时，解码的成功率达到50％以上。而且得知，在单位图案的短边的长度为4像素至10像素的任一个的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.7的范围，则解码的成功率为90％以上。而且得知，在单位图案的短边的长度为5像素至10像素的情况下，若单位图案的第一区域及第二区域的面积比处于大致0.4至0.8的范围，则解码的成功率几乎为100％。

这样，通过单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，从而即便在图像的对比度因环境光等而降低，噪声施加于摄像部30的摄像元件，且向对象物或背景的斜面投射图案而图案歪斜的情况下，也可辨识第一区域与第二区域，可提取单位图案的特征点，将单位图案所表示的数据解码。因此，根据本实施方式的三维测定装置10，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

根据图7～图9及图12～图14，无论使用图4所示的图案(此图案包含多个具有下述二维结构的单位图案，即：在以相对较大的正方形构成的格子花纹的中央配置有一个相对较小的正方形的二维结构)、与图11所示的其他示例的图案(此图案包含多个具有下述二维结构的单位图案，即：将以矩形构成的格子花纹与圆组合而构成的二维结构)的哪一种，只要单位图案所含的第一区域与第二区域的面积比为0.3以上且0.9以下，且单位图案在图像上为短边为3像素以上且10像素以下的四边形，则由图案来解码数据时的成功率充分变高。因此可认为，由图案来解码数据时的成功率不受构成单位图案的二维结构的花纹影响，重要的是单位图案所含的第一区域与第二区域的面积比、及图像上的单位图案的短边的像素数。

图15为列举由本实施方式的三维测定装置10的投光部20所投射，由编码图案不同的图形的组合所构成，且第一区域及第二区域的面积比不同的图案的示例的图。此图中，针对图像上的单位图案的短边的长度为6像素、5像素及4像素的各情况，表示了在配置于单位图案的中央的图形为“正方形”的情况下，使第一区域的面积除以第二区域的面积所得的面积比“S1/S2”变化为“4/5”、“21/29”、“3/5”及“5/13”的情况的图案的示例。而且，此图中，针对图像上的单位图案的短边的长度为6像素、5像素及4像素的各情况，表示了在配置于单位图案的中央的图形为“圆形”的情况下，使第一区域的面积除以第二区域的面积所得的面积比“S1/S2”变化为“4/5”、“21/29”、“3/5”及“5/13”的情况的图案的示例。

图15所示的图案均是单位图案的第一区域的面积除以第二区域的面积所得的面积比S1/S2为0.3以上且0.9以下，且单位图案在图像上成为短边为3像素以上且10像素以下的四边形。通过使用此种图案，可提高针对拍摄条件变动的稳健性，并且以更高分辨率测定对象物的三维形状。

图16为由本实施方式的三维测定装置10执行的对象物的三维形状的测定处理的流程图。此外，在对象物的三维形状的测定处理之前，可进行投光部20及摄像部30的校准(calibration)，可通过投光部20来投射测试图案，通过摄像部30来拍摄测试图案，确认测试图案所含的单位图案在图像上成为何种程度的大小，或进行由投光部20投射的光量或摄像部30的光圈及曝光时间的调整。

三维测定装置10根据图像上的单位图案的短边的像素数，设定单位图案的第一区域的面积除以第二区域的面积所得的面积比的范围(S10)。此处，面积比的范围能以图像上的单位图案的短边的像素数越少则范围越缩窄的方式设定。

三维测定装置10通过投光部20来向对象物投射图案，此图案具有将单位图案以格子状铺满的二维结构，所述单位图案含有以所设定的范围所含的面积比的第一区域及第二区域(S11)。三维测定装置10通过摄像部30来拍摄经投射图案的对象物的图像(S12)。此处，摄像部30只要拍摄一张经投射图案的对象物的图像即可。

三维测定装置10针对图案所含的每个单位图案提取特征点，将单位图案的通过二维结构进行编码的数据解码(S13)。接下来，三维测定装置10基于图像中的特征点的位置及经解码的数据，算出三维点群的位置(S14)。

然后，三维测定装置10进行三维点群与CAD模型的匹配(S15)。最后，三维测定装置10输出匹配的结果(S16)。以上，三维形状的测定处理结束。此外，三维点群与CAD模型的匹配及其结果的输出也可省略，三维测定装置10也可输出所算出的三维点群的位置而结束三维形状的测定处理。

§4变形例

＜4.1＞

图17为表示由本实施方式的第一变形例的三维测定装置10的投光部20投射的单位图案的示例的图。此图中，表示了包含八个单位图案的示例的第一单位图案群U20、及包含八个单位图案的示例的第二单位图案群U30。

关于第一单位图案群U20中示于左上的单位图案的示例，图示了第一区域S1及第二区域S2。如例示，第一区域S1可在单位图案中隔着第二区域S2而分离为三个以上。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

而且，关于第二单位图案群U30中示于左上的单位图案的示例，图示了第一区域S1及第二区域S2。如例示，第一区域S1可在单位图案中隔着第二区域S2而分离为三个以上。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

通过第一区域S1在单位图案中隔着第二区域S2而分离为三个以上，从而使单位图案的二维结构较对较复杂，能由单位图案表示的位数增加，容易确定单位图案的位置。因此，可确保针对拍摄条件变动的稳健性，并且减少为了确定图案的列而需要解码的单位图案的个数，可缩短窗口匹配的处理时间，减少用于测定对象物的三维形状的、图像识别的运算负荷。

＜4.2＞

图18为表示由本实施方式的第二变形例的三维测定装置10的投光部20投射的单位图案的示例的图。此图中，表示了包含十三个单位图案的示例的第三单位图案群U40。

关于第三单位图案群U40中示于左上的单位图案的示例，图示了第一区域S1及第二区域S2。如例示，单位图案可含有第一区域S1不分离地连续的二维形状。本例中，第一区域S1为由第二区域S2包围的区域。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

通过第一区域S1为不分离地连续的二维形状，从而可使单位图案的二维结构简单，容易辨识第一区域S1及第二区域S2。

而且，关于第三单位图案群U40中示于左下的单位图案的示例，图示了第一区域S1及第二区域S2。如例示，第一区域S1可在单位图案中隔着第二区域S2而分离为三个以上。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

通过第一区域S1在单位图案中隔着第二区域S2而分离为三个以上，从而可使单位图案的二维结构相对较复杂，增加能由单位图案表示的位数，使通过图案进行编码的数据的密度进一步提高。因此，可确保针对拍摄条件变动的稳健性，并且减少为了确定图案的列而需要解码的单位图案的个数，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

如作为第三单位图案群U40所例示，通过投光部20向对象物投射的图案可包含：含有第一区域不分离地连续的二维形状的单位图案、及含有第一区域隔着第二区域而分离的二维形状的单位图案。这样，可使单位图案的二维结构的变化增加，增加能由单位图案表示的位数，使通过图案进行编码的数据的密度提高。因此，可减少为了确定图案的列而需要解码的单位图案的个数，可通过更少的运算来进行图像上的图案与所投射的图案的匹配，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

＜4.3＞

图19为表示由本实施方式的第三变形例的三维测定装置10的投光部20投射的图案的示例的图。此图中，表示了四个编码区域A的示例，编码区域A是将单位图案U51、单位图案U52及单位图案U53排列成2×2的格子状而构成，或将单位图案U54、单位图案U55及单位图案U56排列成2×2的格子状而构成。可由一个编码区域A来解码一个数据，可通过本例所示的四个编码区域A来表示四位的信息。

关于编码区域A中示于左上的单位图案U51，图示了第一区域S1及第二区域S2。如例示，单位图案可含有第一区域S1不分离地连续的二维形状。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

＜4.4＞

图20为表示由本实施方式的第四变形例的三维测定装置10的投光部20投射的图案的示例的图。此图中，表示了四个编码区域A的示例，编码区域A是将单位图案U61、单位图案U62及单位图案U63排列成2×2的格子状而构成，或将单位图案U64、单位图案U62及单位图案U63排列成2×2的格子状而构成，或将单位图案U65、单位图案U62及单位图案U63排列成2×2的格子状而构成，或将单位图案U66、单位图案U62及单位图案U63排列成2×2的格子状而构成。可由一个编码区域A来解码一个数据，可通过本例所示的四个编码区域A来表示四位的信息。

关于编码区域A中示于左上的单位图案U61，图示了第一区域S1及第二区域S2。如例示，单位图案可含有第一区域S1不分离地连续的二维形状。而且，第一区域S1的面积除以第二区域S2的面积所得的面积比可为0.3以上且0.9以下。

＜4.5＞

图21为表示由本实施方式的第五变形例的三维测定装置10的投光部20投射的单位图案的示例的图。此图中，表示了单位图案U70及单位图案U71的示例。单位图案U70及单位图案U71包含栅格状的格子图案，格子的粗细度各不相同。单位图案U70及单位图案U71中，通过变更格子的粗细度从而变更第一区域S1的面积除以第二区域S2的面积所得的面积比。

在单位图案U70及单位图案U71中，第一区域S1隔着第二区域S2而分离为三个以上，具体而言分离为九个。本例的情况下，第一区域S1的面积除以第二区域S2的面积所得的面积比也可为0.3以上且0.9以下。

通过第一区域S1在单位图案中隔着第二区域S2而分离为三个以上，从而可使单位图案的二维结构相对较复杂，增加能由单位图案表示的位数，使通过图案进行编码的数据的密度进一步提高。因此，可确保针对拍摄条件变动的稳健性，并且减少为了确定图案的列而需要解码的单位图案的个数，可减少用于测定对象物的三维形状的、图像识别的运算负荷。

以上说明的实施方式是为了容易地理解本发明，并非用于限定性地解释本发明。实施方式所包括的各元件以及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，可将不同实施方式所示的构成彼此局部地替换或组合。

[附记1]

一种三维测定装置(10)，包括：

投光部(20)，向对象物投射通过二维结构将数据进行编码而成的图案；

摄像部(30)，拍摄经投射所述图案的所述对象物的图像；以及

算出部(43)，提取所述图案的特征点，基于所述图像中的所述特征点的位置及经解码的所述数据，算出表示所述对象物的三维形状的、三维点群的位置，

所述图案包含多个最小单位的单位图案，所述最小单位的单位图案至少表示二位，含有所述特征点，用于算出所述三维点群的位置，

所述单位图案含有第一区域、及与所述第一区域相区分且面积大于所述第一区域的第二区域，

所述第一区域的面积除以所述第二区域的面积所得的面积比为0.3以上且0.9以下。

[附记2]

如附记1所记载的三维测定装置(10)，其中，

所述单位图案在所述图像上为短边为3像素以上且10像素以下的四边形。

[附记3]

如附记1或2所记载的三维测定装置(10)，其中，

在所述图像上，所述第一区域的面积除以所述第二区域的面积所得的面积比为0.3以上且0.9以下。

[附记4]

根据附记1至3中任一项所记载的三维测定装置(10)，还包括：

设定部(45)，根据所述图像上的所述单位图案的短边的像素数，来设定由所述投光部(20)投射的所述图案的所述面积比的范围。

[附记5]

根据附记4所记载的三维测定装置(10)，其中，

所述设定部(45)以随着所述图像上的所述单位图案的短边的像素数变少而缩窄所述面积比的范围的方式进行设定。

[附记6]

根据附记1至5中任一项所记载的三维测定装置(10)，其中，

所述第一区域及所述第二区域是通过由所述投光部(20)投射的光的明暗来区分。

[附记7]

根据附记1至5中任一项所记载的三维测定装置(10)，其中，

所述第一区域及所述第二区域是通过由所述投光部(20)投射的光的波段来区分。

[附记8]

根据附记1至5中任一项所记载的三维测定装置(10)，其中，

所述第一区域及所述第二区域是通过由所述投光部(20)投射的光的偏振来区分。

[附记9]

如附记1至8中任一项所记载的三维测定装置(10)，其中，

所述单位图案含有所述第一区域不分离地连续的二维形状。

[附记10]

如附记1至8中任一项所记载的三维测定装置(10)，其中，

所述单位图案含有所述第一区域隔着所述第二区域而分离的二维形状。

[附记11]

如附记1至8中任一项所记载的三维测定装置(10)，其中，

所述图案包含：含有所述第一区域分离地连续的二维形状的所述单位图案、及含有所述第一区域隔着所述第二区域而分离的二维形状的所述单位图案。

[附记12]

如附记10或11所记载的三维测定装置(10)，其中，

所述第一区域在所述单位图案中隔着所述第二区域而分离为两个。

[附记13]

如附记10或11所记载的三维测定装置(10)，其中，

所述第一区域在所述单位图案中隔着所述第二区域而分离为三个以上。

[附记14]

如附记1至13中任一项所记载的三维测定装置(10)，其中，

所述投光部(20)包含：调制元件，调制所投射的所述图案的大小。

[附记15]

一种三维测定方法，包括：

向对象物投射通过二维结构将数据进行编码而成的图案；

拍摄经投射所述图案的所述对象物的图像；以及

提取所述图案的特征点，基于所述图像中的所述特征点的位置及经解码的所述数据，算出表示所述对象物的三维形状的、三维点群的位置，

所述图案包含多个最小单位的单位图案，所述最小单位的单位图案至少表示二位，含有所述特征点，用于算出所述三维点群的位置，

所述单位图案含有第一区域、及与所述第一区域区分且面积大于所述第一区域的第二区域，

所述第一区域的面积除以所述第二区域的面积所得的面积比为0.3以上且0.9以下。

[附记16]

一种三维测定程序，使三维测定装置(10)所包括的运算部作为算出部(43)而运行，所述三维测定装置(10)包括：投光部(20)，向对象物投射通过二维结构将数据进行编码而成的图案；以及摄像部(30)，拍摄经投射所述图案的所述对象物的图像，

所述算出部(43)提取所述图案的特征点，基于所述图像中的所述特征点的位置及经解码的所述数据，算出表示所述对象物的三维形状的、三维点群的位置，

所述图案包含多个最小单位的单位图案，所述最小单位的单位图案至少表示二位，含有所述特征点，用于算出所述三维点群的位置，

所述单位图案含有第一区域、及与所述第一区域相区分且面积大于所述第一区域的第二区域，

所述第一区域的面积除以所述第二区域的面积所得的面积比为0.3以上且0.9以下。