具体实施方式

下面，基于附图来说明本发明的实施方式。

参照图1～图15，对本发明的一个实施方式的外观检查装置100的结构进行说明。另外，外观检查装置100是本发明的“三维测定装置”的一例。

如图1所示，本实施方式的外观检查装置100是将基板制造工艺中的制造期间或制造后的印刷基板(以下称为“基板”)110作为检查对象进行摄像，并对基板110及基板110上的电子元件111(参照图2)进行各种检查的装置。外观检查装置100构成了用于将电子元件111安装于基板110来制造电路基板的基板制造生产线的一部分。另外，基板110是本发明的“测定对象”的一例。

作为基板制造工艺的概要，首先，在形成有布线图案的基板110上，通过焊锡印刷装置(未图示)以规定的图案进行焊锡(焊锡膏)的印刷(涂布)(焊锡印刷工序)。接着，通过利用表面安装机(未图示)将电子元件111搭载(安装)于焊锡印刷后的基板110(安装工序)，由此将电子元件111的端子部配置在焊锡上。然后，通过安装完毕的基板110被运送到回流焊炉(未图示)来进行焊锡的熔融及固化(冷却)(回流焊工序)，从而电子元件111的端子部相对于基板110的布线被焊锡接合。由此，电子元件111以相对于布线电连接的状态固定在基板110上，基板制造完成。

外观检查装置100例如用于焊锡印刷工序后的基板110上的焊锡的印刷状态的检查、安装工序后的电子元件111的安装状态的检查、或者回流焊工序后的电子元件111的安装状态的检查等。因此，外观检查装置100在基板生产线中设置有一个或多个。作为焊锡的印刷状态，进行相对于设计上的印刷位置的印刷位置偏移、焊锡的形状、体积及高度(涂布量)、有无桥接(短路)等的检查。作为电子元件111的安装状态，进行电子元件111的种类及朝向(极性)是否适当、电子元件111相对于设计上的安装位置的位置偏移量是否在允许范围内、端子部的焊锡接合状态是否正常等的检查。另外，作为各工序间的共通的检查内容，还进行垃圾或其他附着物等异物的检测。

如图1所示，外观检查装置100具备：基板运送输送机10，用于运送基板110；头移动机构20，能够在基板运送输送机10的上方沿XY方向(水平方向)和Z方向(上下方向)移动；由头移动机构20保持的第一测定部30和第二测定部40；及控制装置50，进行外观检查装置100的控制。另外，控制装置50是本发明的“控制部”的一例。

基板运送输送机10构成为能够在水平方向上运送基板110，并且使基板110停止并保持在规定的检查位置。另外，基板运送输送机10构成为能够从规定的检查位置起沿水平方向运送检查结束后的基板110，并从外观检查装置100运出基板110。

头移动机构20设置于基板运送输送机10的上方，例如由使用滚珠丝杠轴和伺服电动机的正交三轴(XYZ轴)机器人构成。头移动机构20具备用于进行上述X轴、Y轴及Z轴的驱动的X轴电动机、Y轴电动机及Z轴电动机。通过上述X轴电动机、Y轴电动机及Z轴电动机，头移动机构20构成为能够使第一测定部30及第二测定部40在基板运送输送机10(基板110)的上方沿XY方向(水平方向)及Z方向(上下方向)移动。

第一测定部30构成为利用相移法测定三维信息。第一测定部30具备第一摄像部31和第一投影部32。该第一测定部30通过头移动机构20而移动到基板110的上方的规定位置，并且通过使用第一摄像部31和第一投影部32等，第一测定部30构成为进行用于基板110和基板110上的电子元件111等的外观检查的摄像。

第一摄像部31构成为对由第一投影部32照射条纹图案光后的基板110进行摄像。第一摄像部31具有CCD图像传感器或CMOS图像传感器等摄像元件。第一摄像部31构成为能够在大致矩形形状的摄像区域中对基板110进行摄像。另外，第一摄像部31在相对于水平方向的基准面垂直的方向上配置有光轴311。即，第一摄像部31构成为从大致垂直上方的位置摄像基板110的上表面的二维图像。通过该第一摄像部31，在第一投影部32的照明光下，得到二维图像。

第一投影部32设置有多个。另外，多个第一投影部32分别构成为，从相对于第一摄像部31的光轴311方向倾斜的方向投影由第一摄像部31摄像的第一测定图案。即，第一测定部30构成为，从多个方向投影第一测定图案来测定三维信息。如图3所示，第一投影部32以在从上方观察时包围第一摄像部31的周围的方式配置有多个(4个)。另外，4个第一投影部32在距摄像中心(第一摄像部31)等距离的位置，以大致等角度(大致90度)间隔排列。4个第一投影部32构成为，从A1方向、A2方向、A3方向、A4方向分别投影第一测定图案。另外，如图1所示，第一投影部32构成为，分别从相对于第一摄像部31的光轴311倾斜的方向投影第一测定图案。另外，第一投影部32构成为，投影具有正弦波状的光强度分布的等间隔的栅格状的明暗图案(条纹图案光)作为第一测定图案。另外，第一投影部32构成为，以使该明暗图案的位置(相位)偏移的方式进行投影。

第二测定部40构成为利用光切断法测定三维信息。第二测定部40具备第二摄像部41和第二投影部42。该第二测定部40通过头移动机构20而移动到基板110的上方的规定位置，并且通过使用第二摄像部41和第二投影部42等，第二测定部40构成为进行用于基板110和基板110上的电子元件111等的外观检查的摄像。

第二摄像部41构成为，对由第二投影部42照射线状的图案光后的基板110进行摄像。第二摄像部41具有CCD图像传感器或CMOS图像传感器等摄像元件。另外，第二摄像部41在相对于水平方向的基准面的垂直方向倾斜的方向上配置有光轴。另外，如图2所示，第二摄像部41具有远心光学系统411。远心光学系统411构成为，使与光轴平行的光入射到第二摄像部41。

第二投影部42配置于第二摄像部41的光轴相对于水平方向的基准面正反射的方向的位置。另外，第二投影部42构成为，投影由第二摄像部41摄像的线状的第二测定图案。另外，第二投影部42构成为照射激光。另外，第二投影部42构成为，远心(平行)地照射线上的激光。第二投影部42和第二摄像部41构成为一边扫描(移动)线状的激光，一边对基板110进行摄像。如图2所示，第二投影部42以相对于垂直方向倾斜角度θ的方式配置有光轴。另外，第二摄像部41在相对于垂直方向与第二投影部42相反的一侧配置有相对于垂直方向倾斜角度θ的光轴。由此，即使在电子元件111由镜面构成，第二测定图案被大致全反射的情况下，也能够由第二摄像部41对第二测定图案进行摄像。

如图1所示，控制装置50构成为对外观检查装置100的各部进行控制。控制装置50包括控制部51、存储部52、图像处理部53、摄像控制部54、投影控制部55和电动机控制部56。

控制部51由执行逻辑运算的CPU(中央处理装置)等处理器、存储对CPU进行控制的程序等的ROM(Read Only Memory：只读存储器)及在装置的动作期间暂时存储各种数据的RAM(Random Access Memory：随机存取存储器)等构成。控制部51构成为，按照存储在ROM中的程序、存放在存储部52中的软件(程序)，经由图像处理部53、摄像控制部54、投影控制部55及电动机控制部56对外观检查装置100的各部进行控制。并且，控制部51控制第一测定部30和第二测定部40，来进行针对基板110的各种外观检查。

存储部52由能够进行各种数据的存储以及由控制部51进行的读出的非易失性存储装置构成。在存储部52存储有由第一摄像部31和第二摄像部41摄像所得的摄像图像数据、规定了安装于基板110的电子元件111的设计上的位置信息的基板数据、规定了安装于基板110的电子元件111的形状的部件形状数据库、第一投影部32和第二投影部42生成的投影图案(第一测定图案和第二测定图案)的信息等。控制部51基于利用由第一测定部30和第二测定部40进行的三维形状测定的三维(立体形状)检查，进行基板110上的焊锡的检查、安装到基板110的电子元件111的安装状态检查、及完成状态的基板110的检查等。

图像处理部53构成为，对由第一摄像部31和第二摄像部41摄像所得的摄像图像(摄像信号)进行图像处理，生成适合于识别(图像识别)基板110的电子元件111和焊锡接合部(焊锡)的图像数据。

摄像控制部54构成为，基于从控制部51输出的控制信号，在规定的定时从第一摄像部31和第二摄像部41进行摄像信号的读出，并且将所读出的摄像信号输出到图像处理部53。投影控制部55构成为，基于从控制部51输出的控制信号，进行第一投影部32和第二投影部42的投影的控制。

电动机控制部56构成为，基于从控制部51输出的控制信号，控制外观检查装置100的各伺服电动机(头移动机构20的X轴电动机、Y轴电动机及Z轴电动机、用于驱动基板运送输送机10的电动机(未图示)等)的驱动。另外，电动机控制部56构成为，基于来自各伺服电动机的编码器(未图示)的信号，取得第一测定部30、第二测定部40及基板110等的位置。

这里，在本实施方式中，控制装置50构成为，基于第一测定部30和第二测定部40这双方的测定结果，取得测定对象的三维信息。

具体而言，如图4所示，控制装置50基于第一测定部30的测定，取得表示各位置处的高度的高度信息和表示各位置处的高度信息的可靠度的可靠度信息。另外，控制装置50基于第二测定部40的测定，取得高度信息和可靠度信息。并且，控制装置50构成为，基于通过第一测定部30的测定而取得的高度信息和可靠度信息及通过第二测定部40的测定而取得的高度信息和可靠度信息，取得一个高度信息。

首先，控制装置50利用第二测定部40的光切断法取得光切断高度信息。第二测定部40以规定的扫描宽度进行激光扫描，测定基板110整体的三维信息。高度信息针对每个位置(对应于每个像素)包含与高度有关的数值信息。另外，控制装置50取得光切断可靠度信息。可靠度信息针对每个位置(对应于每个像素)包含与该位置处的高度的可靠度有关的信息。例如，与可靠度有关的信息被分类为高、中、低三个等级。

接着，控制装置50利用第一测定部30的相移法取得相移高度信息。第一测定部30依次对基板110上的必要位置进行摄像。在该情况下，第一测定部30由于一边利用4个第一投影部32进行投影，一边利用第一摄像部31进行摄像，所以对于一个位置能够得到4个高度信息和可靠度信息。即，控制装置50基于第一测定部30的测定，取得多个高度信息和可靠度信息。

并且，控制装置50构成为，基于通过第一测定部30的测定而取得的多个高度信息和多个可靠度信息及通过第二测定部40的测定而取得的高度信息和可靠度信息，取得一个高度信息。

在第一测定部30的相移法中，将具有正弦波状的光强度分布的等间隔的栅格状的明暗图案(条纹图案光)投影到测定对象，并摄像使该明暗图案的位置(相位)偏移后的多个图像，基于摄像所得的多个图像中的同一部分的像素值的差异，来计算测定对象的立体形状(高度)。

在第一测定部30的相移法中，控制装置50构成为，基于通过第一测定部30的多个测定而产生的亮度差，取得各位置处的可靠度信息。也就是说，控制装置50构成为，基于通过使相位偏移的多个测定而产生的亮度差来取得可靠度信息。具体而言，在使相位每次偏移π/2并且进行4次摄像的情况下，将各亮度值设为d0、d1、d2及d3。相移角α被算出为α＝atan((d2-d0)/(d3-d1))。此外，可靠度R被算出为R＝√((d2-d0)²+(d3-d1)²)。

在第二测定部40的光切断法中，将线状的光投影到测定对象，并摄像图像，基于图像内的线的变形(视差)，来计算测定对象的立体形状(高度)。例如，如图5所示，电子元件111的上表面的图案与基板110的上表面的图案在摄像面中错开视差P。使用该视差P，电子元件111的高度h被算出为h＝P/2sinθ。

在第二测定部40的光切断法中，控制装置50构成为，基于通过第二测定部40的测定而得到的亮度值，取得各位置处的可靠度信息。具体而言，如图6所示，在基板110上搭载有具有镜面的电子元件111的情况下，在电子元件111上反射后的激光进行镜面反射而到达第二摄像部41。在该情况下，如图7所示，同一线上的亮度值的峰值变大。并且，在亮度值的峰值大于可靠度判定阈值的“高”的情况下，控制装置50将该位置处的高度信息的可靠度设为“高”。

另外，如图6所示，在基板110上反射后的激光进行漫反射而到达第二摄像部41。在该情况下，如图7所示，同一线上的亮度值的峰值成为中等。并且，在亮度值的峰值小于可靠度判定阈值的“高”且为“中”以上的情况下，控制装置50将该位置处的高度信息的可靠度设为“中”。另外，可靠度为“中”的位置也包括镜面之外的部件的位置等。

另外，如图6所示，在成为电子元件111的阴影的部分处，激光不到达第二摄像部41。在该情况下，如图7所示，同一线上的亮度值的峰值变低。并且，在亮度值的峰值小于可靠度判定阈值的“中”的情况下，控制装置50将该位置处的高度信息的可靠度设为“低”。另外，可靠度为“低”的位置包括电子元件111的阴影、孔、凹陷等。另外，通过变更第二投影部42的激光的光量而使其更大，也能够将基板110表面的反射光的亮度形成为使可靠度变为高。但是，在该情况下，由于镜面的反射光的亮度过大，因此第二摄像部41的受光状态饱和，有可能无法进行准确的测定。因此，优选将激光的光量设为镜面上的反射光的亮度足以进行测定且第二摄像部41的受光状态不饱和的、可靠度为高的适当的光量。在该情况下，在基板110表面和不是镜面的部件的上表面，反射光的亮度下降，作为可靠度容易成为中等水平。根据情况，镜面的反射光和基板110表面等的反射光这双方都可能是使可靠度成为高的亮度，并且也能够使照相机的受光状态不饱和。

如图8所示，控制装置50构成为，基于第二测定部40的测定结果，判断基于第一测定部30的测定结果的突起形状是噪声还是构造物。即，如图8所示，在用相移法观测到的突起形状未通过光切断法观测到的情况下，控制装置50将其判断为噪声并去除。另外，在用相移法观测到且用光切断法也观测到的情况下，控制装置50判断为突起形状是构造物(电子元件111)，设为噪声去除的对象之外。例如，相移法中的噪声是由于周边映入到焊锡圆角的曲面而产生的。具体而言，部件接合部的焊锡圆角成为半镜面的曲面。并且，周边的基板110面或部件与条纹图案一起映入到焊锡圆角的部分。因此，在焊锡圆角部观测到周边环境的相位条纹，成为噪声的主要原因。

另外，相移法中的噪声也因多重反射而产生。例如，由部件侧面反射后的条纹被投影到周围的基板110面或部件上(二次反射条纹)。在该情况下，在该区域中，二次条纹与一次条纹重叠，成为噪声的主要原因。如上所述的噪声的产生被认为是测定出多个不同高度的测定值的一个因素。

如图9～图11所示，控制装置50构成为，利用由第一测定部30测定出的高度信息来补充由第二测定部40测定出的可靠度信息的可靠度低的高度信息。具体而言，控制装置50利用通过第一测定部30的相移法测定出的高度信息，来补充第二投影部42的激光成为阴影这样的可靠度低的位置处的高度信息。

另外，控制装置50对阴影区域的周边的区域B1～B4的高度进行比较，来判断哪个方向的投影会成为阴影。并且，控制装置50构成为，在推定为第一测定部30的投影第一测定图案的方向因测定对象而成为阴影的情况下，排除来自成为阴影的方向的测定结果而补充高度信息。

具体而言，如图10所示，控制装置50在阴影区域的右侧的区域B2(B4)的高度比左侧的区域B1(B3)高的情况下，判断为来自右侧的投影成为阴影。即，如图11所示，控制装置50判断为来自A1方向的第一投影部32的投影成为阴影。在该情况下，在该阴影区域中，对来自A1方向的第一投影部32的投影进行摄像所得的图像不被用于图像的补充(统合)。

另外，控制装置50在阴影区域的左侧的区域B1(B3)的高度比右侧的区域B2(B4)高的情况下，判断为来自左侧的投影成为阴影。即，控制装置50判断为来自A3方向的第一投影部32的投影成为阴影。在该情况下，在该阴影区域中，对来自A3方向的第一投影部32的投影进行摄像所得的图像不被用于图像的补充(统合)。

另外，控制装置50在阴影区域的左侧的区域B1(B3)的高度与右侧的区域B2(B4)为相同高度的情况下，判断为来自右侧的投影及来自左侧的投影成为阴影。即，控制装置50判断为来自A1方向及A3方向的第一投影部32的投影成为阴影。在该情况下，在该阴影区域中，对来自A1方向及A3方向的第一投影部32的投影进行摄像所得的图像不被用于图像的补充(统合)。

另外，控制装置50构成为进行如下控制：在由第一测定部30进行的测定之前，由第二测定部40进行测定。另外，控制装置50构成为进行如下控制：基于第二测定部40的测定结果，调整第一测定部30的测定高度位置。即，控制装置50基于由第二测定部40测定出的基板110的高度位置，将第一测定部30的高度位置调整到容易使由第一测定部30进行的摄像对焦的位置。

另外，控制装置50构成为，在由第一测定部30进行的测定之前，由第二测定部40进行测定，并基于第二测定部40的测定结果，取得测定对象的平面位置信息。另外，控制装置50构成为，进行调整由第一测定部30进行的测定的平面位置的控制。具体而言，控制装置50基于由第二测定部40进行的摄像，识别基板110的基准标记。然后，控制装置50基于识别出的基准标记，调整由第一测定部30进行测定的水平方向的位置。

另外，控制装置50构成为，在各位置(关注像素)中，对由第一测定部30测定出的多个测定值(高度信息)和由第二测定部40测定出的测定值(高度信息)进行统合而取得一个测定值(高度信息)。例如，如图12所示，控制装置50将由第一测定部30测定出的测定值(高度信息)(P1、P2、P3及P4)和由第二测定部40测定出的测定值(高度信息)(L1)分组后进行统合。在分组中，以各测定值为中心，数据间范围阈值内的测定值被设为同一组。测定值L1的组成为仅测定值L1(一个数据)的组。测定值P1的组是测定值P1和P2(两个数据)的组。测定值P2的组是测定值P1、P2和P3(三个数据)的组。测定值P3的组是测定值P2和P3(两个数据)的组。测定值P4的组成为仅测定值P4(一个数据)的组。

在测定值L1、P1～P4的组中，数据数量多的是测定值P2的组。因此，控制装置50将数据数量最大的组(测定值P2的组)的测定值的平均作为高度信息统合后的测定值。即，统合后的测定值H被算出为H＝(P1+P2+P3)/3。

另外，控制装置50构成为，在各位置(关注像素)处，基于由第二测定部40测定出的测定值(高度信息)的可靠度，进行测定值(高度信息)的统合。例如，如图13所示，在由第二测定部40测定出的测定值L1的可靠度低的情况下，控制装置50在排除可靠度低的第二测定部40的测定值L1的基础上，进行可靠度在有效范围内的第一测定部30的测定值P1～P4的统合。具体而言，控制装置50将测定值P1～P4中的根据所设定的公差提取出的多个测定值的平均作为高度信息统合后的测定值。在图13的例子的情况下，由于测定值P1和P2的距离在公差的范围内，所以统合后的测定值H被算出为H＝(P1+P2)/2。

另外，如图14所示，在由第二测定部40测定出的测定值L1的可靠度为中的情况下，控制装置50将以测定值L1为中心的公差内的测定值的平均作为高度信息统合后的测定值。这是基于使用光切断法的第二测定部40的测量值最为可靠的情况。在图14的例子的情况下，由于测定值P3和P4在测定值L1的公差的范围内，所以统合后的测定值H被算出为H＝(P3+P4+L1)/3。

另外，如图15所示，即使由第二测定部40测定出的测定值L1的可靠度为中～高，考虑到由第一测定部30测定出的测定值P1～P4的集合状态，控制装置50也在排除测定值L1后进行测定值的统合。在图15的例子的情况下，测定值P1～P4中的过半数的测定值P1～P3集合在公差的范围内。由此，与测定值P1～P3之间的距离为公差以上的测定值L1为离群值。另外，同样地，与测定值P1～P3之间的距离为公差以上的测定值P4也为离群值。并且，统合后的测定值H被算出为H＝(P1+P2+P3)/3。

(三维信息取得处理的说明)

接着，参照图16对由控制装置50进行的三维信息取得处理进行说明。

在图16的步骤S1中，基板110被基板运送输送机10运入。在步骤S2中，通过第二测定部40进行光切断法的摄像。在该情况下，进行基板110整体的扫描(摄像)。

在步骤S3中，移动用于通过第一测定部30进行摄像的视场。在步骤S4中，通过第一测定部30进行移动后的视场中的相移法的摄像。

在步骤S5中，合成所摄像的视场的高度信息。在步骤S6中，通过第一测定部30判断所有视场的摄像是否完成。如果所有视场的摄像未完成，则返回到步骤S3。如果所有视场的摄像完成，则进入步骤S7。

在步骤S7中，基板110被基板运送输送机10运出。然后，结束三维信息取得处理。

(每个视场高度信息合成处理(第一例)的说明)

参照图17，对由控制装置50进行的图16的步骤S5中的每个视场高度信息合成处理(第一例)进行说明。

在图17的步骤S11中，创建将各方向的相移图像统合后的图像(高度信息)。具体而言，创建将从4个方向摄像所得的相移图像统合后的高度信息。

在步骤S12中，判断相移法的统合图像的关注像素的可靠度。如果关注像素的可靠度低，则进入步骤S13，如果关注像素的可靠度高，则进入步骤S17。

在步骤S13中，判断光切断法的图像的关注像素的可靠度。如果关注像素的可靠度低，则进入步骤S14，如果关注像素的可靠度高，则进入步骤S15。在步骤S14中，关注像素的高度信息被删除(无值)。

在步骤S15中，将关注像素的高度信息置换为光切断法的图像的测定值。在步骤S16中，判断视场内的所有像素的高度信息的合成(统合)是否完成。如果完成，则结束每个视场高度信息合成处理。如果没有完成，则进入步骤S17。

在步骤S17中，将高度信息的合成处理切换到下一像素。然后，返回到步骤S12。

(每个视场高度信息合成处理(第二例)的说明)

参照图18，对由控制装置50进行的图16的步骤S5中的每个视场高度信息合成处理(第二例)进行说明。

在图18的步骤S21中，判断光切断法的图像的关注像素的可靠度。如果关注像素的可靠度为高，则进入步骤S22，如果关注像素的可靠度为中，则进入步骤S23，如果关注像素的可靠度为低，则进入步骤S24。在步骤S22中，使关注像素的高度信息成为光切断法的图像的测定值。然后，进入步骤S25。

在步骤S23中，计算将各方向的相移法的图像的测定值和光切断法的图像的测定值合成(统合)后的测定值。然后，使计算出的测定值成为关注像素的高度信息。然后，进入步骤S25。在步骤S24中，计算将各方向的相移法的图像的测定值合成(统合)后的测定值。然后，使计算出的测定值成为关注像素的高度信息。然后，进入步骤S25。

在步骤S25中，判断视场内的所有像素的信息的合成(统合)是否完成。如果完成，则结束每个视场高度信息合成处理。如果没有完成，则进入步骤S26。在步骤S26中，将高度信息的合成处理切换到下一像素。然后，返回到步骤S21。

(图像的统合处理的说明)

参照图19，对由控制装置50进行的图像的统合处理进行说明。在该图像的统合处理中，进行将测定出的高度信息(测定值)在各位置处分别进行统合(合成)的处理。

在图19的步骤S31中，将可靠度低的高度信息的数据从统合的对象中排除。在步骤S32中，确定有效数据的数量。在有效数据的数量为2以上的情况下，进入步骤S33，在有效数据的数量为1的情况下，进入步骤S39，在有效数据的数量为0的情况下，进入步骤S40。

在步骤S33中，如图12所示，根据数据间范围阈值对有效数据进行分组。即，以某个有效数据为中心，将数据间范围阈值内的有效数据作为一个组。最大生成有效数据的数量的组。在步骤S34中，判断是否存在多个。如果不存在数据的数量最大的多个组(如果存在一个组)，则进入步骤S35，如果存在数据的数量最大的多个组，则进入步骤S36。

在步骤S35中，将数据的数量最大的组的测定值的平均值作为统合后的测定值。然后，结束图像的统合处理。

在步骤S36中，判断是否存在包含基于光切断法的测定值的组。在不存在包含基于光切断法的测定值的组的情况下，进入步骤S37，在存在包含基于光切断法的测定值的组的情况下，进入步骤S38。在步骤S37中，将组内的多个数据间的距离的合计最小的组的测定值的平均值作为统合后的测定值。然后，结束图像的统合处理。

在步骤S38中，将包含基于光切断法的测定值的组的测定值的平均值作为统合后的测定值。然后，结束图像的统合处理。

在步骤S39中，将未被排除而留下的一个有效数据作为统合后的测定值。然后，结束图像的统合处理。

在步骤S40中，关注像素的高度信息被删除(无值)。然后，结束图像的统合处理。

(实施方式的效果)

在本实施方式中，能够得到如下的效果。

在本实施方式中，如上所述，利用光切断法和相移法这两种方法对测定对象进行测定，因此即使在基于光切断法的光的照射成为阴影的位置，也能够通过相移法的测定来补充高度信息。此外，由于能够利用基于光切断法和相移法的多种方法取得三维信息，所以能够提高三维信息的取得精度。由此，能够高精度地对测定对象的三维信息进行测定。

另外，在本实施方式中，如上所述，第一测定部30包括：第一摄像部31，在相对于基准面垂直的方向配置有光轴；多个第一投影部32，从相对于第一摄像部31的光轴方向倾斜的方向投影由第一摄像部31摄像的第一测定图案。第二测定部40包括：第二摄像部41，在相对于基准面的垂直方向倾斜的方向上配置有光轴，并具有远心光学系统411；第二投影部42，配置于第二摄像部41的光轴相对于基准面正反射的方向的位置，并对由第二摄像部41摄像的线状的第二测定图案进行投影。由此，即使测定对象为镜面或玻璃面等反射面，也能够通过配置于对从第二投影部42投影的第二测定图案进行正反射的方向的位置的第二摄像部41可靠地进行摄像。另外，第二摄像部41由于具有远心光学系统411，因此能够在不使由测定对象的反射面反射的第二测定图案因光学系统而变形的条件下平行地进行摄像。由此，即使是具有反射面的测定对象，也能够高精度地测定三维信息。另外，通过在第一测定部30设置多个第一投影部32，能够使投影第一测定图案的方向成为多个。由此，在某个位置处，即使在来自一个方向的投影中产生阴影的情况下，也能够抑制在来自另一个方向的投影中产生阴影的情况。由此，能够可靠地测定某个位置处的三维信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，基于通过第一测定部30的测定而取得的高度信息和可靠度信息及通过第二测定部40的测定而取得的高度信息和可靠度信息，取得一个高度信息。由此，即使在通过第一测定部30的测定而取得的高度信息与通过第二测定部40的测定而取得的高度信息大不相同的情况下，也能够基于各自的可靠度信息，取得可靠度更高的一个高度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，基于通过第一测定部30的测定而取得的多个高度信息和多个可靠度信息及通过第二测定部40的测定而取得的高度信息和可靠度信息，取得一个高度信息。由此，由于通过使用相移法的第一测定部30取得多个高度信息，所以能够取得可靠度更高的一个高度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，利用由第一测定部30测定出的高度信息来补充由第二测定部40测定出的可靠度信息的可靠度低的高度信息。由此，即使在使用光切断法的第二测定部40的测定中，可靠度由于阴影等的影响而变低的情况下，也能够通过由使用相移法的第一测定部30进行的测定来补充高度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，在推定为第一测定部30的投影第一测定图案的方向因测定对象而成为阴影的情况下，排除来自成为阴影的方向的测定结果而补充高度信息。由此，能够排除多个第一测定图案的投影方向中的受阴影的影响而精度变低的投影方向的测定结果，因此能够根据由使用相移法的第一测定部30测定出的多个高度信息，更高精度地补充由使用光切断法的第二测定部40测定出的高度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，基于通过第一测定部30的多个测定而产生的亮度差，取得各位置处的可靠度信息。由此，能够基于通过使用相移法的第一测定部30的多个测定而产生的亮度差，容易地取得可靠度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，基于通过第二测定部40的测定而得到的亮度值，取得各位置处的可靠度信息。由此，能够基于由使用光切断法的第二测定部40测定出的亮度值，容易地取得可靠度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为，基于第二测定部40的测定结果，判断基于第一测定部30的测定结果的突起形状是噪声还是构造物。由此，能够利用第二测定部40的光切断法将通过第一测定部30的相移法的摄像而呈现为突起形状的虚像判断为噪声，因此通过去除噪声，能够更高精度地取得高度信息。

另外，在本实施方式中，如上所述，将控制装置50构成为进行如下控制：在由第一测定部30进行的测定之前，由第二测定部40进行测定，并基于第二测定部40的测定结果，调整第一测定部30的测定高度位置。由此，能够基于由使用光切断法的第二测定部40测定出的三维信息，将使用相移法的第一测定部30的测定高度位置调整为沿着测定对象的三维形状，因此能够容易地使图像对焦。

另外，在本实施方式中，如上所述，将控制装置50构成为进行如下控制：在由第一测定部30进行的测定之前，由第二测定部40进行测定，并基于第二测定部40的测定结果，取得测定对象的平面位置信息，调整由第一测定部30进行的测定的平面位置。由此，能够省略通过使用相移法的第一测定部30取得平面位置信息的动作，因此与在第一测定部30中重新取得平面位置信息的情况相比，能够抑制测定动作所需的时间变长的情况。

(变形例)

另外，应当认为本次公开的实施方式在所有方面均是例示，而不是限制性的。本发明的范围并不是由上述的实施方式的说明示出，而是由权利要求书示出，而且包括与权利要求书等同的含义和范围内的所有改变(变形例)。

例如，在上述实施方式中，示出了第二投影部配置于第二摄像部的光轴相对于基准面正反射的方向的位置的结构的例子，但本发明并不限于此。在本发明中，也可以如图20所示的实施方式的第一变形例那样，第二摄像部41配置成在相对于基准面垂直的方向上具有光轴，第二投影部42配置在相对于第二摄像部41的光轴倾斜规定的角度的方向上。

另外，也可以如图21所示的实施方式的第二变形例那样，第二摄像部41配置成在相对于基准面垂直的方向上具有光轴，多个第二投影部42配置在相对于第二摄像部41的光轴倾斜规定的角度的方向上。

另外，在上述实施方式中，示出了在第一测定部设置在相对于基准面垂直的方向上配置有光轴的第一摄像部和在相对于第一摄像部的光轴方向倾斜的方向上配置有光轴的多个第一投影部的结构的例子，但本发明并不限于此。在本发明中，也可以如图22所示的实施方式的第三变形例那样，在第一测定部30设置在相对于基准面垂直的方向上配置有光轴的第一投影部32和在相对于第一投影部32的光轴方向倾斜的方向上配置有光轴的多个第一摄像部31。在该情况下，也可以在第一投影部32设置远心光学系统321。由此，第一测定图案相对于基准面垂直地投影。其结果是，由于能够抑制二次反射，因此能够抑制产生二次条纹的情况。另外，第一摄像部31也可以以在从上方观察时包围第一投影部32的周围的方式配置多个。另外，多个第一摄像部31也可以在距投影中心(第一投影部32)等距离的位置，以大致等角度间隔排列。由此，通过由多个第一摄像部31同时进行摄像，与分别进行摄像的情况相比，能够缩短摄像时间。即，即使增加了摄像方向，也能够抑制摄像时间增加的情况。

另外，在上述实施方式中，示出了将本发明的三维测定装置应用于检查基板的外观检查装置的例子，但本发明并不限于此。本发明也能够应用于异物检查装置、焊锡印刷检查装置及部件检查装置等其他的三维测定。另外，本发明也能够应用于检查基板之外的装置。

另外，在上述实施方式中，示出了在第一测定部设置有4个第一投影部的结构的例子，但本发明并不限于此。在本发明中，也可以在第一测定部设置有4个之外的单个或多个第一投影部。

另外，在上述实施方式中，示出了第二摄像部具有远心光学系统、第二投影部远心地投影光的结构的例子，但本发明并不限于此。在本发明中，可以从第二投影部投影非远心的扩散的光，也可以使第二摄像部不具有远心光学系统。

另外，在上述实施方式中，示出了将第二测定部的可靠度信息分类为高、中、低这三个等级的结构的例子，但本发明并不限于此。在本发明中，也可以将第二测定部的可靠度信息分为两个等级或四个等级以上。另外，也可以将第二测定部的可靠度信息设为无等级的数值。

另外，在上述实施方式中，为了便于说明，使用按照处理流程依次进行处理的流程驱动型的流程对控制装置(控制部)的控制处理进行了说明，但本发明并不限于此。在本发明中，也可以通过以事件为单位执行处理的事件驱动型(event-driven type)的处理来进行控制部的处理。在该情况下，可以以完全的事件驱动型进行，也可以组合事件驱动和流程驱动来进行。

标号说明

30 第一测定部

31 第一摄像部

32 第一投影部

40 第二测定部

41 第二摄像部

42 第二投影部

50 控制装置(控制部)

100 外观检查装置(三维测定装置)

110 基板(测定对象)

111 电子元件

411 远心光学系统