阅读说明：本技术 图像测量系统、图像测量方法、图像测量程序以及图像测量存储介质 (Image measurement system, image measurement method, image measurement program, and image measurement storage medium ) 是由 卢存伟 辻野和广 于 2021-05-11 设计创作，主要内容包括：一种图像测量系统、图像测量方法、图像测量程序以及图像测量存储介质,用于解决显微镜所拍摄的照片景深范围窄的问题,利用若干枚显微照片,生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像。图像测量系统包括摄影单元、测量用图像生成单元、全视野图像生成单元等。摄影单元使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备,对于被测物体,调节镜头的焦距,将镜头焦点分别聚焦在被测物体的不同地方,在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片。测量用图像生成单元使用所述摄影单元在各个焦距所拍摄的一枚或多枚照片,生成各个焦距的测量用图像。全视野图像生成单元基于所述测量用图像生成单元所生成的各个焦距的测量用图像,生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像。(An image measuring system, an image measuring method, an image measuring program, and an image measuring storage medium for solving the problem of a narrow depth of field range of a photograph taken by a microscope, and generating a full-field image having a wide depth of field range and in which all parts of a measured object are clearly focused, by using a plurality of micrographs. The image measuring system includes an imaging unit, a measuring image generating unit, a full-field image generating unit, and the like. The photographing unit uses a camera device including an image sensor and a zoom lens capable of changing a focal length using an electrical signal, adjusts the focal length of the lens for a measured object, focuses the focal points of the lens at different places of the measured object, and photographs of one or more measured objects having a narrow depth of field at each focal length. The measurement image generating unit generates a measurement image for each focal length using one or more photographs taken by the photographing unit at each focal length. The full-field image generating unit generates a full-field image in which all parts of the object to be measured are sharply focused, the full-field image having a wide depth of field range, based on the measurement images of the respective focal lengths generated by the measurement image generating unit.)

具体实施方式

图1是本发明实施方式中的图像测量系统的构成示意图，图2是图1中的照明装置下部的发光部分的示意图，图3是图1所示的图像测量系统构成的框图。

如图1所示，本实施方式的图像测量系统是由拍摄被测物体X的显微照片的相机装置1、对被测物体实施照明的照明装置2、计算机3、连接计算机3和相机装置1的连接线4等构成。计算机3和相机装置1之间的通信，可以使用图示的连接线4，也可以使用Wi-Fi(商标)、Bluetooth(商标)、红外通信等无线通信方式。

相机装置1中包括图像传感器1A和变焦镜头1B。图像传感器1A的作用是通过变焦镜头1B拍摄由照明装置2得到照明的被测物体X的照片。变焦镜头1B可以是通过电信号调节焦距的电动镜头，也可以是液态镜头等。在本实施方式中，相机装置1为显微镜。

照明装置2如图2所示，是由若干个发光部件2A～2H构成的环状装置，用以保证凹凸不平的被测物体的各个面都能够得到照明。各个发光部件2A～2H可以由LED(LightEmitting Diode)等器件构成。各个发光部件2A～2H可以独立地发光或不发光，发光时其发光强度可以被分别独立控制。

计算机3通过执行本发明的图像测量程序，实现图3所示的照明图案生成单元10、摄影单元11、测量用图像生成单元12、全视野图像生成单元13、全视野图像修正单元14、三维图像生成单元15、三维图像修正单元16、校正单元17、测量结果输出单元18以及存储单元19的各项功能。图像处理程序存储在可被计算机读取的存储介质中，被计算机1读取并执行。

[照明图案生成单元10]

照明图案生成单元10控制照明装置2的各个发光部件2A～2H发光与否以及其发光的亮度，以生成本实施方式中的显微镜测量所需要的照明图案。图4至图7给出了一些照明图案的生成结果的示例，包括连续的和不连续的各种环状照明图案。由照明图案生成单元10生成的默认的照明图案是全照明图案，即所有的发光部件2A～2H全都发光。

如果被测物体的表面反射较强，在使用默认的全照明图案时就会出现亮度很大的亮点。在拍摄照片时，如果被测物体上存在着亮点，在所拍摄的图像上就容易出现亮度饱和的现象；同时，亮点以外的反射较弱的部分或者是因为形状关系反射光较难到达图像传感器1上的部分就会出现曝光不足的问题。为了解决这些问题，在本实施方式中，使用诸如图4至图7的照明图案。在图4至图7中，白色表示该部件发光，灰色表示该部件不发光。

在图4的示例中，(A)～(D)分别表示4种有1/4的部件发光、其他的部件不发光的示例，即在发光部件2A～2H中，有2个发光、6个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2G和2H发光，2A～2F不发光。在图(B)中，发光器件2A和2B发光，2C～2H不发光。在图(C)中，发光器件2C和2D发光，2A、2B、2E～2H不发光。在图(D)中，发光器件2E和2F发光，2A～2D、2G、2H不发光。

在图5的示例中，(A)～(D)分别表示4种有3/4的部件发光、其他的部件不发光的示例，即在发光部件2A～2H中，有6个发光、2个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2A～2F发光，2G和2H不发光。在图(B)中，发光器件2C～2H发光，2A和2B不发光。在图(C)中，发光器件2A、2B、2E～2H发光，2C和2D不发光。在图(D)中，发光器件2A～2D、2G、2H发光，2E和2F不发光。

在图6的示例中，(A)和(B)分别表示对面的1/2的部件发光、与其相交的对面的1/2的部件不发光的示例，即在发光部件2A～2H中，有4个发光、4个不发光，发光和不发光的部件按顺序交换。在图(A)中，2个发光器件2G和2H以及其对面的2个发光器件2C和2D共4个发光器件发光，2A和2B以及其对面的2E和2F共计4个发光器件不发光。在图(B)中，发光器件2A和2B以及其对面的2E和2F共计4个发光器件发光，2C和2D以及其对面的2G和2H共计4个发光器件不发光。

在图7的示例中，(A)～(H)分别表示8种发光模式，每一种模式有1个部件发光、其他的部件不发光。即在发光部件2A～2H中，有1个发光、7个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2H发光，2A～2G不发光。在图(B)中，发光器件2A发光，2B～2H不发光。以此类推，在图(H)中，发光器件2G发光，2H、2A～2F不发光。

[摄影单元11]

摄影单元11使用相机装置1，对于被测物体X，调节镜头的焦距，将镜头焦点分别聚焦在被测物体X的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体X的照片。摄影单元11改变变焦镜头1B的焦距，在N个不同的焦距处，利用照明图案生成单元10生成的照明图案，分别拍摄一枚或M枚照片。

首先，摄影单元11使用默认的全照明图案，拍摄一枚被测物体X的照片。接着，分析这枚照片的色彩强度分布，计算各个像素的RGB各个通道的强度分布，判断是否存在光亮饱和或曝光不足等问题。如果基本上不存在光亮饱和或曝光不足的问题、图像的强度变化曲线基本上是线性分布的话，就判定这枚照片可以用于图像测量，在这个焦距只需要拍摄这一枚照片即可。

如果被测物体X具有较强的光泽的话，在照片上就容易出现光亮太强的亮点。如果在照片上出现了亮点，利用默认的全照明图案所拍摄的照片的图像上，就容易出现色彩强度饱和或光亮不足的问题，这样的照片就很难用于图像测量。在这种情况下，摄影单元11就会判定这枚在默认全照明图案下拍摄的照片很难用于图像测量，为了得到能够用于图像测量的图像，需要选择前述图4至图7的某一种照明方式，一边改变照明图案一边拍摄照片。

摄影单元11在选择图4至图7所示的照明方式来进行拍摄时，使用图中(A)～(H)的一个图案拍摄一枚照片，共拍摄M枚照片。也就是说，在每一个焦距下拍摄M枚照片，在整个测量过程的N个焦距下，共拍摄N×M枚照片。在每个焦距下所拍摄的M枚照片，由于使用了不同的照明图案，照明光是从不同的方向照射到被测物体X上的，被测物体X的表面的任何一个部分都有被强光照射和没有强光照射的两种可能，所以可以拍摄到被测物体X的表面的任何一个部分都既没有光亮饱和又没有曝光不足的照片。亦即，本实施方式的图像测量系统，有效地结合了照明图案生成单元10所生成的照明图案和上述摄影单元11的特长，解决了拍摄被测物体X的照片是所产生的亮点或曝光不足的问题。

[测量用图像生成单元12]

测量用图像生成单元12使用摄影单元11所拍摄的某焦距下的一枚或多枚照片生成该焦距下的测量用图像。如果使用摄影单元11在某焦距n所拍摄的照片只有一枚的话，那么测量用图像生成单元12就将该照片作为该焦距n下的测量用图像。如果使用摄影单元11在某焦距n拍摄有M枚照片的话，为了防止亮点造成的图像饱和现象的发生，各个照片的图像中色彩强度值超过高域阈值的像素不与使用。同样，为了防止图像中色彩强度不足问题的发生，各个照片的图像中色彩强度值低于低域阈值的像素也不予使用。

也就是说，测量用图像生成单元12，在使用摄影单元11在某焦距n拍摄了M枚照片的情况下，对于这M枚照片的图像进行图像处理，求取测量用图像。具体做法如下：对于某个特定像素，如果M枚图像的色彩强度值都没有大于高域阈值或小于低域阈值的话，则将M枚图像的该像素的色彩强度值的平均值作为焦距n下的测量用图像的该像素的色彩强度值；如果M枚图像中某个图像的该像素的RGB通道的色彩强度值大于高域阈值或小于低域阈值的话，则这枚图像的该像素的色彩强度值将不被使用，求取除去该图像后剩余的其他图像的该像素的色彩强度值的平均值，作为焦距n下的测量用图像的该像素的色彩强度值。

[全视野图像生成单元13]

全视野图像生成单元13利用测量用图像生成单元12生成的各个焦距的测量用图像生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像。通常使用显微镜拍摄被测物体X的照片时，当被测物体X存在表面凹凸变化即深度变化的时候，一种焦距只能聚焦一个深度，不可能聚焦所有的深度。对于某个特定的焦距，被聚焦的部分在照片中是清晰的，没有被聚焦的部分在照片中是模糊的。

全视野图像生成单元13对利用测量用图像生成单元12生成的N个焦距下的共计N枚测量用图像进行图像处理。对于任意一个像素，在各个焦距下的测量用图像中找出找出最清晰的一枚图像，以该图像该像素的RGB的值作为全视野图像该像素的RGB的值。这样，组合被提取的所有的清晰的像素，便构成一枚所有像素都清晰的全视野图像。由此可以看出，全视野图像的景深范围是非常大的。

图10是使用不同的焦距下的测量用图像获取全视野图像的示意图。如图所示，在不同的焦距n下(图中共有5个焦距，n＝1、2、3、4、5)共有5枚测量用图像。为方便起见，分别称其为焦距1图像至焦距5图像。在图10的焦距1图像中，用灰颜色表示的4个像素被清晰地拍摄，其他的用白颜色表示的像素没有被清晰地拍摄、是模糊的。在利用全视野图像生成单元13生成全视野图像时，焦距1图像中的用灰颜色表示的4个像素被提取供生成全视野图像时使用，其他的白颜色的像素将不被使用。

在图10的焦距2图像中，用格子表示的7个像素被清晰地拍摄，其他的用白颜色表示的像素没有被清晰地拍摄、是模糊的。在利用全视野图像生成单元13生成全视野图像时，焦距2图像中的用格子表示的7个像素被提取供生成全视野图像时使用，其他的白颜色的像素将不被使用。利用同样的方法，在焦距3图像、焦距4图像和焦距5图像中，也分别有一部分像素被提取，作为生成全视野图像使用。最后，将从这5枚测量用图像中提取的清晰的像素进行组合，就可以得到一枚各个像素都清晰的全视野图像。

接下来说明从测量用图像中提取清晰像素的具体方法。在各个焦距下的测量用图像中，被测物体X表面的不同位置有不同的深度，与拍摄时使用的焦距有相同深度的部分将被聚焦，这些部分会被清晰地拍摄，而其他部分由于没有被聚焦所以是模糊的。被清晰地拍摄的像素与周围的像素相比较其亮度变化梯度较大。而没有被聚焦的模糊的部分的像素，与周围的像素相比较其亮度变化梯度较小。利用这个特征，我们就可以根据亮度的梯度变化提取被清晰拍摄的像素。在全视野图像生成单元13中，首先提取各个焦距下的共N枚测量用图像的特征点，然后将特征强度正规化为在0％～100％之间变化，作为N枚特征强度图像。之后，对于各个像素，在N枚特征强度图像中找到特征强度值最大的一枚，这一枚的焦距为k。最后，将焦距k下的测量用图像的该像素的色彩强度值作为全视野图像的该像素的色彩强度值。

图11是从各个焦距的测量用图像中提取清晰像素的示意图。在这个示意图中，N＝5，亦即共有5枚不同焦距的测量用图像。在图11中，从上至下分别是焦距1至焦距5的测量用图像的某一个y坐标下(例如y1)的x方向的正规化特征强度分布。通过图11我们可以看出，在x1坐标处焦距3图像的特征值最大，也就是说焦距3图像的(x1，y1)处的像素被清晰地拍摄了，其他焦距的图像在(x1，y1)处的像素都没有焦距3图像清晰。这样我们就选择焦距3图像在(x1，y1)处的像素的色彩强度值作为全视野图像在(x1，y1)处的像素的色彩强度值。

同样，在x2坐标处焦距4图像的特征值最大，也就是说焦距4的图像的(x2，y1)处的像素被清晰地拍摄了，其他焦距的图像在(x2，y1)处的像素都没有焦距4图像清晰。这样我们就选择焦距4图像在(x2，y1)处的像素的色彩强度值作为全视野图像在(x2，y1)处的像素的色彩强度值。按照同样的原理，我们选择选择焦距1图像在(x3，y1)处的像素的色彩强度值作为全视野图像在(x3，y1)处的像素的色彩强度值，选择选择焦距2的像在(x4，y1)处的像素的色彩强度值作为全视野图像在(x4，y1)处的像素的色彩强度值，选择选择焦距5的像在(x5，y1)处的像素的色彩强度值作为全视野图像在(x5，y1)处的像素的色彩强度值。

全视野图像生成单元13按照这种处理方法，对于所有的像素，都可以从5枚不同焦距的测量用图像中找到最清晰的一枚。这样，将取得的各个像素的色彩强度信息组合起来，就可以得到一枚所有的像素都是最清晰的全视野图像。也就是说，全视野图像中的每一个像素都相当于被聚焦了，都是清晰的。这就相当于全视野图像的景深范围是非常宽的。

[全视野图像修正单元14]

在由上述全视野图像生成单元13生成的全视野图像中，由于相邻的像素的色彩确定信息可能是从不同焦距的测量用图像中获取的，这就可能造成相邻的像素的色彩强度值不连续。另外，由于各种原因，也可能造成误提取。这样就会产生全视野图像的生成误差。为了减轻这种生成误差，我们对生成的全视野图像中存在误差的像素的色彩强度值进行修正。在本实施方式中，我们用全视野图像修正单元14对全视野图像进行修正。具体做法是，对于由全视野图像生成单元13生成的存在误差的像素，我们用其周边的其他像素的色彩强度值对该像素的色彩强度值进行修正，以解决前述像素的色彩强度值的不连续问题、像素缺损问题以及生成的图像不自然等问题。

图12是全视野图像修正的示意图。如图12所示，由由全视野图像生成单元13生成的全视野图像，由于某种原因在第3行第2列处出现了像素缺损，该处的色彩强度值为零，在这一点图像出现了黑点。由于在各个焦距的图像中，在该点处皆不存在黑点，所以可以判定全视野图像中的该处的黑点为像素缺损。全视野图像修正单元14利用图像的色彩强度变化的连续性的性质，使用该像素周边的8个像素，即该像素的左上、上、右上、左、右、左下、下、右下这8个像素色彩强度值，计算出一个色彩强度值作为该像素的色彩强度值，以此对全视野图像进行修正。

[三位图像生成单元15]

三维图像生成单元15生成一个三维图像，在这个三维图像中，可以知道被测物体X的表面各点的三维坐标。三位图像生成单元15是利用全视野图像中的各个像素在拍摄时所用的焦距值，利用这些被清晰地拍摄到的像素的拍摄时使用的焦距值和所对应的被测物体上的测量点的深度坐标之间的关系，使用全视野图像的各个像素拍摄时的焦距值计算出其对应的被测物体上的相应的测量点的深度信息，进而计算出该测量点的三维坐标。计算三位坐标是使用下述公式：

(公式1)

在上述的公式中，(X，Y，Z)表示被测物体X表面的测量点的三维世界坐标，(x，y)是该测量点在全视野图像中的图像坐标，(X₀，Y₀，Z₀)是该测量点的三维世界坐标的初始值，f是全视野图像中该像素拍摄时所使用的焦距值，k_x，k_y，k_f是表示镜头的焦距、测量用图像的图像坐标和测量点的三维坐标之间的对应关系的系数。

从上述(式1)中可以看出，使用三位图像生成单元15计算出来的被测物体X的表面的三维世界坐标的X值与该像素的图像坐标的x值成线性关系，Y值与图像坐标的y值成线性关系，深度坐标Z值与拍摄时的焦距f成线性关系。这样，就可以使用该像素的图像坐标(x，y)和拍摄时的焦距值f，简单地计算出该像素所对应的被测物体X表面上的测量点的三维世界坐标(X，Y，Z)。

[三维图像修正单元16]

三维图像修正单元16修正由三维图像生成单元生成的三维图像中的异常部分。如前所述，在全视野图像生成过程中会出现像素缺损、色彩强度值异常等误差。这些误差在三维图像生成过程中也会发生。为了消除或减小这些误差，需要对三维图像进行修正，三维图像的修正方法和全视野图像的修正方法类似。在三维图像修正单元中，首先检测出三维图像中的存在三维世界坐标异变的像素，然后用该像素周边像素的深度坐标值计算出一个新的深度坐标值，作为该像素的深度坐标值，以此对三维图像进行修正。例如，可以使用有异变的像素周边的8个其他像素的深度坐标值对该像素进行修正。

[标定单元17]

标定单元17对相机装置的参数进行标定，以提高图像测量的精度。这里所说的标定，主要是求取(式1)中的k_x，k_y，k_f以及(X₀，Y₀，Z₀)。

[测量结果输出单元18]

测量结果输出单元18将生成的全视野图像及三维图像，以图像格式、CG格式等格式输出。测量结果输出单元18输出的测量结果，不仅可以使用本发明的图像测量程序，也可以使用一般的软件或应用程序等进行阅览。

[存储单元19]

存储单元19主要是由计算机中的存储器、SSD(固态驱动器：Solid State Disk或Solid State Drive)或HDD(硬盘驱动器：Hard Disk Drive)等器件构成。如图3所示，存储单元19主要是供照明图案生成单元10、摄影单元11、测量用图像生成单元12、全视野图像生成单元13、全视野图像修正单元14、三维图像生成单元15、三维图像修正单元16、标定单元17、检测结果输出单元18以及控制照明装置2和相机装置1、读取相机装置1所拍摄的照片、图像处理、处理结果的保存和输出等所使用。

图8是使用图1的图像测量系统进行测量的流程图。测量时，首先将被测物体X设置于相机装置1的变焦镜头1B的下面(S100)。然后，使用摄影单元11由相机装置1进行预摄影，以获取被测物体X的表面反射特性等信息，判断在使用不同焦距拍摄时，在各个焦距下是只需要拍摄一枚全照明照片还是需要在不同的照明环境下拍摄多枚照片。如果需要拍摄多枚照片，接下来就确定所需要的照明图案及拍摄的次数M(S101)。

接下来，摄影单元11调节变焦镜头的焦距，准备在各个焦距n处拍照(S102)。在焦距n处拍摄一枚全照明照片或M枚在不同的照明图案下的照片(S103)。然后，由相机装置1将所拍摄的1枚或M枚照片送往计算机3(S104)，由计算机3根据这些照片生成n焦距下的测量用图像(S105)。

之后，判断测量所需要的所有的焦距下的拍摄是否全部完成(S106)，如果还没有完成，则改变变焦镜头1B的焦距，更新拍摄时的焦距值n(S107)，重新做好拍摄准备(S102)。如果所需要的所有的焦距下的拍摄都已经完成，则转向全视野图像生成单元13，基于N枚测量用图像生成一枚景深范围很宽的全视野图像(S108)。在生成全视野图像时，有可能出现像素缺损等问题，这时就需要使用全视野图像修正单元14对全视野图像进行修正(S109)。

计算机3使用三维图像生成单元15，根据各个像素被清晰地拍摄时的焦距值和该像素所对应的被测物体X表面上的测量点的深度值之间的对应关系，计算出各个像素的深度值，进而计算出各个像素的三维世界坐标，生成三维图像(S110)。另外，和前述全视野图像的修正一样，有时也需要使用三维图像修正单元16对生成的三维图像进行修正(S111)。最后，将测量结果用图像格式或文本格式等文件格式输出(S112)。

图9是图8的步骤101的决定照明图案和摄影次数M的部分的详细流程图。首先，生成默认的全照明图案，使用该图案对被测物体X进行照明(S200)。在这个全照明图案的照明下由相机装置1拍摄一枚全照明照片(S201)，并将所拍摄的照片送往计算机3(S202)。在计算机3中对这枚照片进行图像处理，判断它是否适合用于测量。

此时，如果在图像中不存在亮点或光量不足的地方，则此图像被认定为是适合于测量用的图像，该全照明图案被设定为默认的全照明图案，在各个焦距下所需要的拍照次数设定为一次(S205)。如果在图像中存在亮点或光量不足的地方，则此图像并被认定为是不适合于测量用的图像，此时就需要更新照明图案(S204)，从不同的方向投射不同强度的照明图案，并在各个照明环境下拍照，用这些照片合成一枚测量用图像。这些照明图案被定义为测量所必须的照明图案，拍照次数被定义为该焦距下所必须的拍照次数，亦即该焦距下所拍摄的照片枚数(S205)。

图13是使用本实施方式中的图像测量系统生成的全视野图像以及三维图像的示例图。被测物体是图13(A)所示螺丝的螺纹部分的一小段，测量范围约2mm。

图13(B)～(D)是基于测量用图像生成单元生成的3个不同焦距下的测量用图像，(B)是背景清晰的图像、(C)是中间部分清晰的图像、(D)是前景清晰的图像。图13(E)是使用这三张不同焦距的图像由全视野图像生成单元13生成的全视野图像，从图中可以看出被拍摄的物体的所有部分都是清晰的。图13(F)是由三维图像生成单元15生成的三维图像的一种表现示例。

如上所述，在本实施方式的图像测量系统中，使用具有图像传感器1A和变焦镜头1B的相机装置1，对于被测物体X，调节镜头的焦距使其聚焦在不同的深度位置，在各个焦距下拍摄被测物体X的一枚或若干枚景深范围较窄的照片；利用各个焦距所拍摄的一枚或M枚照片生成该焦距下的测量用图像；利用这些不同焦距下的测量用图像，即可以生成一枚所有像素都清晰的景深范围很宽的全视野图像。这样便可以只使用廉价的图像传感器和变焦镜头等器材即可生成景深范围很宽的全视野图像。例如在本实施方式的图像测量系统中，使用廉价的手持式显微镜作为相机装置1、使用廉价的LED照明作为照明装置2，便可实现体积小、重量轻、便于现场使用的图像测量系统。

【产业应用的可能性】

本发明的图像测量系统、图像测量方法、图像测量程序以及图像测量存储介质，使用小型的手持显微镜作为相机装置，可以用于电器制品、电子产品、ICT设备、文物及工业制品等的表面质量的高精度检测、缺损检查等领域。作为实际应用的例子，可以列举出汽车车体的划痕、凹陷、涂装不均等的检测，汽车轮胎的微小裂痕的检查，大型物体上的局部区域的精密检查，印刷电路板的质量检查，生产线上的产品的质量检查，手机表面的微小伤痕及其深度的检查，头皮或皮肤的精密检查，古董的鉴定，名画分析等。