部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质
阅读说明：本技术 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质 (Component mounting state inspection method, printed circuit board inspection apparatus, and computer-readable recording medium ) 是由 李洗璘 姜镇万 郑仲基 孙廷呼 尹珉哲 于 2019-02-26 设计创作，主要内容包括：印刷电路板检查装置可以利用借助于图像传感器而接收的、从贴装在印刷电路板的部件反射的图案光来生成部件相关深度信息,利用借助于第一图像传感器而接收的、从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光来生成部件相关二维图像数据,将深度信息及部件相关二维图像数据输入至基于机器学习的模型,从基于机器学习的模型中获得减小了噪声的深度信息,利用减小了噪声的深度信息来检查部件的贴装状态。(The printed circuit board inspection apparatus may generate part-related depth information using pattern light received by means of an image sensor and reflected from a part mounted on a printed circuit board, generate part-related two-dimensional image data using at least one of light of a first wavelength, light of a second wavelength, light of a third wavelength, and light of a fourth wavelength received by means of a first image sensor and reflected from the part, input the depth information and the part-related two-dimensional image data to a model based on machine learning, obtain depth information with reduced noise from the model based on machine learning, and inspect a mounting state of the part using the depth information with reduced noise.)
技术领域
本公开涉及用于***件的贴装状态的方法、印刷电路板检查装置及计算机可读记录介质。
背景技术
一般而言，在印刷电路板上利用表面贴装技术(SMT：Surface MounterTechnology)的制造工序中，丝网印刷机将焊膏印刷于印刷电路板，贴装机将部件贴装于印刷有焊膏的印刷电路板。
另外，为了检查贴装在印刷电路板上的部件的贴装状态，利用了自动光学外观检查装置(AOI:automatedoptical inspection)。AOI装置利用关于印刷电路板的拍摄图像，***件是否在印刷电路板上无位置脱离、翘起、倾斜等地正常贴装。
另一方面，在AOI装置生成印刷电路板相关图像的过程中，会发生照射于印刷电路板的光的多重反射，或在图像传感器对接收的光进行处理的过程等中发生噪声。即，会多样地发生光学噪声及信号性噪声，如果不减少如此发生的噪声，则AOI装置生成的印刷电路板拍摄图像的品质将会降低。如果印刷电路板拍摄图像的品质降低，则无法准确执行利用印刷电路板拍摄图像的、对贴装在印刷电路板上的部件的贴装状态检查。
发明内容
本公开可以提供一种印刷电路板检查装置，其能够利用基于部件相关深度信息(depth information)及部件相关二维图像数据而获得的、减小了噪声的部件相关深度信息来***件的贴装状态。
本公开可以提供一种计算机可读记录介质，所述计算机可读记录介质中记录有包括可执行命令的程序，通过执行所述可执行命令，能够利用基于部件相关深度信息及部件相关二维图像数据获得的、减小了噪声的部件相关深度信息来***件的贴装状态。
本公开可以提供一种部件贴装状态的检查方法，通过所述方法，能够利用基于部件相关深度信息及部件相关二维图像数据而获得的、减小了噪声的部件相关深度信息来***件的贴装状态。
根据本公开的一个实施例，用于检查贴装在印刷电路板上的部件的贴装状态的印刷电路板检查装置，可以包括：多个第一光源，所述多个第一光源向所述部件照射图案光；至少一个第二光源，所述至少一个第二光源向所述部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光；第一图像传感器，所述第一图像传感器接收从所述部件反射的图案光、从所述部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光；存储器，所述存储器存储有基于机器学习的模型，当利用从多个第三光源照射的图案光中的、从第一客体反射的图案光而生成的所述第一客体相关第一深度信息及所述第一客体相关二维图像数据被输入至所述基于机器学习的模型时，则所述基于机器学习的模型利用所述第一客体相关二维图像数据，输出减小了噪声的所述第一深度信息；处理器；所述处理器可以利用借助于所述第一图像传感器而接收的从所述部件反射的所述图案光，生成所述部件相关第二深度信息，从所述第一图像传感器接收利用借助于所述第一图像传感器而接收的从所述部件反射的所述第一波长的光、所述第二波长的光、所述第三波长的光及所述第四波长的光中的至少一种光所生成的所述部件相关二维图像数据，将所述第二深度信息及所述部件相关二维图像数据输入至于所述基于机器学习的模型中，从所述基于机器学习的模型获得减小了噪声的所述第二深度信息，利用减小了所述噪声的所述第二深度信息，检查所述部件的贴装状态。
在一个实施例中，所述基于机器学习的模型可以利用第二客体相关第三深度信息、所述第二客体相关第四深度信息及所述第二客体相关二维图像数据进行学习，以便输出减小了噪声的第三深度信息，基于所述学习结果，如果被输入所述第一深度信息及所述第一客体相关二维图像数据，则输出减小了所述噪声的所述第一深度信息，其中，所述第二客体相关第三深度信息是利用从所述多个第三光源照射的图案光中的从所述第二客体反射的图案光而生成，所述第二客体相关第四深度信息利用从多个第四光源照射的图案光中的从所述第二客体反射的图案光而生成，所述第二客体相关二维图像数据是利用从至少一个第五光源照射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光中、从所述第二客体反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光而生成。
在一个实施例中，所述多个第三光源的数量可以与所述多个第一光源的数量相同，所述多个第四光源的数量可以大于所述多个第一光源的数量。
在一个实施例中，所述第一波长的光可以为红色光，所述第二波长的光可以为绿色光，所述第三波长的光可以为蓝色光，所述第四波长的光可以为白色光。
在一个实施例中，所述基于机器学习的模型可以包括CNN(Convolution NeuralNetwork：卷积神经网络)或GAN(Generative Adversarial Network：生成性对抗网络)。
在一个实施例中，所述处理器可以利用减小了所述噪声的所述第二深度信息，生成所述部件相关三维图像，并利用所述部件相关三维图像，检查所述部件的贴装状态。
在一个实施例中，印刷电路板检查装置可以还包括配置于比所述第一图像传感器更下侧的第二图像传感器，就所述基于机器学习的模型而言，如果还输入所述第一客体相关第五深度信息，则可以还利用所述第五深度信息输出减小了所述噪声的所述第一深度信息，其中，所述第一客体相关第五深度信息是利用借助于第四图像传感器而接收的从所述第一客体反射的图案光而生成，所述第四图像传感器配置于比接收从所述多个第三光源照射的图案光中用于生成所述第一深度信息的图案光的第三图像传感器更下侧的位置。
在一个实施例中，所述处理器可以利用借助于所述第二图像传感器而接收的从所述部件反射的图案光，生成所述部件相关第六深度信息，还将所述第六深度信息输入至所述基于机器学习的模型。根据本公开一个实施例，作为记录有用于在计算机上执行的程序的非暂时性计算机可读记录介质，其中，所述程序可以包括可执行命令，当所述程序被处理器执行时，所述处理器可实现：控制多个第一光源而使其向贴装在印刷电路板上的部件照射图案光的步骤；控制至少一个第二光源而使其向所述部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光的步骤；利用借助于第一图像传感器而接收的、从所述部件反射的所述图案光来生成所述部件相关第一深度信息的步骤；利用借助于所述第一图像传感器而接收的、从所述部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成所述部件相关二维图像数据的步骤；将所述第一深度信息及所述部件相关二维图像数据输入至基于机器学习的模型的步骤；从所述基于机器学习的模型获得减小了噪声的所述第一深度信息的步骤；以及，利用减小了所述噪声的所述第一深度信息来检查所述部件的贴装状态的步骤。就所述基于机器学习的模型而言，如果对其输入利用从多个第三光源照射的图案光中从第一客体反射的图案光而生成的所述第一客体相关第二深度信息及所述第一客体相关二维图像数据，则可以利用所述第一客体相关二维图像数据，输出减小了噪声的所述第二深度信息。
在一个实施例中，所述基于机器学习的模型可以利用第二客体相关第三深度信息、所述第二客体相关第四深度信息及所述第二客体相关二维图像数据进行学习，以便输出减小了噪声的第三深度信息，基于所述学习结果，如果被输入所述第一深度信息及所述第一客体相关二维图像数据，则可以输出减小了所述噪声的所述第一深度信息，其中，所述第二客体相关第三深度信息是利用从所述多个第三光源照射的图案光中的、从所述第二客体反射的图案光而生成，所述第二客体相关第四深度信息是利用从多个第四光源照射的图案光中的从所述第二客体反射的图案光而生成，所述第二客体相关二维图像数据是利用从至少一个第五光源照射的第一波长的光、第二波长的光、第三波长的光及所述第四波长的光中的至少一种光中、从所述第二客体反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光而生成。
在一个实施例中，就所述基于机器学习的模型而言，所述多个第三光源的数量可以与所述多个第一光源的数量相同，所述多个第四光源的数量可以大于所述多个第一光源的数量。
在一个实施例中，所述第一波长的光可以为红色光，所述第二波长的光可以为绿色光，所述第三波长的光可以为蓝色光，所述第四波长的光可以为白色光。
在一个实施例中，所述基于机器学习的模型可以包括CNN(Convolution NeuralNetwork：卷积神经网络)或GAN(Generative Adversarial Network：生成性对抗网络)。
在一个实施例中，所述可执行命令可以使所述处理器还执行：利用减小了所述噪声的所述第二深度信息来生成所述第二部件相关三维图像的步骤；及利用所述第二部件相关三维图像来检查所述部件的贴装状态的步骤。
在一个实施例中，就所述基于机器学习的模型而言，如果对其还输入所述第一客体相关第五深度信息，则可以还利用所述第五深度信息，输出减小了所述噪声的所述第二深度信息，其中，所述第一客体相关第五深度信息是利用借助于第四图像传感器而接收的、从所述第一客体反射的图案光而生成，所述第四图像传感器配置于比接收从所述多个第三光源照射的图案光中用于生成所述第一深度信息的图案光的第三图像传感器更下侧的位置。
在一个实施例中，所述可执行命令可以使得述处理器还实现：利用借助于所述第二图像传感器而接收的、从所述部件反射的图案光来生成所述部件相关第六深度信息的步骤；以及，还将所述第六深度信息输入至所述基于机器学习的模型的步骤。
根据本公开一个实施例，在印刷电路板检查装置中***件的贴装状态的方法可以包括：控制多个第一光源而使其向贴装在印刷电路板上的部件照射图案光的步骤；控制至少一个第二光源而使得向所述部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光的步骤；利用借助于第一图像传感器而接收的、从所述部件反射的所述图案光来生成所述部件相关第一深度信息的步骤；利用借助于所述第一图像传感器而接收的、从所述部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成所述部件相关二维图像数据的步骤；将所述第一深度信息及所述部件相关二维图像数据输入至基于机器学习的模型的步骤；从所述基于机器学习的模型获得减小了噪声的所述第一深度信息的步骤；以及，利用减小了所述噪声的所述第一深度信息来检查所述部件的贴装状态的步骤，；就所述基于机器学习的模型而言，如果对其输入利用从多个第三光源照射的图案光中从第一客体反射的图案光而生成的所述第一客体相关第二深度信息及所述第一客体相关二维图像数据，则可以利用所述第一客体相关二维图像数据，输出减小了噪声的所述第二深度信息。
在一个实施例中，所述基于机器学习的模型利用所述第二客体相关第三深度信息、所述第二客体相关第四深度信息及所述第二客体相关二维图像数据进行学习，以便输出减小了噪声的第三深度信息，基于所述学习结果，如果输入所述第一深度信息及所述第一客体相关二维图像数据，则输出减小了所述噪声的所述第一深度信息，其中，所述第二客体相关第三深度信息是利用从所述多个第三光源照射的图案光中的、从所述第二客体反射的图案光而生成，所述第二客体相关第四深度信息是利用从多个第四光源照射的图案光中的、从所述第二客体反射的图案光而生成，所述第二客体相关二维图像数据是利用从至少一个第五光源照射的第一波长的光、第二波长的光、第三波长的光及所述第四波长的光中的至少一种光中、从所述第二客体反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光而生成。
本公开多样实施例所提供的印刷电路板检查装置，其通过基于机器学习的模型来处理部件相关深度信息及部件相关二维图像数据，从而可以在部件相关深度信息中减小噪声，通过利用减小了噪声的部件相关深度信息，来检查印刷电路板上贴装的部件的贴装状态。印刷电路板检查装置为了生成深度信息，即使获得相对较少数量的图像数据，也可以利用基于机器学习的模型，将未接收信号或峰值信号等的噪声从部件相关深度信息中去除，即使获得相对较少数量的图像数据而导致用于生成深度信息的信息不足的情况下，也可以利用基于机器学习的模型生成部件相关深度信息，使得消失的形状复原。另外，印刷电路板检查装置可以在最大限度补正部件角部等的三维鲜明度的同时，不执行部件接缝形状的错误复原，可以在不损毁被追加测量到的异物形状的状态下对其进行检测。
如上所述，从部件相关深度信息中减小噪声，针对印刷电路板上贴装的部件及焊膏，按照与实际部件及焊膏的形状最大限度类似的水平执行形状复原，从而可以更准确地***件的贴装状态。
附图说明
图1是本公开的多样实施例所涉及的印刷电路板检查装置的示意图。
图2是本公开的多样实施例所涉及的印刷电路板检查装置的框图。
图3是借助于本公开多样实施例所涉及的印刷电路板检查装置来***件贴装状态的方法的流程图。
图4a及图4b是用于说明本公开多样实施例所涉及的基于机器学习的模型的学习方法的概念图。
图5a及图5b是用于说明本公开多样实施例所涉及的基于机器学习的模型的运转的概念图。
图6是用于说明本公开多样实施例所涉及的基于机器学习的模型的学习方法的概念图。
图7是用于说明本公开多样实施例所涉及的基于机器学习的模型的、学习所利用的深度信息的获得方法的图。
图8是利用借助于本公开多样实施例所涉及的印刷电路板检查装置而减小了噪声的深度信息而生成的、部件相关图像的示意图。
具体实施方式
本公开的实施例是以说明本公开的技术思想为目的的示例。本公开的权利范围不限定于以下提示的实施例或对这些实施例的具体说明。
无不同定义的情况下，本公开中使用的所有技术术语及科学术语具有本公开所属技术领域的普通技术人员通常能理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，并非是为了限制本公开的权利范围而选择的。
本公开中使用的诸如“包括的”、“具备的”、“具有的”等表现，只要在包含相应表现的语句或文章中未提及不同的含义，应理解为具有包括其他实施例的可能性的开放型术语(open-ended terms)。
除另有说明外，本公开中记述的单数型的表现可以包括复数型的意义，这种解释同样也适用于权利要求书中记载的单数型的表现。
本公开中使用的“第一”、“第二”等表现，用于相互区分多个构成要素，并非限定相应构成要素的顺序或重要度。
本公开中使用的术语“部”意味着软件或诸如FPGA
(Field-Programmable Gate Array，现场可编程门阵列)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质中，也可以构成得使一个或其以上的处理器运行。因此，作为一个示例，“部”包括诸如软件构成要素、客体指向软件构成要素、集群构成要素及任务构成要素等的构成要素，处理器，函数，属性，程序，子程序，程序代码的片段，驱动器，固件，微码，电路，数据，数据库，数据结构，工作表，阵列及变数。构成要素和“部”内提供的功能可以由更少数量的构成要素及“部”结合，或进一步分离成追加的构成要素和“部”。
本公开中使用的“基于～”字样的表现，用于记述对包含相应表现的语句或文章中记述的决定、判断的行为或对动作施加影响的一个以上因子，该表现不排除对决定、判断的行为或对动作施加影响的追加因子。
在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以是以新的其他构成要素为媒介连接或接入。
下面参照附图，说明本公开的实施例。在附图中，对相同或对应的构成要素，赋予相同的附图标记。另外，在以下实施例的说明中，可以省略相同或对应的构成要素的重复记述。但是，即使省略有关构成要素的记述，也并不意味着某个实施例中不包括这种构成要素。
图1是本公开的一个实施例所涉及的印刷电路板检查装置的示意图。
根据本实施例，印刷电路板检查装置100可以检查贴装在印刷电路板110上的至少一个部件的贴装状态。移送部120可以将印刷电路板110移送到为了***件的贴装状态而预先设置的位置。另外，借助于印刷电路板检查装置100完成检查后，移送部120可以移动完成检查的印刷电路板110而使其从预先设置的位置脱离，并将另一印刷电路板111移动到预先设置的位置。
根据本实施例，印刷电路板检查装置100可以包括第一光源101、第一图像传感器102、框架103、第二图像传感器104及第二光源105。图1所示的第一光源101、第一图像传感器102、框架103、第二图像传感器104及第二光源105各自的个数及配置状态，只以说明为目的，并非限定于此。例如，既可以在图1所示的图像传感器102的位置配置一个第一光源101，也可以在图1图示的第一光源101的位置配置多个图像传感器，第一光源101、图像传感器102也可以通过多个框架103而配置成多样方向及角度。
在一个实施例中，第一光源101可以向为了***件的贴装状态而被移动到预先设置的位置的印刷电路板110照射图案光。存在多个第一光源101的情况下，可以配置得具有互不相同的照射方向、互不相同的照射角度等。另外，第一光源101为多个时，第一光源101照射的图案光的间距等可以彼此相异。例如，图案光可以为为了测量印刷电路板110的三维形状而照射的、形成具有既定周期的图案的光。第一光源101可以照射条纹亮度呈正弦波形态的图案光、亮部与暗部反复显示的开-关(on-off)形态的图案光或亮度变化为三角形波形的三角波图案光等。不过，这只是出于说明目的，并非限定于此，第一光源101可以照射亮度变化以既定周期反复进行的多样形态的图案的光。
在一个实施例中，第二光源105可以向印刷电路板110照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光。例如，第二光源105可以只照射第一波长的光、第二波长的光、第三波长的光及第四波长的光之一，或者依次照射第一波长的光、第二波长的光、第三波长的光及第四波长的光，或者同时照射至少两种光。
在一个实施例中，第一图像传感器102可以接收从印刷电路板110及贴装在印刷电路板110上的部件反射的图案光，以及被反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。第一图像传感器102可以利用接收的图案光，以及第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光来生成图像数据。
在一个实施例中，第二图像传感器104可以配置于比第一图像传感器102更下侧的位置。第二图像传感器104可以接收从印刷电路板110及贴装在印刷电路板110上的部件反射的图案光，以及被反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。第二图像传感器104可以利用所接收的图案光以及第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成图像数据。例如，第一图像传感器102及第二图像传感器104可以包括CCD(Charge Coupled Device：电荷耦合元件)照相机、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)照相机等。不过，这只是出于说明的目的，并非限定于此，多样的图像传感器可以用作第一图像传感器102及第二图像传感器104。
在一个实施例中，第一光源101、第一图像传感器102及第二图像传感器104可以固定于第一框架103。另外，第二光源105可以固定于与第一框架103连接的第二框架106。例如，第二光源105为多个时，多个第二光源105中的一部分可以以地面为基准，以具有相同高度的方式固定于第二框架106，多个第二光源105中的另一部分也可以以具有互不相同高度的方式固定于第二框架106。如上所述，多个第二光源105以具有互不相同的位置或高度的方式配置于第二框架106上，从而分别从多个第二光源105照射的各波长的光可以以互不相同的角度照射于印刷电路板110。另外，多个第二光源可以构成得根据配置的高度而照射互不相同的至少一个波长的光。例如，在多个第二光源105中，以具有第一高度的方式配置于第二框架106上的多个第二光源105可以照射第一波长的光，以具有第二高度的方式配置于第二框架106上的多个第二光源105可以照射第二波长的光，以具有第三高度的方式配置于第二框架106上的多个第二光源105可以照射第三波长的光及第四波长的光。
在图1中，第二框架106图示为环状，但并非限定于此。另外，在图1中，图示了第二光源105固定于第二框架106，但这只是出于说明的目的，并非限定于此，第二光源105也可以固定于第一框架103。此时，第二框架106可以不包括于印刷电路板检查装置100。
图2是本公开的多样实施例所涉及的印刷电路板检查装置的框图。
根据本公开的多样实施例，印刷电路板检查装置100可以包括第一光源210、第二光源220、第一图像传感器230、存储器240及处理器250。另外，印刷电路板检查装置100可以还包括第二图像传感器270或通信电路260。印刷电路板检查装置100包括的各构成要素可以相互电气连接而接收发送信号、数据等。
在一个实施例中，印刷电路板检查装置100可以包括多个第一光源210。第一光源210可以向检查对象(例：印刷电路板等)照射图案光。例如，第一光源210可以向全体检查对象照射图案光，或向检查对象所包括的客体(例：印刷电路板上贴装的部件等)照射图案光。下面为了说明的便利，以第一光源210向贴装在印刷电路板上的部件照射图案光为中心进行说明，但并非限定于此，第一光源210可以向作为检查对象的全体印刷电路板或包括贴装印刷电路板上的至少一个部件的印刷电路板的一个区域照射图案光。
在一个实施例中，第一光源210可以包括光源(图上未示出)、光栅(图上未示出)、光栅移送装置(图上未示出)及投影透镜部(图上未示出)。光栅可以使光源照射的光变换成图案光。光栅为了产生相移的图案光，例如可以通过诸如PZT(piezo actuator：压电执行器)的光栅移送器具被移送。投影透镜部可以使借助于光栅而生成的图案光照射于检查对象所包含的客体上，即贴装在印刷电路板上的部件。另外，第一光源210可以通过诸如LCD(Liquid Crystal Display：液晶显示)、DLP(Digital Light Processing：数字光处理)及LCOS(Liquid Crystal On Silicon：硅上液晶)等的多样方法形成图案光，并使图案光照射于作为检查对象所包括的客体的、贴装在印刷电路板上的部件。
在一个实施例中，印刷电路板检查装置100可以包括至少一个第二光源220。第二光源220可以向检查对象照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。例如，第二光源220可以向全体检查对象或检查对象所包括的客体照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。下面为了说明的便利，以第二光源220向贴装在印刷电路板上的部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光为中心进行说明，但并非限定于此，第二光源220可以向作为检查对象的全体印刷电路板或包括贴装在印刷电路板上的至少一个部件的印刷电路板的一个区域照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。
在一个实施例中，第二光源220可以只照射第一波长的光、第二波长的光、第三波长的光及第四波长的光之一，或者依次照射第一波长的光、第二波长的光、第三波长的光及第四波长的光，或者同时照射至少两种光。例如，第一波长的光可以为红色光，第二波长的光可以为绿色光，第三波长的光可以为蓝色光，第四波长的光可以为白色光。不过，这只是出于说明目的，并非限定于此，第一波长的光、第二波长的光、第三波长的光及第四波长的光可以为具有互不相同波长的光。
在一个实施例中，第一图像传感器230可以接收从部件反射的图案光、从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。第一图像传感器230接收从部件反射的图案光、从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光，可以利用接收的图案光、接收的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成部件相关图像数据。例如，第一图像传感器230可以接收从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成与部件相关的二维图像数据。第一图像传感器230可以将生成的部件相关图像数据传递给处理器250。
在一个实施例中，存储器240可以存储与印刷电路板检查装置100的至少一个其他构成要素相关的命令或数据。另外，存储器240可以存储软件及/或程序。例如，存储器240可以包括内置存储器或外置存储器。内置存储器可以包括易失性存储器(例：DRAM、SRAM或SDRAM等)、非易失性存储器(例：闪速传感器、硬盘驱动器或固态驱动器(SSD))中至少一种。外置存储器可以通过多样接口，与印刷电路板检查装置100在功能上或物理上连接。
在一个实施例中，存储器240可以存储使处理器250运转的命令。例如，存储器240可以存储使处理器250控制印刷电路板检查装置100的其他构成要素、与外部电子装置或服务器联动的命令。处理器250可以基于存储器240中存储的命令，控制印刷电路板检查装置100的其他构成要素，与外部电子装置或服务器联动。下面以印刷电路板检查装置100的各构成要素为主体，说明印刷电路板检查装置100的运转。另外，借助于各构成要素而执行运转的命令可以存储于存储器240。
在一个实施例中，存储器240可以存储基于机器学习的模型。基于机器学习的模型可以被输入与第一客体相关的第一深度信息及二维图像数据，其中，与第一客体相关的第一深度信息，是利用从多个第三光源照射的图案光中的、从第一客体反射的图案光而生成的。例如，第一深度信息可以包括第一客体的形态、各像素的颜色信息、亮度信息、高度值中至少一种。另外，与第一客体相关的二维图像数据，可以利用从第一客体反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光而生成，二维图像数据可以包括从第一客体反射的各波长的颜色信息。
例如，多个第三光源与多个第一光源210既可以相同，也可以相异。即使多个第三光源与多个第一光源210相异，多个第三光源的数量也可以与多个第一光源210的数量相同。另外，即使多个第三光源包括于不同的印刷电路板检查装置，在不同印刷电路板检查装置内的多个第三光源的配置位置也可以与印刷电路板检查装置100内的多个第一光源的配置位置对应。如果对基于机器学习的模型输入第一深度信息及与第一客体相关的二维图像数据，则基于机器学习的模型可以利用与第一客体相关的二维图像数据，输出减小了噪声的第一深度信息。
例如，就利用从第一客体反射的图案光而生成的第一深度信息而言，在照射于第一客体的图案光的多重反射或在图像传感器对接收的光进行处理的过程等中可能发生噪声。例如，噪声可以是第一深度信息中判断为不与第一客体的形状对应或与第一客体无关联的部分。基于机器学习的模型为了提高第一客体相关图像，例如与第一客体相关的三维图像的品质，可以利用与第一客体相关的二维图像数据进行学习，以便输出减小了噪声的第一深度信息。作为基于机器学习的模型，可以包括CNN(Convolutional Neural Network：卷积神经网络)、GAN(Generative Adversarial Network：生成对抗网络)等。对于第一深度信息及与第一客体相关的二维图像数据被输入至基于机器学习的模型中时，基于机器学习的模型通过学习而输出减小了噪声的第一深度信息的具体方法，将在后面叙述。
另外，基于机器学习的模型也可以被存储于以有线或无线方式与印刷电路板检查装置100联动的外部电子装置或服务器的存储器中。此时，印刷电路板检查装置100为了减小第一深度信息的噪声而可以与以有线或无线方式联动的外部电子装置或服务器发送接收信息。
在一个实施例中，处理器250驱动操作系统或应用程序，从而可以控制印刷电路板检查装置100的至少一个其他构成要素，可以执行各种数据处理及运算等。例如，处理器250可以包括中央处理装置等，也可以以SoC(system on chip，片上系统)体现。
·在一个实施例中，通信电路260可以与外部电子装置或外部服务器执行通信。例如，通信电路260可以设置印刷电路板检查装置100与外部电子装置间的通信。通信电路260可以通过无线通信或有线通信而与网络连接，从而与外部电子装置或外部服务器通信。作为又一示例，通信电路260也可以与外部电子装置有线连接并执行通信。
无线通信例如可以包括蜂窝通信(例：LTE(长期演进)、LTE-A(高级长期演进)、CDMA(code division multiple access：码分多址)、WCDMA(wideband CDMA：宽带码分多址)、UMTS(universal mobile telecommunications system：通用移动通信系统)、WiBro(Wireless Broadband：无线宽带)等。另外，无线通信可以包括近距离无线通信(例：WiFi(wireless fidelity：无线保真)、LiFi(light fidelity：光保真)、蓝牙、低功率蓝牙(BLE)、无线个域网(Zigbee)、NFC(near field communication：近场通信)等。
在一个实施例中，处理器250可以利用借助于第一图像传感器230而接收的、从贴装在印刷电路板上的部件反射的图案光来生成部件相关第二深度信息。例如，处理器250可以利用借助于第一图像传感器230而生成且从部件反射的图案光所生成的部件相关图像，来生成部件相关第二深度信息。作为又一示例，第一图像传感器230也可以将被接收的图案光相关信息传递给处理器250，处理器250生成部件相关图像，利用部件相关图像，生成部件相关第二深度信息。处理器250可以将光三角方式或漏桶算法(bucket algorithm)等应用于部件相关图像而生成部件相关第二深度信息。不过，这只是出于说明目的，并非限定于此，可以通过多样方式，生成部件相关第二深度信息。
在一个实施例中，处理器250可以从第一图像传感器230接收部件相关二维图像数据。例如，第一图像传感器230可以利用从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光，生成部件相关二维图像数据，将生成的部件相关二维图像数据传递给处理器250。另外，第一图像传感器230也可以将接收的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光的相关信息传递给处理器250，处理器250利用第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光的相关信息，生成部件相关二维图像。
在一个实施例中，处理器250可以将第二深度信息及部件相关二维图像输入至基于机器学习的模型中。例如，处理器250在基于机器学习的模型被存储于存储器240的情况下，可以向基于机器学习的模型直接输入第二深度信息及部件相关二维图像。作为又一示例，在基于机器学习的模型被存储于外部电子装置或外部服务器的情况下，处理器250可以控制通信电路260，以便将第二深度信息及部件相关二维图像发送给外部电子装置或外部服务器。
在一个实施例中，处理器250可以从基于机器学习的模型获得减小了噪声的第二深度信息。例如，在基于机器学习的模型被存储于存储器240的情况下，处理器250可以直接从基于机器学习的模型获得减小了噪声的第二深度信息。作为又一示例，在基于机器学习的模型被存储于外部电子装置或外部服务器的情况下，处理器250可以从外部电子装置或外部服务器，通过通信电路260获得减小了噪声的第二深度信息。
在一个实施例中，处理器250可以利用减小了噪声的第二深度信息，检查贴装在印刷电路板上的部件的贴装状态。例如，处理器250可以利用减小了噪声的第二深度信息，生成部件相关三维图像。另外，处理器250可以利用生成的部件相关三维图像，来***件的贴装状态。例如，处理器250利用部件相关三维图像，***件是否贴装于预先设定的位置、部件是否按预先设定的方向贴装、部件的至少一部分是否倾斜贴装、部件是否有异物质(foreign object)等，从而可以***件的贴装状态。
在一个实施例中，第二图像传感器270可以配置于比第一图像传感器230更下侧的位置。例如，第二图像传感器270可以以地面为基准，配置得具有比第一图像传感器230的高度更低的高度。第二图像传感器270可以接收反射的图案光、反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光，利用接收的图案光、接收的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光来生成部件相关图像数据。例如，第二图像传感器270可以接收从部件反射的第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光，生成部件相关二维图像数据。第二图像传感器270可以将生成的部件相关图像数据传递给处理器250。
在一个实施例中，基于机器学习的模型可以还接受输入第五深度信息，该第五深度信息是利用借助于第四图像传感器而接收的、从第一客体反射的图案光而生成，其中，第四图像传感器配置于比第三图像传感器更下侧的位置，而且第三图像传感器接收从多个第三光源照射的图案光中用于生成第一深度信息的图案光。例如，第三图像传感器既可以与第一图像传感器230相同，也可以相异。另外，第四图像传感器既可以与第二图像传感器270相同，也可以相异。第三图像传感器与第四图像传感器分别与第一图像传感器230及第二图像传感器270相异，第三图像传感器和第四图像传感器可以包括于不同的印刷电路板检查装置。此时，不同印刷电路板检查装置内的第三图像传感器配置的高度，可以与印刷电路板检查装置100内的第一图像传感器230配置的高度对应，不同印刷电路板检查装置内的第四图像传感器配置的高度，可以与印刷电路板检查装置100内的第二图像传感器270配置的高度对应。当基于机器学习的模型还被输入第五深度信息时，则可以还利用第五深度信息，输出减小了噪声的第一深度信息。对于使基于机器学习的模型学习，以便还利用第五深度信息输出减小了噪声的第一深度信息的具体方法，将在后面叙述。
在一个实施例中，当处理器250借助第二图像传感器270接收从部件反射的图案光时，则可以利用借助于第二图像传感器270而接收的从部件反射的图案光，生成与部件相关的第六深度信息。例如，处理器250可以利用部件相关图像来生成与部件相关的第六深度信息，此时的部件相关图像是利用借助于第二图像传感器270而生成且从部件反射的图案光而生成。
在一个实施例中，处理器250可以还将第六深度信息输入至基于机器学习的模型中。例如，在基于机器学习的模型被存储于存储器240的情况下，处理器250可以直接向基于机器学习的模型输入第六深度信息。作为又一示例，在基于机器学习的模型被存储于外部电子装置或外部服务器的情况下，处理器250可以控制通信电路260，使得将第六深度信息发送给外部电子装置或外部服务器。
另外，处理器250在还将第六深度信息输入至基于机器学习的模型后，可以从基于机器学习的模型获得减小了噪声的第二深度信息。例如，在基于机器学习的模型存储于存储器240的情况下，处理器250可以直接从基于机器学习的模型获得减小了噪声的第二深度信息。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器250可以从外部电子装置或外部服务器，通过通信电路260而获得减小了噪声的第二深度信息。
图3是借助于本公开多样实施例所提供的印刷电路板检查装置来***件贴装状态的方法的流程图。
在图3所示的流程图中，依次说明了流程步骤、方法步骤、算法等，但这些流程、方法及算法可以构成得按任意适合的顺序运转。换句话说，本公开的多样实施例中说明的进程、方法及算法的步骤，无需按本公开中记述的顺序执行。另外，即使说明的是一部分步骤按非同时方式执行的情形，但在其他实施例中，这种一部分步骤可以同时执行。另外，附图中描写的进程的示例并不意味着举例的进程排除对其的不同变化及修订，并不意味着举例的进程或其步骤中任意某一者是本公开的多样实施例中一者以上所必需的，并不意味着举例的进程是优选的。
在310步骤中，印刷电路板检查装置100可以向贴装在印刷电路板上的部件照射图案光。例如，印刷电路板检查装置100的处理器可以控制多个第一光源，从而使其向作为检查对象的、贴装在印刷电路板上的多个部件分别照射图案光。
在320步骤中，印刷电路板检查装置100可以向贴装在印刷电路板上的部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中的至少一种光。例如，处理器可以控制至少一个第二光源，从而使其向作为检查对象的、贴装在印刷电路板上的多个部件分别照射至少一个第一波长的光、第二波长的光、第三波长的光及第四波长的光。处理器可以控制至少一个第二光源，从而使其只照射第一波长的光、第二波长的光、第三波长的光及第四波长的光之一，或者依次照射第一波长的光、第二波长的光、第三波长的光及第四波长的光，或者同时照射至少两种光。
在330步骤中，印刷电路板检查装置100可以接收从部件反射的图案光，利用图案光生成部件相关第二深度信息。例如，第一图像传感器可以利用从部件反射的图案光来生成部件相关图像，并将生成的部件相关图像传递给处理器。处理器可以利用从第一图像传感器接收的部件相关图像，生成部件相关第二深度信息。
在340步骤中，印刷电路板检查装置100可以利用从部件反射的至少一个第一波长的光、第二波长的光、第三波长的光及第四波长的光来生成部件相关二维图像数据。例如，第一图像传感器可以利用从部件反射的至少一个第一波长的光、第二波长的光、第三波长的光及第四波长的光来生成部件相关二维图像数据，并将生成的部件相关二维图像数据传递给处理器。
在350步骤中，印刷电路板检查装置100可以将第二深度信息及部件相关二维图像数据输入至基于机器学习的模型。例如，在基于机器学习的模型存储于印刷电路板检查装置100的存储器的情况下，处理器可以将第二深度信息及部件相关二维图像直接输入至基于机器学习的模型。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器可以控制通信电路，使得将第二深度信息及部件相关二维图像发送给外部电子装置或外部服务器。
在360步骤中，印刷电路板检查装置100可以从基于机器学习的模型获得减小了噪声的第二深度信息。例如，在基于机器学习的模型存储于存储器的情况下，处理器可以从基于机器学习的模型直接获得减小了噪声的第二深度信息。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器通过通信电路可以从外部电子装置或外部服务器获得减小了噪声的第二深度信息。
在370步骤中，印刷电路板检查装置可以利用减小了噪声的第二深度信息来***件的贴装状态。例如，处理器可以利用减小了噪声的第二深度信息，生成部件相关三维图像。另外，处理器可以利用生成的部件相关三维图像来***件的贴装状态。
图4a及图4b是用于说明本公开多样实施例所涉及的基于机器学习的模型的学习方法的概念图。
参照图4a，基于机器学习的模型410可以利用与第二客体相关的第三深度信息411、二维图像数据412及第四深度信息413进行学习，使得输出减小了噪声的第三深度信息414，其中，与第二客体相关的第三深度信息411是利用从多个第三光源照射的图案光中的、从第二客体反射的图案光而生成的，与第二客体相关的二维图像数据412是利用从至少一个第五光源照射的至少一种第一波长的光、第二波长的光、第三波长的光及第四波长的光中的、从第二客体反射的至少一种第一波长的光、第二波长的光、第三波长的光及第四波长的光而生成的，与第二客体相关的第四深度信息413是利用从多个第四光源照射的图案光中的、从第二客体反射的图案光而生成的。
基于机器学习的模型410根据能够输出减小了噪声的第三深度信息414的学习结果，即使被输入与学习所使用的第二客体相异的第一客体相关第一深度信息及第一客体相关二维图像，也可以输出减小了噪声的第一客体相关第一深度信息。
在一个实施例中，为了学习而可以向基于机器学习的模型410输入第三深度信息411、二维图像数据412及第四深度信息413。例如，照射用于生成第四深度信息413的图案光的多个第四光源的数量可以大于多个第一光源的数量，可以大于具有与多个第一光源的数量相同的数量的多个第三光源的数量。多个第四光源的数量大于多个第三光源的数量，因而生成第四深度信息413所使用的第二客体相关多个图像的数量可以大于生成第三深度信息411所使用的第二客体相关多个图像的数量。多个第四光源各自的照射方向、照射角度、间距等彼此相异，因而生成第四深度信息413所使用的第二客体相关多个图像可以均为第二客体相关图像，或者可以为彼此相异的图像。与此相同，多个第三光源各自的照射方向、照射角度、间距等彼此相异，因而生成第三深度信息411所使用的第二客体相关多个图像可以均为第二客体相关图像，或者是彼此相异的图像。
另外，多个第四光源的数量大于多个第三光源的数量，因而多个第四光源可以具有与多个第三光源不同的至少一个照射方向、至少一个照射角度、至少一个间距等，向第二客体照射光。因此，生成第四深度信息413所使用的第二客体相关多个图像的数量大于生成第三深度信息411所使用的第二客体相关多个图像的数量，由此生成的第四深度信息413相比第三深度信息411，可以相对更少地发生噪声。因此，通过利用更多数量的光源而生成的深度信息来测量的客体形状，相比通过利用更少数量的光源而生成的深度信息来测量的客体形状，可以更接近客体的实际形状。
在一个实施例中，在第四深度信息413中，比第三深度信息411相对更少地发生噪声，因而在基于机器学习的模型410为了减小第三深度信息411中的噪声而变换第三深度信息411，或为了在第三深度信息411中检测出噪声而学习的过程中，第四深度信息413可以用作成为基准的深度信息。
在一个实施例中，基于机器学习的模型410通过学习可以变换第三深度信息411，以使其收敛于第四深度信息413。下面为了说明的便利，将经变换而收敛于第四深度信息413的第三深度信息411称为变换深度信息。例如，基于机器学习的模型410可以比较变换深度信息与第四深度信息413。基于机器学习的模型410基于比较结果，可以调整用于第三深度信息411变换的参数。基于机器学习的模型410通过反复上述过程，可以决定用于第三深度信息411变换的参数，使得第三深度信息411收敛于第四深度信息413。由此，基于机器学习的模型410可以进行变换第三深度信息411而使得收敛于第四深度信息413的学习。如上所述，基于机器学习的模型410进行变换第三深度信息411而使得收敛于第四深度信息413的学习，从而即使在生成深度信息时可用的客体相关图像的数量相对不足的情况下，也可以更准确地测量客体的形状。
另外，基于机器学习的模型410可以利用二维图像数据412进行能调整变换深度信息的学习，以便可以更准确地表现第二客体的形状。例如，在贴装于印刷电路板的部件上附加有异物的情况下，连附加的异物的形状也需测量，这样才能更准确地***件的贴装状态。因此，基于机器学习的模型410可以利用二维图像数据412进行能调整变换深度信息的学习，以便即使在第二客体附加有异物等的情况下，也可以通过变换深度信息来表现附加有异物的部分的形状。例如，基于机器学习的模型410可以进行通过比较基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状而决定是否调整变换深度信息的学习。
例如，在基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状的差异为预先设置的范围以内时，基于机器学习的模型410决定为不调整变换深度信息，并能进行将变换深度信息输出为减小了噪声的第三深度信息414的学习。
作为又一示例，在基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状的差异超出预先设置的范围时，基于机器学习的模型410决定为调整变换深度信息，并能进行调整变换深度信息，且将被调整的变换深度信息输出为减小了噪声的第三深度信息414的学习。
在一个实施例中，基于机器学习的模型410可以进行能从第三深度信息411中检测噪声的学习。例如，基于机器学习的模型410通过学习可以从第三深度信息411中检测噪声，减小所检测的噪声后输出减小了噪声的第三深度信息414。
例如，基于机器学习的模型410可以进行通过比较变换深度信息与第三深度信息411而从第三深度信息411中检测判断为噪声的第一部分的学习。例如，基于机器学习的模型410通过学习可以将变换深度信息与第三深度信息411的差异为预先设置的临界值以上的部分检测为第一部分。
另外，基于机器学习的模型410为了更准确地检测噪声，可以利用二维图像数据412进行学习，从而在第一部分中检测出实际上并非为噪声却被判断为噪声的第二部分。在检测到第二部分时，基于机器学习的模型410通过学习可以在第一部分中排除第二部分，并将排除了第二部分的第一部分决定为第三深度信息411中的噪声。另外，在未检测到第二部分时，基于机器学习的模型410通过学习可以将第一部分决定为第三深度信息411中的噪声。基于机器学习的模型410可以进行减小第三深度信息411中被决定的噪声并输出减小了噪声的第三深度信息414的学习。
参照图4b，基于机器学习的模型420可以还利用第七深度信息421进行学习，从而输出减小了噪声的第三深度信息422，其中，第七深度信息421是利用借助于第六图像传感器而接收的、从第二客体反射的图案光而生成，而且，相比接收从多个第三光源照射的图案光中的、生成第三深度信息411所使用的图案光的第五图像传感器，第六图像传感器配置于更下侧的位置。基于机器学习的模型420基于可以输出减小了噪声的第三深度信息422的学习结果，即使被输入与第二客体相异的第一客体相关第一深度信息、第五深度信息及第一客体相关二维图像数据，也可以输出减小了噪声的第一深度信息。
例如，第五图像传感器既可以与第一图像传感器230相同，也可以相异。另外，第六图像传感器既可以与第二图像传感器270相同，也可以相异。第五图像传感器与第六图像传感器分别与第一图像传感器230及第二图像传感器270相异，第五图像传感器和第六图像传感器可以包括于不同的印刷电路板检查装置。此时，不同印刷电路板检查装置内的第五图像传感器配置的高度可以与印刷电路板检查装置100内的第一图像传感器230配置的高度对应，不同印刷电路板检查装置内的第六图像传感器配置的高度可以与印刷电路板检查装置100内的第二图像传感器270配置的高度对应。
在一个实施例中，可以还向基于机器学习的模型420输入第七深度信息421。基于机器学习的模型420可以利用二维图像数据412及第七深度信息421进行学习从而能调整变换深度信息，以便能够更准确地表现第二客体的形状。基于机器学习的模型420可以进行通过比较基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状和基于第七深度信息421的第二客体形状来决定是否调整变换深度信息的学习。
例如，在基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状及基于第七深度信息421的第二客体形状各自的差异为预先设置的范围以内时，基于机器学习的模型420可以进行决定为不调整变换深度信息，并将变换深度信息输出为减小了噪声的第三深度信息422的学习。
作为又一示例，在基于变换深度信息的第二客体形状与基于二维图像数据412的第二客体形状及基于第七深度信息421的第二客体形状各自的差异超出预先设置的范围时，基于机器学习的模型420可以进行决定调整变换深度信息，并调整变换深度信息后将被调整的变换深度信息输出为减小了噪声的第三深度信息422的学习。
在一个实施例中，基于机器学习的模型420为了更准确地检测噪声，可以利用二维图像数据412及第七深度信息421进行学习，从而能在第三深度信息411中判断为噪声的第一部分中，检测出实际上并非是噪声却被判断为噪声的第二部分。基于机器学习的模型420在检测到第二部分时，可以进行从第一部分中排除第二部分，并将排除了第二部分的第一部分决定为第三深度信息411中的噪声的学习。另外，基于机器学习的模型420在未检测到第二部分时，可以进行将第一部分决定为第三深度信息411中的噪声的学习。基于机器学习的模型420通过学习可以在第三深度信息411中减小被决定的噪声，从而输出减小了噪声的第三深度信息422。
通过如上所述的学习过程，即使对基于机器学习的模型410输入并非学习所使用的第二客体的第一客体相关第一深度信息、第五深度信息及二维图像数据，也可以利用二维图像数据进行学习，从而能输出减小了噪声的第一深度信息。
在一个实施例中，利用从多个第四光源照射的图案光而生成的第四深度信息413，可以借助于包括数量大于多个第三光源数量的多个第四光源的印刷电路板检查装置而生成。另外，第四深度信息413也可以借助于包括数量小于多个第四光源数量的多个第三光源的印刷电路板检查装置而生成。此时，对于生成第四深度信息413的具体方法，将在图7中说明。
图5a及图5b是用于说明本公开多样实施例的基于机器学习的模型的运转的概念图。
参照图5a，利用从多个第三光源照射的图案光中的、从第一客体反射的图案光而生成的第一客体相关第一深度信息511及第一客体相关二维图像数据512，可以输入至基于机器学习的模型510。另外，虽然未图示，但如果利用从第一客体反射的图案光而生成的第一客体相关图像被输入至基于机器学习的模型510，则基于机器学习的模型510也可以利用第一客体相关图像来生成第一深度信息511。如果输入第一深度信息511及二维图像数据512，则基于机器学习的模型510可以利用二维图像数据512，输出减小了噪声的第一深度信息513。
下面为了说明的便利，将利用从数量大于多个第三光源数量的多个第四光源照射的光而生成的深度信息称为基准深度信息，将借助于基于机器学习的模型510而变换成收敛于基准深度信息的第一深度信息511称为变换深度信息。
在一个实施例中，基于机器学习的模型510可以将第一深度信息511变换得收敛于基准深度信息。另外，基于机器学习的模型510可以利用二维图像数据512来调整变换深度信息，使得可以更准确地表现第一客体的形状。例如，基于机器学习的模型510比较基于变换深度信息的第一客体形状与基于二维图像数据512的第二客体形状，从而可以决定是否调整变换深度信息。
例如，在基于变换深度信息的第一客体形状与基于二维图像数据512的第二客体形状的差异为预先设置的范围以内时，基于机器学习的模型510可以决定为不调整变换深度信息。此时，基于机器学习的模型510可以将变换深度信息输出为减小了噪声的第一深度信息513。
作为又一示例，在基于变换深度信息的第一客体形状与基于二维图像数据512的第二客体形状的差异超出预先设置的范围时，基于机器学习的模型510可以决定为调整变换深度信息。此时，基于机器学习的模型510可以调整变换深度信息，并将被调整的变换深度信息输出为减小了噪声的第一深度信息513。
在一个实施例中，基于机器学习的模型510可以在第一深度信息511中检测噪声。例如，基于机器学习的模型510可以在第一深度信息511中检测噪声，并减小被检测的噪声后输出减小了噪声的第一深度信息513。
例如，基于机器学习的模型510比较变换深度信息与第一深度信息511，从而可以在第一深度信息511中检测被判断为噪声的第一部分。例如，基于机器学习的模型510可以将变换深度信息与第一深度信息511的差异为预先设置的临界值以上的部分检测为第一部分。
另外，基于机器学习的模型510为了更准确地检测噪声，可以利用二维图像数据512，检测第一部分中实际上并非是噪声却被判断为噪声的第二部分。基于机器学习的模型510在检测到第二部分时，可以从第一部分中排除第二部分，将排除了第二部分的第一部分决定为第一深度信息511中的噪声。另外，基于机器学习的模型510在未检测到第二部分时，可以将第一部分决定为第一深度信息511中的噪声。基于机器学习的模型510在第一深度信息511中减小被决定的噪声，从而可以输出减小了噪声的第一深度信息513。
参照图5b，可以还向基于机器学习的模型510输入第六深度信息521，该第六深度信息521是利用从多个第三光源照射的图案光中的、借助于相比第三图像传感器配置在更下侧位置的第四图像传感器而接收的、从第一客体反射的图案光而生成。另外，虽然未图示，如果利用从第一客体反射的图案光而生成的第一客体相关图像从第四图像传感器输入至基于机器学习的模型520，则基于机器学习的模型520可以利用第一客体相关图像来生成第六深度信息521。当被输入第一深度信息511、二维图像数据512及第六深度信息521，则基于机器学习的模型520可以利用二维图像数据512及第六深度信息421进行学习，从而能输出减小了噪声的第二深度信息522。
在一个实施例中，可以还向基于机器学习的模型520输入第六深度信息421。基于机器学习的模型520可以利用二维图像数据512及第六深度信息521来调整变换深度信息，从而能更准确地表现第一客体的形状。基于机器学习的模型520可以对基于变换深度信息的第一客体形状与基于二维图像数据512的第一客体形状和基于第六深度信息521的第一客体形状进行比较，从而决定是否调整变换深度信息。
例如，在基于变换深度信息的第二客体形状与基于二维图像数据521的第二客体形状及基于第六深度信息521的第二客体形状各自的差异为预先设置的范围以内时，基于机器学习的模型520可以决定为不调整变换深度信息。此时，基于机器学习的模型520可以将变换深度信息输出为减小了噪声的第一深度信息522。
作为又一示例，基于机器学习的模型520在基于变换深度信息的第一客体形状与基于二维图像数据512的第二客体形状及基于第六深度信息521的第二客体形状各自的差异超出预先设置的范围时，可以决定为调整变换深度信息。此时，基于机器学习的模型520可以调整变换深度信息，将被调整的变换深度信息输出为减小了噪声的第一深度信息522。
在一个实施例中，基于机器学习的模型520为了更准确地检测噪声，可以利用二维图像数据512及第六深度信息521，在第一深度信息511中被判断为噪声的第一部分中，检测实际上并非是噪声却被判断为噪声的第二部分。基于机器学习的模型520在检测到第二部分时，可以从第一部分中排除第二部分，并将排除了第二部分的第一部分决定为第一深度信息511中的噪声。另外，基于机器学习的模型520在未检测到第二部分时，可以将第一部分决定为第一深度信息511中的噪声。基于机器学习的模型520在第一深度信息511中减小被决定的噪声，从而可以输出减小了噪声的第一深度信息522。
如上所述，印刷电路板检查装置100为了生成深度信息，即使获得相对较少数量的图像数据，也可以利用基于机器学习的模型510、520，将未接收信号或峰值信号等噪声从部件相关深度信息中去除。另外，印刷电路板检查装置100即使在获得相对较少数量的图像数据而导致用于生成深度信息的信息不足的情况下，也可以利用基于机器学习的模型510、520来生成部件相关深度信息，从而能复原消失的形状。另外，印刷电路板检查装置100可以在最大限度地补正部件的角部等的三维鲜明度的同时不执行部件接缝形状的错误复原，不损毁被追加测量的异物形状的情况下进行检测。
图6是用于说明本公开多样实施例的基于机器学习的模型的学习方法的概念图。
在一个实施例中，基于机器学习的模型620可以包括CNN、GAN等。下面以可以利用U-net执行图像变换的GAN为中心，说明基于机器学习的模型的学习方法。基于机器学习的模型620可以包括生成部621及区分部622。
在一个实施例中，对生成部621可输入利用从多个第三光源照射的图案光中的、从第二客体反射的图案光而生成的第二客体相关第三深度信息611，对区分部622可输入利用从多个第四光源照射的图案光中的、从第二客体反射的图案光而生成的第二客体相关第四深度信息612。
在一个实施例中，生成部621变换第三深度信息611而使得收敛于第四深度信息612，从而可以生成变换的第三深度信息。区分部622比较变换的第三深度信息与第四深度信息612，从而可以区分已变换的第三深度信息与第四深度信息612。区分部622可以将区分已变换的第三深度信息与第四深度信息612的结果传递给生成部621。生成部621可以根据从区分部622接收的结果，调整用于第三深度信息611变换的参数。反复这种过程直至区分部622无法区分已变换的第三深度信息与第四深度信息612时为止，从而生成部621通过学习可以变换第三深度信息611而使得收敛于第四深度信息612，并由此生成已变换的第三深度信息。
另一方面，在生成部621中，利用某一特定部件的第三深度信息611和第四深度信息612，以及向部件照射第一波长的光、第二波长的光、第三波长的光及第四波长的光中至少一种光而生成的二维图像数据将构成一对，如果在第三深度信息611与第四深度信息612中存在品质拙劣的至少一种情形(按至少一个像素比较诸如阴影区域、饱和区域及SNR等某一通道与其他通道，当某一通道的深度信息比其他通道的深度信息显著低于预先设置的基准值的情形)，则生成部621可以追加执行在学习数据中排除相应部件数据的提纯操作。
图7是用于说明本公开多样实施例的获得基于机器学习的模型的学习所利用的深度信息的方法的图。
图4a及4b中说明的第四深度信息413也可以在生成第三深度信息411及第七深度信息421的印刷电路板检查装置中生成。例如如图7所示，假定多个第三光源710的数量为4，多个第四光源的数量为8。此时，印刷电路板检查装置100的处理器可以控制多个第三光源710而使得向贴装在印刷电路板上的部件照射图案光，利用从部件反射的图案光生成第三深度信息411后，将多个第三光源710按顺进针方向或逆时针方向移动。处理器可以控制按顺进针方向或逆时针方向被移动的多个第三光源710而使得向贴装在印刷电路板上的部件照射图案光，并利用从部件反射的图案光及第三深度信息411来生成第四深度信息413。另一方面，在图7中图示了多个第三光源710的数量为4个，但这只是出于说明的目的，并非限定于此，第三光源710也可以并非多个而是一个。如上所述，第四深度信息413也可以在包括数量小于多个第四光源数量的多个第三光源的印刷电路板检查装置中生成。
图8图示利用借助于本公开多样实施例的印刷电路板检查装置而减小了噪声的深度信息所生成的部件相关图像。
在一个实施例中，印刷电路板检查装置100可以利用从多个第一光源照射至贴装于印刷电路板上的部件的图案光中的、从部件反射的图案光来生成部件相关深度信息。另外，印刷电路板检查装置100可以利用生成的深度信息来生成部件相关三维图像。不过，在照射于印刷电路板的光的多重反射或在图像传感器处理所接收的光的过程等中可能发生发生噪声。如果发生的噪声不减小，则印刷电路板检查装置100生成的部件相关三维图像的品质会低下，会无法执行对部件贴装状态的准确的检查。
在一个实施例中，印刷电路板检查装置100可以利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像。利用减小了噪声的深度信息而生成的三维图像可以更准确地表现部件的形状，因而可以执行对部件贴装状态的更准确的检查。
参照图8的(a)，印刷电路板检查装置100不减小噪声而直接利用深度信息来生成部件相关三维图像时，由于噪声，部件与印刷电路板的连接部分(例：焊膏等)的形状810会在三维图像中表现为非正常形状或显示得象有孔一样。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件与印刷电路板的连接部分(例：焊膏等)的形状811可以在三维图像中更准确地被显示。
参照图8的(b)，印刷电路板检查装置100不减小噪声而直接利用深度信息而生成部件相关三维图像时，由于噪声，部件的边界(edge)形状820在三维图像中会显示为非正常形状。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件的边界形状821可以在三维图像中更准确地被显示。
参照图8的(c)，印刷电路板检查装置100直接利用生成的深度信息来生成部件相关三维图像时，由于噪声，象在部件内部有孔一样，部件的内部形状830在三维图像中会显示为非正常形状。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件的内部形状831可以在三维图像中更准确地被显示。
如上所述，印刷电路板检查装置100通过利用减小了噪声的深度信息而生成的三维图像，能更准确地显示部件的形状，从而可以执行对部件贴装状态的更准确的检查。
所述方法通过特定实施例进行了说明，但所述方法也可以在计算机可读记录介质中，体现为计算机可读代码、命令等。计算机可读记录介质包括存储有计算机系统可读取的数据的所有种类的记录装置。作为计算机可读记录介质的示例，可以包括ROM(只读存储器)、RAM(随机存取存储器)、CD-ROM(只读光盘驱动器)、磁带、软盘、光数据存储装置等。另外，计算机可读记录介质可以分散于以网络连接的计算机系统，且以分散方式存储计算机可读代码并运行。而且，体现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。
以上根据一部分实施例和附图图示的示例，说明了本公开的技术思想，但本公开所属技术领域的技术人员应了解，在不超出本公开的技术思想及范围的范围内，可以实现多样的置换、变形及变更。另外，这种置换、变形及变更应视为属于附带的权利要求书。