阅读说明：本技术 元件图像识别用学习完成模型生成系统及元件图像识别用学习完成模型生成方法 (Learning completion model generation system for component image recognition and learning completion model generation method for component image recognition ) 是由 小林贵纮 鬼头秀一郎 横井勇太 于 2018-02-09 设计创作，主要内容包括：元件图像识别用学习完成模型生成系统以吸附于元件安装机(12)的吸嘴(31)的元件或安装于电路基板(11)的元件为拍摄对象,通过相机(18、22)来拍摄该拍摄对象并生成在进行图像识别时使用的学习完成模型,元件图像识别用学习完成模型生成系统具备取得在成为基准的元件的图像识别中使用的基准学习完成模型的计算机(23)。该计算机针对成为基准的元件具有预定的类似关系的元件的每个种类收集样本元件图像,并针对该元件的每个种类追加该样本元件图像作为上述基准学习完成模型的教师数据而进行再学习,从而针对该元件的每个种类生成用于该元件的图像识别的按元件类别学习完成模型。(A learning completion model generation system for component image recognition is provided with a computer (23) for acquiring a reference learning completion model used for image recognition of a component to be used as a reference, the learning completion model generation system being configured to take an image of a component attached to a suction nozzle (31) of a component mounting machine (12) or a component mounted on a circuit board (11) as an image pickup object and to generate a learning completion model used for image recognition by cameras (18, 22). The computer collects a sample element image for each type of element having a predetermined similarity relationship with respect to a reference element, adds the sample element image to each type of element as teacher data of the reference learning completion model, and re-learns the sample element image, thereby generating a learning completion model for each element type for image recognition of the element.)

元件图像识别用学习完成模型生成系统及元件图像识别用学 习完成模型生成方法

技术领域

本说明书公开了关于以吸附于元件安装机的吸嘴的元件或者安装于电路基板的元件为拍摄对象，通过相机拍摄该拍摄对象并生成在进行图像识别时使用的学习完成模型的元件图像识别用学习完成模型生成系统及元件图像识别用学习完成模型生成方法的技术。

背景技术

关于吸附于元件安装机的吸嘴的元件的吸附姿势，若是正常吸附，则元件被水平地吸附，但是有时因某些原因而产生元件以倾斜等异常的姿势被吸附的异常吸附。由于这样的异常吸附成为元件安装不良的原因，因此以往在元件安装机中搭载拍摄吸附于吸嘴的元件的相机，并对由该相机拍摄到的图像进行处理，从而判别元件的吸附姿势是正常吸附还是异常吸附，将判定为异常吸附的元件废弃，仅将判定为正常吸附的元件向电路基板安装。

以往的一般的图像处理使用包含元件的尺寸等的图像处理用元件形状数据来判别正常吸附/异常吸附，但是在吸附于吸嘴的元件是微小的元件的情况下，有时难以通过使用了以往的图像处理用元件形状数据的图像处理来判别正常吸附/异常吸附。

因此，如专利文献1(日本特开2008-130865号公报)所记载的那样，使用神经网络等机械学习方法，预先生成判别正常吸附/异常吸附的学习完成模型，在生产中对由元件安装机的相机拍摄到的元件图像进行处理，使用学习完成模型来判别正常吸附/异常吸附。

现有技术文献

专利文献1：日本特开2008-130865号公报

发明内容

发明所要解决的课题

例如，即使是电学上相同规格的元件，有时尺寸、颜色、原材料、制造公司、制造批次等中的任一个也会不同，图像识别结果有时也会因该不同而产生差异。但是，对于在生产开始前电学上相同规格的元件，若根据尺寸、颜色、原材料、制造公司、制造批次等而将元件的种类细化并欲针对该全部种类通过机械学习方法生成学习完成模型，则必须生成非常多的学习完成模型，学习完成模型的生成作业耗费大量的工时。

因此，对于形状等与已经生成了学习完成模型的元件相似的种类的元件，有时先使用已有的学习完成模型来判别正常吸附/异常吸附，但是在该情况下，有时无法获得在生产中期待的判别精度。在该情况下，需要迅速地生成专用于该元件的学习完成模型，但是通过以往方法从最初生成学习完成模型要花费工时。

用于解决课题的技术方案

为了解决上述课题，元件图像识别用学习完成模型生成系统以吸附于元件安装机的吸嘴的元件或者安装于电路基板的元件为拍摄对象，通过相机来拍摄该拍摄对象并生成在进行图像识别时使用的学习完成模型，上述元件图像识别用学习完成模型生成系统具备取得在成为基准的元件的图像识别中使用的基准学习完成模型的计算机，上述计算机针对与成为上述基准的元件具有预定的类似关系的元件的每个种类收集样本元件图像，并针对该元件的每个种类追加该样本元件图像作为上述基准学习完成模型的教师数据而进行再学习，从而针对该元件的每个种类生成用于该元件的图像识别的按元件类别学习完成模型。

总之，关于针对与成为生成有基准学习完成模型的基准的元件具有预定的类似关系的元件，针对该元件的每个种类收集样本元件图像，并针对该元件的每个种类追加该样本元件图像作为上述基准学习完成模型的教师数据而进行再学习，从而针对该元件的每个种类生成用于该元件的图像识别的按元件类别学习完成模型。这样一来，能够比较简单地从基准学习完成模型生成用于与成为基准的元件具有预定的类似关系的元件的图像识别的按元件类别学习完成模型。

附图说明

图1是表示一个实施例的元件安装生产线的结构例的框图。

图2是说明正常吸附的主视图。

图3是说明倾斜吸附的主视图。

图4是表示元件吸附姿势判别程序的处理的流程的流程图。

图5是表示按元件类别学习完成模型生成程序的处理的流程的流程图。

具体实施方式

以下，说明一个实施例。

首先，基于图1来说明元件安装生产线10的结构。

元件安装生产线10沿着电路基板11的输送方向排列一台或者多台元件安装机12、焊料印刷机13、焊剂涂布装置(未图示)等安装关联机而构成。在元件安装生产线10的基板搬出侧设置有检查安装于电路基板11的各元件的安装状态的良好与否的检查机14。

元件安装生产线10的各元件安装机12、焊料印刷机13及检查机14经由网络16而以能够相互通信的方式与生产管理用计算机21连接，通过该生产管理用计算机21管理元件安装生产线10的生产。各元件安装机12的控制装置17以一台或者多台计算机(CPU)为主体而构成，按照从生产管理用计算机21传送来的生产作业(生产程序)而使安装头(未图示)按照元件吸附位置→元件拍摄位置→元件安装位置的路径移动，通过安装头的吸嘴31(参照图2、图3)吸附从供料器19供给的元件(参照图2、图3)，通过元件拍摄用相机18从该元件的下方对其进行拍摄，通过元件安装机12的控制装置17的图像处理功能对该拍摄图像进行处理，并使用后述的学习完成模型来判别该元件的吸附姿势是正常吸附(参照图2)还是异常吸附(参照图3)。其结果是，若判定为异常吸附，则将该元件废弃至预定的废弃箱(未图示)，若判定为正常吸附，则反复进行测量该元件的吸附位置X、Y和角度θ，对该元件的吸附位置X、Y、角度θ的偏差进行修正，将该元件向电路基板11安装这样的动作，来向该电路基板11安装预定数量的元件。

另外，检查机14的控制装置20以一台或者多台计算机(CPU)为主体而构成，通过检查用相机22从被搬入的电路基板11上的各元件的上方对其安装状态进行拍摄，并对该拍摄图像进行处理，识别在电路基板11上有无各元件和安装位置偏差等安装状态，并基于该识别结果来检查各元件有无安装不良(检查不合格)。此时，也可以使用后述的学习完成模型来判别在电路基板11上有无各元件。

在元件安装生产线10的网络16上连接有学习用计算机23，该学习用计算机23进行后述的基准学习完成模型和按元件类别学习完成模型的生成所使用的教师数据(样本元件图像)的收集及学习。

各元件安装机12的控制装置17通过在生产中执行后述的图4的元件吸附姿势判别程序，选择与吸附于吸嘴31的元件的种类对应的学习完成模型，根据该元件的拍摄图像的处理结果来判别该元件的吸附姿势是正常吸附还是异常吸附，并且将判别为正常吸附的拍摄图像作为正常吸附的样本元件图像而向学习用计算机23传送，将判别为异常吸附的拍摄图像作为异常吸附的样本元件图像而向学习用计算机23传送。

另一方面，学习用计算机23通过执行后述的图5的按元件类别学习完成模型生成程序，针对元件的每个种类对从各元件安装机12的控制装置17传送来的正常吸附/异常吸附的样本元件图像进行分类并收集，并且取得检查机14的检查结果的信息，针对元件的每个种类计算安装不良产生率，在存在安装不良产生率超过了判定阈值的元件的情况下，追加针对该元件收集到的正常吸附/异常吸附的样本元件图像作为基准学习完成模型的教师数据而进行再学习，从而生成用于该元件的图像识别的按元件类别学习完成模型，并将该按元件类别学习完成模型向各元件安装机12的控制装置17传送。关于再学习的方法，使用神经网络、支持向量机等机械学习的方法即可。

在此，基准学习完成模型是在成为基准的元件的图像识别中使用的学习完成模型，既可以是学习用计算机23收集成为基准的元件的正常吸附/异常吸附的样本元件图像作为教师数据，并通过神经网络、支持向量机等机械学习来进行学习，从而生成基准学习完成模型，也可以是将由外部的计算机生成的基准学习完成模型取入学习用计算机23。另外，成为基准的元件不限定于特定的元件，只要将事先生成了学习完成模型的元件设为“成为基准的元件”即可。

各元件安装机12的控制装置17将从学习用计算机23传送来的基准学习完成模型和按元件类别学习完成模型与使用该模型进行图像识别的元件的种类建立关联地存储于存储装置(未图示)。此时，使针对元件的每个种类所准备的图像处理用元件形状数据包含基准学习完成模型或者按元件类别学习完成模型而进行存储。在以下的说明中，在简称为“学习完成模型”的情况下，包含基准学习完成模型和按元件类别学习完成模型这两者。图像处理用元件形状数据是表示元件的主体部分的尺寸、凸块、引脚等端子的位置、尺寸、间距、个数等外观上的特征的数据，用于判别图像识别出的元件的种类或者测量元件的吸附位置、角度等。使针对元件的每个种类生成的学习完成模型包含在针对该元件的每个种类所准备的图像处理用元件形状数据中的处理可以通过各元件安装机12的控制装置17进行，也可以通过学习用计算机23进行。或者，也可以从学习用计算机23向生产管理用计算机21传送学习完成模型，通过该生产管理用计算机21进行使学习完成模型包含在图像处理用元件形状数据中的处理，并从生产管理用计算机21向各元件安装机12的控制装置17传送包含学习完成模型的图像处理用元件形状数据。

各元件安装机12的控制装置17在针对元件的每个种类存储的学习完成模型之中存在用于吸附于吸嘴31的元件的图像识别的学习完成模型的情况下，选择该元件用的学习完成模型来进行该元件的图像识别，但是在不存在该元件用的学习完成模型的情况下，从存在学习完成模型的元件之中将与吸附于吸嘴31的元件具有预定的类似关系的元件视为“成为基准的元件”，并将该成为基准的元件用的学习完成模型作为“基准学习完成模型”使用，来进行吸附于吸嘴31的元件的图像识别。此时，也存在成为基准的元件用的学习完成模型是根据其他元件用的基准学习完成模型生成的按元件类别学习完成模型的情况，在该情况下，将根据其他元件用的基准学习完成模型生成的按元件类别学习完成模型作为基准学习完成模型使用。

在该情况下，具有预定的类似关系的元件是例如虽然元件的尺寸、颜色、原材料、制造公司、制造批次等中的任一个不同但元件的形状相同或者类似的元件。若元件彼此具有预定的类似关系，则即使使用一方的元件用的学习完成模型来进行另一方的元件的图像识别，也能够以一定程度的精度(一般为生产所需的最低限度的精度以上)来进行图像识别。换言之，若能够使用一方的元件用的学习完成模型以一定程度的精度来进行另一方的元件的图像识别，则可以说这两个元件具有预定的类似关系。

接着，说明图4的元件吸附姿势判别程序和图5的按元件类别学习完成模型生成程序的处理的流程。

[元件吸附姿势判别程序]

每当在生产中成为通过元件拍摄用相机18对吸附于各元件安装机12的吸嘴31的元件进行拍摄的定时时，通过各元件安装机12的控制装置17执行图4的元件吸附姿势判别程序。

各元件安装机12的控制装置17在启动本程序时，首先，在步骤101中，通过元件拍摄用相机18拍摄吸附于吸嘴31的元件，并取入其拍摄图像。然后，进入步骤102，判定在存储装置(未图示)中针对元件的每个种类存储的学习完成模型之中是否存在拍摄到的元件用的学习完成模型，在存在拍摄到的元件用的学习完成模型的情况下，进入步骤103，选择拍摄到的元件用的学习完成模型作为用于本次的图像识别的学习完成模型。

另一方面，在针对元件的每个种类存储于存储装置中的学习完成模型之中不存在拍摄到的元件用的学习完成模型的情况下，进入步骤104，从针对元件的每个种类存储于存储装置的学习完成模型之中选择与拍摄到的元件具有预定的类似关系的元件用的学习完成模型作为用于本次的图像识别的学习完成模型。

通过如以上那样，在选择了用于本次的图像识别的学习完成模型之后，进入步骤105，通过控制装置17的图像处理功能对本次的拍摄图像进行处理，使用选择出的学习完成模型来判别拍摄到的元件的吸附姿势是正常吸附(参照图2)还是异常吸附(参照图3)。

然后，进入步骤106，判定吸附姿势的判别结果是否是正常吸附，若是正常吸附，则进入步骤107，将本次的拍摄图像作为正常吸附的样本元件图像向学习用计算机23传送并结束本程序。另一方面，若吸附姿势的判别结果不是正常吸附而是异常吸附，则进入步骤108，将本次的拍摄图像作为异常吸附的样本元件图像向学习用计算机23传送并结束本程序。由此，学习用计算机23从各元件安装机12的控制装置17收集正常吸附/异常吸附的样本元件图像。

另外，各元件安装机12的控制装置17也可以暂时收集正常吸附/异常吸附的样本元件图像。在该情况下，每当收集到预定数量的样本元件图像(或者每当收集了预定期间)时，各元件安装机12的控制装置17将此前收集到的样本元件图像一并向学习用计算机23传送，或者每当从学习用计算机23输出了样本元件图像传送请求时，各元件安装机12的控制装置17将此前收集到的样本元件图像一并向学习用计算机23传送。或者，也可以是生产管理用计算机21从各元件安装机12的控制装置17收集样本元件图像，并将样本元件图像从该生产管理用计算机21向学习用计算机23传送。无论哪种方法，学习用计算机23都能够最终收集样本元件图像。

[按元件类别学习完成模型生成程序]

学习用计算机23以预定的周期反复执行图5的按元件类别学习完成模型生成程序。当学习用计算机23启动本程序时，首先，在步骤201中，从各元件安装机12的控制装置17或者生产管理用计算机21针对元件的每个种类收集正常吸附/异常吸附的样本元件图像。并且，在接下来的步骤202中，由检查机14取得检查结果的信息。

然后，进入步骤203，从收集到的正常吸附的样本元件图像之中，将拍摄由检查机14判定为安装不良的元件而得到的样本元件图像废弃。其理由在于，即使判定为正常吸附，被检查机14判定为安装不良的元件实际上也有可能是异常吸附。另外，该步骤203中的处理也可以由各元件安装机12的控制装置17或者生产管理用计算机21进行，仅将拍摄未被检查机14判定为安装不良的元件而得到的图像作为正常吸附的样本元件图像并由学习用计算机23收集。

然后，进入步骤204，基于从检查机14取得的检查结果的信息，针对元件的每个种类计算安装不良产生率。然后，进入步骤205，判定是否存在计算出的安装不良产生率超过预定的判定阈值的元件，在不存在安装不良产生率超过判定阈值的元件的情况下，判断为确保了使用所选择的学习完成模型得到的图像识别的精度(无需生成按元件类别学习完成模型)，并结束本程序。

与此相对，在存在安装不良产生率超过判定阈值的元件的情况下，判断为对于该元件未确保图像识别的精度(需要生成按元件类别学习完成模型)，并进入步骤206，将关于该元件收集到的正常吸附/异常吸附的样本元件图像作为在该元件的图像识别中使用的基准学习完成模型的教师数据进行追加并进行再学习，从而生成该元件用的按元件类别学习完成模型。然后，进入步骤207，将生成的按元件类别学习完成模型向各元件安装机12的控制装置17传送并结束本程序。由此，各元件安装机12的控制装置17成为能够使用从学习用计算机23传送来的按元件类别学习完成模型来进行图像识别的状态。

根据以上说明的本实施例，关于相对于成为生成了基准学习完成模型的基准的元件具有预定的类似关系的元件，针对该元件的每个种类收集样本元件图像，并针对该元件的每个种类追加该样本元件图像作为上述基准学习完成模型的教师数据而进行再学习，从而针对该元件的每个种类生成用于该元件的图像识别的按元件类别学习完成模型，因此能够从基准学习完成模型比较简单地生成用于相对于成为基准的元件具有预定的类似关系的元件的图像识别的按元件类别学习完成模型，能够减少生成学习完成模型的作业的工时。

而且，在本实施例中，使针对该元件的每个种类所准备的图像处理用元件形状数据包含针对元件的每个种类生成的按元件类别学习完成模型，因此在能够使用该图像处理用元件形状数据的其他元件安装生产线的元件安装机中也能够进行使用了按元件类别学习完成模型的相同的图像识别，具有生产品质的提高、稳定的优点。

但是，也可以不将按元件类别学习完成模型与图像处理用元件形状数据建立关联而单独地进行管理。

此外，在本实施例中，在生产中通过元件拍摄用相机18拍摄吸附于各元件安装机12的吸嘴31的元件，并对该图像进行处理来判别该元件的吸附姿势是正常吸附还是异常吸附，将判别为正常吸附的拍摄图像作为正常吸附的样本元件图像进行收集，并且将判别为异常吸附的拍摄图像作为异常吸附的样本元件图像进行收集，因此能够将在生产中通过元件拍摄用相机18拍摄到的图像作为正常吸附/异常吸附的样本元件图像进行收集，能够节省收集样本元件图像的作业的工时。

但是，样本元件图像的收集方法不限定于在生产中进行收集的方法，例如，也可以在生产开始前通过元件拍摄用相机18分别拍摄吸附于元件安装机12的吸嘴31的正常吸附的元件和异常吸附的元件，并将该拍摄图像作为正常吸附/异常吸附的样本元件图像进行收集。或者，也可以使用拍摄样本元件图像的专用的拍摄装置，收集由该拍摄装置拍摄到的正常吸附/异常吸附的样本元件图像。在使用专用的拍摄装置的情况下，在生产开始前、生产中、生产结束后的任意一者中都能够收集正常吸附/异常吸附的样本元件图像。

另外，在本实施例中，在生产中产生了安装不良产生率超过预定的判定阈值的元件的情况下，将关于该元件收集到的正常吸附/异常吸附的样本元件图像作为在该元件的图像识别中使用的基准学习完成模型的教师数据进行追加来进行再学习，从而生成该元件用的按元件类别学习完成模型并向各元件安装机12的控制装置17传送，因此每当在生产中产生安装不良产生率超过预定的判定阈值的元件时，能够生成用于该元件的图像识别的按元件类别学习完成模型，能够在生产中提高该元件的图像识别的精度而降低安装不良产生率。

但是，按元件类别学习完成模型的生成也可以在生产开始前或者生产结束后进行。或者，也可以在正常吸附/异常吸附的样本元件图像的收集数超过预定数量的时间点生成按元件类别学习完成模型。

另外，本实施例的学习完成模型是判别吸附于吸嘴31的元件的吸附姿势是正常吸附还是异常吸附的学习完成模型，但是也可以是判别有无吸附于吸嘴31的元件的学习完成模型。在该情况下，将在存在吸附于吸嘴31的元件的状态下由元件拍摄用相机18拍摄到的图像作为有元件的样本元件图像进行收集，并且将在不存在吸附于吸嘴31的元件的状态下由元件拍摄用相机18拍摄到的图像作为无元件的样本元件图像进行收集，追加针对该元件的每个种类所分类的有元件/无元件的样本元件图像作为用于该元件的图像识别的基准学习完成模型的教师数据而进行再学习，从而针对该元件的每个种类生成该元件用的按元件类别学习完成模型即可。在该情况下，样本元件图像的收集也可以使用专用的拍摄装置来进行。

另外，有时检查机14使用判别有无安装于电路基板11的元件的学习完成模型来检查在电路基板11上有无元件。在该情况下，检查机14的控制装置20通过检查用相机22对被搬入的电路基板11上的各元件的安装状态进行拍摄，并对其拍摄图像进行处理，使用学习完成模型来检查在电路基板11上有无各元件，将判定为有元件的拍摄图像作为有元件的样本元件图像进行收集，并且将判定为无元件的拍摄图像作为无元件的样本元件图像进行收集，追加针对该元件的每个种类所分类的有元件/无元件的样本元件图像作为用于该元件的图像识别的基准学习完成模型的教师数据而进行再学习，从而针对该元件的每个种类生成该元件用的按元件类别学习完成模型即可。在该情况下，样本元件图像的收集也可以使用专用的拍摄装置来进行。

此外，本发明也可以变更元件安装生产线10的结构或者适当变更图4、图5的各程序的处理内容或处理顺序等，在不脱离主旨的范围内能够通过进行各种变更来实施，这是不言而喻的。

附图标记说明

10、元件安装生产线；11、电路基板；12、元件安装机；14、检查机；17、元件安装机的控制装置；18、元件拍摄用相机；19、供料器；20、检查机的控制装置；21、生产管理用计算机；22、检查用相机；23、学习用计算机；31、吸嘴。