具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图示说明本发明实施例的具体实施方式。

图1为本发明实施例的应用于工业质检的缺陷图片生成方法的流程图。

需要说明的是，本发明实施例的应用于工业质检的缺陷图片生成方法的执行主体可以为工业现场的电子设备，具体的，电子设备可以是但不限于工业计算机、移动终端。本发明实施例的应用场景可以是工业生产现场等需要对工件进行质检的场景，其中，工件可以是工业用物件，例如工业电脑、轮胎等。

如图1所示，该应用于工业质检的缺陷图片生成方法包括以下步骤S1至S8。

S1，获取带缺陷的第一工件图集及无缺陷的第二工件图集。

需要说明的是，本发明实施例中将带有缺陷的工件图称为第一工件图，将无缺陷的工件图称为第二工件图。

具体地，可采用相关技术中任何可行的方式获取多个第一工件图和多个第二工件图，多个第一工件图组成第一工件图集，多个第二工件图组成第二工件图集，作为训练pix2pixHD网络的样本图片。

S2，确定第一工件图集中的每个第一工件图对应的缺陷标注图，并将各个缺陷标注图存储于缺陷特征数据库。

其中，缺陷标注图可以理解为仅包括携带有标注的缺陷部分的图，其中，标注可以用来表征缺陷的类型，例如凹坑、划痕等。

具体地，可将每个第一工件图依据特征进行裁剪，以裁剪得到第一工件图中的缺陷部分，并可对缺陷部分按照其类型进行命名和标号，得到缺陷标注图。可创建缺陷特征数据库，并将带有名称和标号的各个缺陷标注图保存到缺陷特征数据库，方便后续调用，后续可在生成缺陷图片时作为图片中的缺陷部分。

S3，确定第二工件图集中的每个第二工件图的特征值，并将各个特征值存储于图片特征数据库。

其中，特征值可以理解为表征第二工件图的类型的特征向量，可能是一维向量，也可能是多维向量。

具体地，可确定第二工件图的图片类型，进而根据图片类型确定第二工件图对应的特征值，得到每个第二工件图的特征值后，可创建图片特征数据库，并将各个特征值保存到图片特征数据库，方便后续调用，后续可在生成缺陷图片时作为图片的背景特征。

S4，基于第一工件图、第二工件图、缺陷标注图和特征值，训练pix2pixHD网络，以得到训练好的pix2pixHD网络的生成器。

具体地，在得到第一工件图的缺陷标注图和第二工件图的特征值之后，可训练得到pix2pixHD网络，训练完成后，即可得到训练好的生成器和判别器。其中，生成器的基本神经网络结构为多级网络，该多级网络包含全局的图片生成网络，以及局部的模糊到高清变换网络；pix2pixHD网络的判别器为多尺度判别器。

S5，获期望缺陷类型及期望图片类型。

需要说明的是，本发明实施例的目的是生成满足使用要求的缺陷图片，可将期望生成的缺陷图片中的缺陷的类型称为期望缺陷类型，可将期望生成的缺陷图片的图片类型称为期望图片类型。

具体地，在需要生成缺陷图片时，可根据用户的指示或者工业质检需求生成期望缺陷类型和期望图片类型。

S6，依据期望缺陷类型，从缺陷特征数据库中获取目标缺陷标注图。

S7，依据期望图片类型，从图片特征数据库中获取目标特征值。

具体地，在得到期望缺陷类型和期望图片类型之后，可从步骤S2中创建的缺陷特征数据库中，选取期望缺陷类型对应的缺陷标注图，该缺陷标注图即为需要生成的缺陷图片的目标缺陷标注图；还可从步骤S3中创建的图片特征数据库中，选取期望图片类型对应的特征值，该特征值即为需要生成的缺陷图片的目标特征值。

S8，将目标缺陷标注图和目标特征值输入训练好的生成器，以使训练好的生成器生成目标缺陷图片。

具体地，如图2所示，在训练好pix2pixHD网络、且获取到目标缺陷标注图和目标特征值之后，将目标缺陷标注图作为要生成的图片的缺陷特征输入训练好的pix2pixHD网络的生成器，并将目标特征值作为要生成的图片的类型输入训练好的pix2pixHD网络的生成器，进而训练好的生成器根据输入进行推理计算，以输出目标缺陷标注图和目标特征值对应的目标缺陷图片，如此实现目标缺陷图片的生成。

也就是说，本发明实施例采用pix2pixHD网络的生成器生成需要的缺陷图片，其中的pix2pixHD网络是根据带缺陷的第一工件图集和无缺陷的第二工件图集训练的，pix2pixHD网络采用多尺度的判别器来做图片判别，分别在多个不同的尺度下区分真实图片和合成图片，pix2pixHD网络的生成器采用多级网络有助于高清图片的生成，从而实现高分辨率高质量的图片生成。

本发明实施例的应用于工业质检的缺陷图片生成方法，进行模型训练得到pix2pixHD网络，进而根据pix2pixHD网络的生成器生成满足需求的缺陷图片。由此，可以生成高精度的缺陷图片，满足工业质检中对缺陷图片的清晰度要求，从而提升工业质检效率。

在本发明的一个实施例中，上述步骤S2可包括：将第一工件图进行裁剪处理，以得到第一工件图对应的缺陷图；对第一工件图对应的缺陷图依据缺陷类型进行标注，以生成第一工件图对应的缺陷标注图；将各个缺陷标注图存储于缺陷特征数据库。

可以理解，第一工件图包含缺陷部分和背景部分，本发明实施例中可通过裁剪处理将第一工件图中的缺陷部分与背景部分相互独立，进而得到单独的缺陷部分，该缺陷部分可称为缺陷图。

具体而言，可将第一工件图中的缺陷部分裁剪出来，得到缺陷图，之后可依据缺陷的类型（例如凹坑、划痕等类型）对相应的缺陷图进行标注，具体可标注每个缺陷图的名称和标号，携带有名称和标号的缺陷图可称为缺陷标注图。在得到缺陷标注图之后，可将其存储至缺陷特征数据库中，也可以保存到某个路径下，目的是将缺陷类型做规范化处理，以方便将来生成图片时的调用。

在本发明的一个实施例中，上述步骤S3可包括：将各个第二工件图进行聚类处理，以得到每个第二工件图的图片类型；根据第二工件图的图片类型生成第二工件图的特征值；将各个特征值存储于图片特征数据库。

具体而言，可对各个第二工件图通过聚类分析划分至对应的一种图片类型，在进行划分时，其中，每个第二工件图对应一种图片类型，一种图片类型对应至少一个第二工件图。之后，可根据第二工件图对应的图片类型生成对应的特征值，并可将各个特征值进行顺序编号后存储于图片特征数据库，后续在选取特征值时可根据编号进行选取。

在本发明的一个实施例中，上述步骤S4可包括以下第一步骤至第七步骤。

第一步骤，将缺陷标注图进行预处理，得到预处理后的缺陷标注图。

其中，将缺陷标注图进行预处理，可包括：对缺陷标注图进行亮度处理、清晰度处理、噪点处理和图片增强处理中的至少一种处理；将缺陷标注图的尺寸调整为固定尺寸。

具体地，可对缺陷标注图随机做一些亮度变化、清晰度变化以及随机增加一些噪点方面的变化。同时为了增加样本量，可以随机给缺陷标注图做旋转或反转等图片增强处理。

在进行网络训练时，需要输入的所有图片保持统一的固定尺寸，为了防止输入的图片尺寸不一致导致训练错误，在输入样本前，可将缺陷标注图的尺寸调整为统一的大小。

第二步骤，将特征值和预处理后的缺陷标注图输入至pix2pixHD网络的生成器，以使生成器生成假缺陷图。

第三步骤，将假缺陷图和第二工件图，输入至构建好的VGG网络，以使VGG网络提取假缺陷图和第二工件图的特征，并计算VGG网络的感知重构损失函数值。

第四步骤，将第一工件图、假缺陷图和第二工件图输入pix2pixHD网络的判别器，并计算pix2pixHD网络的对抗损失函数值和匹配损失函数值。

第五步骤，根据感知重构损失函数值、对抗损失函数值和匹配损失函数值计算总损失函数值。

第六步骤，将生成器的参数固定，通过重复执行第二步骤至第五步骤训练判别器的参数，直至总损失函数值最大化。

第七步骤，将判别器的参数固定，通过重复执行第二步骤至第五步骤训练生成器的参数，直至总损失函数值最小化时，得到训练好的生成器。

具体而言，如图3所示，对于得到的缺陷标注图而言，首先，对缺陷标注图进行预处理，再将第二工件图的特征值和预处理后的缺陷标注图，输入pix2pixHD网络的生成器，进而生成器输出特征值和预处理后的缺陷标注图对应的假缺陷图，将该假缺陷图和第二工件图输入构建好的VGG网络，进而VGG网络进行特征提取，可通过以下公式计算VGG网络的感知重构函数值：

其中，L_PR(G(x),y)表示感知重构损失函数，G表示生成器，G（x）表示生成器的输出，x表示假缺陷图，y表示无缺陷的第二工件图，i表示VGG网络的层数，S表示VGG网络的总层数，M_i为表示第i层中元素的数量，F⁽ⁱ⁾为第i层的特征向量，E(x)为基于x获得的期望值。在训练过程中通过计算感知重构损失函数，可以提升训练过程中的稳定性。

之后，将带缺陷的第一工件图、假缺陷图和无缺陷的第二工件图输入pix2pixHD网络的判别器，可通过以下公式计算pix2pixHD网络的对抗损失函数值：

其中，L_GAN(G,D_k)表示对抗损失函数，E_(x,y)表示x和y的期望分布，D_k表示第k级判别器。

可通过以下公式计算pix2pixHD网络的匹配损失函数值：

其中，L_FM(G,D_k)表示匹配损失函数，D表示判别器，D_k表示第k级判别器，E_(x,y)表示x 和y的期望分布，j表示判别器的层数，T表示判别器的总层数，N_j表示第j层中元素的数量，表示第k级判别器的第j层特征向量。

进而通过以下公式根据感知重构损失函数、对抗损失函数和匹配损失函数计算总损失函数值：

其中，D₁表示第一级判别器，D₂表示第二级判别器，L_GAN(G,D_k)表示对抗损失函数， L_FM(G,D_k)表示匹配损失函数，为匹配损失函数的权重，为感知重构损失函数的 权重，给不同的值可以决定匹配损失和感知重构损失所占的权重。pix2pixHD网络中的判别 器的数量可根据判别器的尺度确定。

在对pix2pixHD网络进行训练时，先训练判别器再训练生成器：先将生成器的参数固定，重复执行上述第二步骤值第五步骤，其中，每次执行完第五步骤后，判断总损失函数值是否达到最大化，如果是，则表明判别器的训练完成，进而将训练好的判别器的参数固定，重复执行上述第二步骤至第五步骤，其中，每次执行完第五步骤后，判断总损失函数值是否达到最小化，如果是，则表明生成器的训练完成，从而完成了对pix2pixHD网络的训练。

如图4所示，生成器由头部的局部增强网络、尾部的局部增强网络及中间的全局生成网络组成，其中，头部的局部增强网络用于将图片进行下采样处理，即将高分辨率的图片下采样至低分辨率的图片；全局生成网络用于对低分辨率图片进行特征提取以及重构，尾部的局部增强网络用于进行上采样处理，即将低分辨率的图片通过上采样还原为高清的图片。

在生成器的训练过程中，首先固定头部的局部增强网络和尾部的局部增强网络，重点训练中间的全局生成网络；然后固定全局生成网络，训练头部和尾部的局部增强网络。通过这种训练方法，可以有效的提升增强网络的性能，从而保证生成高精度的图片。

在训练完成后，保存生成器的模型参数，单独独立出来的生成器，将作为后续缺陷图片生成的工具。

综上所述，在为工业质检模型训练所生成缺陷图片的过程中，使用GAN这一技术往往会导致不稳定且容易失败。尤其是希望生成的图片有着较高的分辨率时，通过GAN生成的缺陷图片不能保证有清晰的纹理。这种模糊的缺陷图片，无法用于工业检测模型训练的要求。而通过本发明实施例的技术方案可以在保证生成高精度图片的同时，保证生成过程的稳定性。

对应上述实施例的应用于工业质检的缺陷图片生成方法，本发明还提出一种应用于工业质检的缺陷图片生成装置。

图5为本发明实施例的应用于工业质检的缺陷图片生成装置的方框示意图。

如图5所示，该应用于工业质检的缺陷图片生成装置100包括：第一获取模块10、第一确定模块20、第二确定模块30、训练模块40、第二获取模块50、第三获取模块60、第四获取模块70及生成模块80。

其中，第一获取模块10用于获取带缺陷的第一工件图集及无缺陷的第二工件图集；第一确定模块20用于确定第一工件图集中的每个第一工件图对应的缺陷标注图，并将各个缺陷标注图存储于缺陷特征数据库；第二确定模块30用于确定第二工件图集中的每个第二工件图的特征值，并将各个特征值存储于图片特征数据库；训练模块40用于基于第一工件图、第二工件图、缺陷标注图和特征值，训练pix2pixHD网络，以得到训练好的pix2pixHD网络的生成器；第二获取模块50用于获期望缺陷类型及期望图片类型；第三获取模块60用于依据期望缺陷类型，从缺陷特征数据库中获取目标缺陷标注图；第四获取模块70用于依据期望图片类型，从图片特征数据库中获取目标特征值；生成模块80用于将目标缺陷标注图和目标特征值输入训练好的生成器，以使训练好的生成器生成目标缺陷图片。

在本发明的一个实施例中，第一确定模块20具体可用于：将第一工件图进行裁剪处理，以得到第一工件图对应的缺陷图；对第一工件图对应的缺陷图依据缺陷类型进行标注，以生成第一工件图对应的缺陷标注图。

在本发明的一个实施例中，第二确定模块30具体可用于：将各个第二工件图进行聚类处理，以得到每个第二工件图的图片类型；根据第二工件图的图片类型生成第二工件图的特征值。

在本发明的一个实施例中，训练模块40可包括：处理单元，用于将缺陷标注图进行预处理，得到预处理后的缺陷标注图；生成单元，用于将特征值和预处理后的缺陷标注图输入至pix2pixHD网络的生成器，以使生成器生成假缺陷图；第一输入单元，用于将假缺陷图和第二工件图，输入至构建好的VGG网络，以使VGG网络提取假缺陷图和第二工件图的特征，并计算VGG网络的感知重构损失函数值；第二输入单元，用于将第一工件图、假缺陷图和第二工件图输入pix2pixHD网络的判别器，并计算pix2pixHD网络的对抗损失函数值和匹配损失函数值；计算单元，用于根据感知重构损失函数值、对抗损失函数值和匹配损失函数值计算总损失函数值；第一训练单元，用于将生成器的参数固定，训练判别器的参数，直至总损失函数值最大化；第二训练单元，用于将判别器的参数固定，训练生成器的参数，直至总损失函数值最小化时，得到训练好的生成器。

在本发明的一个实施例中，处理单元具体可用于：对缺陷标注图进行亮度处理、清晰度处理、噪点处理和图片增强处理中的至少一种处理；将缺陷标注图的尺寸调整为固定尺寸。

在本发明的一个实施例中，VGG网络的感知重构损失函数为：

其中，L_PR(G(x),y)表示感知重构损失函数，G表示生成器，G（x）表示生成器的输出，x表示假缺陷图，y表示无缺陷的第二工件图，i表示VGG网络的层数，S表示VGG网络的总层数，M_i为表示第i层中元素的数量，F⁽ⁱ⁾为第i层的特征向量，E(x)为基于x获得的期望值。

在本发明的一个实施例中，pix2pixHD网络的匹配损失函数为：

其中，L_FM(G,D_k)表示匹配损失函数，D表示判别器，D_k表示第k级判别器，E_(x,y)表示x 和y的期望分布，j表示判别器的层数，T表示判别器的总层数，N_j表示第j层中元素的数量，表示第k级判别器的第j层特征向量。

在本发明的一个实施例中，总损失函数为：

其中，D₁表示第一级判别器，D₂表示第二级判别器，L_GAN(G,D_k)表示对抗损失函数， L_FM(G,D_k)表示匹配损失函数，为匹配损失函数的权重，为感知重构损失函数的权 重。

需要说明的是，该应用于工业质检的缺陷图片生成装置的具体实施方式及实施原理可参见上述应用于工业质检的缺陷图片生成方法的具体实施方式，为避免冗余，此处不再详细赘述。

本发明实施例的应用于工业质检的缺陷图片生成装置，进行模型训练得到pix2pixHD网络，进而根据pix2pixHD网络的生成器生成满足需求的缺陷图片。由此，可以生成清晰度较高的缺陷图片，满足工业质检要求，从而提升工业质检效率。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。