基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法
阅读说明：本技术 基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法 (Method for automatically extracting carapace bone plate contour and character trace based on generation of confrontation network ) 是由 李邦 张展 郭安 丁增茂 吴琴霞 高峰 焦清局 刘永革 于 2021-08-03 设计创作，主要内容包括：本发明公开了基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法,包括：整理成对的甲骨摹本图像与甲骨拓片图像,构建摹本生成数据集,设计并构造生成对抗网络模型OBTGAN,采用CycleGAN模型的循环训练方法训练生成模型,利用训练好的生成对抗网络得到生成摹本图像。在OBTGAN中的生成器使用残差网络模块,在第三次下采样之前插入SpatialAttention层,下采样完成后利用嵌入了ChannelAttention结构的残差网络再次提取特征,上采样模块采用Unet结构,将下采样过程中的低级语义特征与上采样生成特征矩阵进行了跳跃连接。该方法利用计算机技术取代了摹本制作的手工描摹步骤,生成摹本在字形细节上具有更高的准确性,大幅减少了甲骨摹本制作时间,为批量制作甲骨摹本提供了可能。(The invention discloses a method for automatically extracting an armor plate outline and a character trace based on a generated confrontation network, which comprises the following steps: the paired oracle bone copy images and oracle bone rubbing images are sorted, a copy generation data set is constructed, a generation confrontation network model OBTGAN is designed and constructed, the generation model is trained by adopting a cyclic training method of a CycleGAN model, and the generated copy images are obtained by utilizing the trained generation confrontation network. A generator in the OBTGAN uses a residual error network module, a spatialAttention layer is inserted before third down-sampling, after the down-sampling is finished, the residual error network embedded with a ChannelAttention structure is used for extracting the characteristics again, an up-sampling module adopts a Unet structure, and the low-level semantic characteristics in the down-sampling process and an up-sampling generated characteristic matrix are subjected to jump connection. The method replaces the manual copying step of copy making by using a computer technology, the generated copy has higher accuracy on character pattern details, the manufacturing time of the oracle bone copy is greatly reduced, and the possibility is provided for batch manufacturing of the oracle bone copies.)
技术领域
本发明涉计算机视觉领域，更具体的涉及基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法。
背景技术
目前，甲骨学界的摹本制作的主流方法依然是传统的手工描摹。描摹技术本身并未发生改变，仅是描摹工具从传统笔墨升级为利用触屏笔在平板电脑对拓片进行摹写。但是，考虑到甲骨专家平均年龄比较高，在与传统方法没有明显优势的前提下，过于复杂的电子设备通常专家习惯其用法，只有可以大批量自动生成摹本，专家仅对生成结果进行简单改动的方法才具有普适性。
2020年，安阳师范学院提出了一种计算机半自动摹本生成技术，该技术利用计算机技术提取并生成甲骨片轮廓，并在轮廓图的基础上，通过在拓片对甲骨字的手动定位，利用甲骨字输入法，在生成图像中生成甲骨字。利用这种方法，可以实现甲骨摹本的半自动生成。该方法生成的甲骨摹本中甲骨字的字形千篇一律，不能反应甲骨片上字形的多样性，在应用上依然存在一定的局限性。
在图像生成技术方面，并没有直接用于将拓片生成摹本的技术。但生成对抗网络技术是解决该问题的一个有效技术手段。生成对抗网络技术最早应用于生成以假乱真的图像，随着技术的发展，也可以生成图像的风格转移，例如将人像照片生成为卡通图片，将实物照片生成为简笔画等。因此，将甲骨摹本作为拓片一种特殊风格进行生成，也是实现摹本一种生成的一种可行的解决方案。但是，由于对抗网络中的判别器只能对图片整体风格进行粗略的判别，难以对生成图像中的字符图形判别。因此，直接使用生成对抗网络无法对字形痕迹进行有效提取。
发明内容
本发明实施例提供基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法，包括：
输入甲骨拓片图像至面向摹本生成的生成对抗网络模型OBTGAN，得到甲骨拓片图像中的甲骨片轮廓与字符；
其中，所述面向摹本生成的生成对抗网络模型OBTGAN包括：生成器和与所述生成器输出连接的判决器；
所述生成器，包括：
在残差网络的第三次下采样完成前，插入Spatial Attention层对低级语义特征进行加权；
在残差网络的全部下采样完成后，将高级语义特征利用嵌入Channel Attention结构的残差网络，再次提取特征后进行上采样，获得特征矩阵；
采用了Unet结构，将加权后的低级语义特征与特征矩阵进行跳跃连接。
近一步，面向摹本生成的生成对抗网络模型OBTGAN的损失函数包括：对抗损失函数，重构损失函数与循环一致性损失函数。
近一步，对抗损失函数为均方损失MSELoss；
循环一致性损失函数与重构损失函数均为平均绝对损失L1loss。
近一步，还包括：
获取成对的甲骨摹本图像与甲骨拓片图像，构建摹本生成数据集；
利用摹本生成数据集，采用CycleGAN模型的训练方法训练生成对抗网络模型OBTGAN。
近一步，CycleGAN模型包括：两个判别器和两个生成器；且两个生成器的输入与输出镜像对称，构成环形网络。
近一步，还包括对成对的甲骨摹本图像与甲骨拓片图片的处理：
在训练时将所有图片进行尺寸归一化；
在测试时将生成图片还原为输入图片的尺寸；
在读取摹本时，对摹本进行腐蚀处理，腐蚀核尺寸为2*2。
本发明实施例提供基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法，与现有技术相比，其有益效果如下：
本发明技术带来的主要效果即为可以利用训练好的生成模型批量自动生成甲骨摹本图像。模型在生成过程中可自动提取拓片的轮廓与甲骨字笔画，生成摹本相较于手工制作摹本具有更高的准确性。同时，专家只需要在生成摹本基础上稍微改动即可实现甲骨摹本的制作大幅减少了甲骨摹本制作时间，为批量制作甲骨摹本提供了可能。
附图说明
图1为本发明实施例提供的基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法流程图；
图2为本发明实施例提供的基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法中OBTGAN模型生成器结构图；
图3为本发明实施例提供的基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法中基于CycleGAN模型循环训练方法的训练生成模型示意图；
图4为本发明实施例提供的基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法提取摹本图像效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1～4，本发明实施例提供基于生成对抗网络的甲骨片轮廓与字符痕迹自动提取方法，该方法包括：
整理成对的甲骨摹本图像与甲骨拓片图像，构建摹本生成数据集；
构造面向摹本生成的生成对抗网络模型OBTGAN；
利用摹本生成数据集，采用CycleGAN模型训练方法训练生成模型；
利用训练好的生成对抗网络得到生成的摹本图像。
如图1所示，本发明的核心思路是利用对抗神经网络技术通过训练成对拓片-摹本图像得到图像生成模型。因此，技术方案将从训练数据、模型结构与训练方法三个方面进行阐述：
训练数据
考虑到训练数据要求匹配的拓片摹本对，本发明选取了《殷墟小屯村中南甲骨》中的图像数据作为训练与测试样本，训练样本图像来自甲骨文大数据平台《殷契文渊》。该著录共有图片对531对，筛除11对存在问题的图片后，随机选取了348对图像作为训练数据，172对图像作为测试数据。为了突出摹本的黑色线条，在读取摹本时，对摹本进行了腐蚀处理，腐蚀核尺寸为(2，2)。
模型结构
构造生成对抗网络模型，该模型由生成器与判别器两部分组成，其中，判别器为马尔科夫判别器(PatchGAN)，如图2所示，生成器在传统生成器结构的基础上做了如下改动：1、在生成器中使用了残差网络模块作为特征提取的基本模块；下采样方式时通过卷积步长为2的方式代替了池化进行特征压缩；在第一次下采样完成后，插入Spatial Attention层对低级语义特征进行加权；在全部下采样完成后，将提取的高级语义特征利用嵌入了Channel Attention结构的残差网络再次提取特征后进行上采样；上采样模块借鉴了Unet结构的特征共享思想，将下采样过程中的低级语义特征与上采样生成特征矩阵进行了跳跃连接。
训练方式
经过反复实验，本发明的训练方式采用了CycleGAN模型的循环训练方法，基本思路如图3所示。在训练的过程中，共使用两个镜像对称的生成器模型，通过互换两个模型的输入图像与真实图像构成了一个环形网络。该模型由于这两个生成器进行相反的生成任务，每个生成器都具有一个对应的判别器以进行对抗生成，每一个单向对抗生成器都需要独立计算其对抗损失。为防止两个生成模型相互矛盾，每一个单向对抗生成器的生成图片都会作为另一个对抗生成器的输入，并利用其输出与相应真实/输入图像计算循环一致性损失。此外，为了保证生成图片具有摹本的基本结构，OBTGAN中还计算了生成图像和输入图像的重构损失。因此，OBTGAN模型生成器中总共包含三类损失函数。
式中，G表示正向生成器，F表示反向生成器，x表示GT，y表示输入图像，DX表示鉴别GT的判别器，DY表示鉴别生成图像的判别器，λ表示不同损失的权重，LGAN表示对抗性损失，Lcyc表示循环一致性损失，Lpixel表示内容一致性损失。其中对抗性损失使用的损失函数为均方损失(MSELoss)，循环一致性损失与内容一致性损失使用的损失函数为平均绝对损失(L1loss)具体结构如下：
需要特别指出的是，CycleGAN思想不同的是，本发明在训练中使用的数据依然是成对数据，使用循环生成判别体系的目的在于成对数据的生成结果会对其相对的生成模型中的attention层起到较强的指导作用。
为了说明本发明的作用，以具有相应摹本图像的村中南89(该图片对来自测试集，在训练过程中并未使用此图片对)进行实施举例，如图4所示。
构成：将村中南89拓片图像输入生成模型，输出图片为自动生成的摹本图像。
作用效果：整体上，生成图片已经较好实现甲骨字字形与甲骨片边缘轮廓的提取与生成。在图片轮廓方面，我们可以清晰的看出生成摹本已经与具有了与摹本相似的边缘轮廓，相较之下，生成图片在轮廓细节上与拓片的更加贴合，在拓片边缘常出现划痕时，生成图片的边缘轮廓则会出现断层。甲骨字痕迹判断方面，生成图片几乎可以正确过滤拓片上非字型纹理，仅有几处黑点在拓片上不是甲骨字笔画。在甲骨字字形方面，生成图像中的甲骨字形更贴近拓片原貌，手工摹写的摹本在会出现存在一些错误的字形细节。综合来说，生成图片已经具有初步符合了摹本需求，甚至相较于手工摹写在细节上更加接近拓片。但是，生成图片在图像质量相较于手工摹写还存在一定差距，无法将拓片没有的笔画或边缘补全。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种基于遥感的鸟瞰图快速成图系统