基于改进wgan的服装属性编辑方法
阅读说明：本技术 基于改进wgan的服装属性编辑方法 (Clothing attribute editing method based on improved WGAN ) 是由 张建明 王文靖 王志坚 于 2021-07-30 设计创作，主要内容包括：本发明属于计算机视觉领域,公开了一种基于改进WGAN的服装属性编辑方法。该方法可以基于现有服装属性生成新的服装属性,达到智能化服装辅助设计的目标。相对于原始WGAN网络,本发明对生成器的解码网络增加了跨连接的残差结构。残差结构可以提升梯度流通性,融合浅层特征,缓解梯度消失问题；其次,在WGAN原始损失函数的基础上,本发明在重建损失上增加了L2范数项,其主要优势在于使梯度更加平滑,可以缓解梯度消失和梯度爆炸问题。通过对网络结构以及损失函数的优化,使得WGAN拥有比之前更优秀的效果。本发明具有端到端快速生成、生成属性多、效果好的特点。(The invention belongs to the field of computer vision, and discloses a clothing attribute editing method based on improved WGAN. The method can generate new clothing attributes based on the existing clothing attributes, and achieves the goal of intelligent clothing aided design. The present invention adds a cross-connection residual structure to the decoder network of the generator relative to the original WGAN network. The residual structure can improve gradient circulation, fuse shallow layer characteristics and relieve the problem of gradient disappearance; secondly, on the basis of the original loss function of WGAN, the L2 norm term is added to the reconstruction loss, and the method has the main advantages that the gradient is smoother, and the problems of gradient disappearance and gradient explosion can be relieved. The WGAN has more excellent effect than before through the optimization of the network structure and the loss function. The invention has the characteristics of rapid end-to-end generation, multiple generation attributes and good effect.)
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于改进WGAN的服装属性编辑方法。
背景技术
在发明服装标准尺寸之前，所有的衣服都是由裁缝按照个人的身材量体裁衣制作的。随着服装标准尺寸、缝纫机和现代工商业的发展，服装批量生产的时间和成本大大减少，由流水线批量生产的成衣，在过去几十年里非常受消费者欢迎。这一方面是因为其价格低廉，消费者可以负担；另一方面是因为款式多样，消费者有了更多的选择。但这类成衣通常按标准体型来设计，实际上对大部分的非标准身材的消费者来说很难找到完全合身、满意的服装。
现代社会经济快速增长，服装相关产业高速发展，人们的着装要求也越来越高，除了以往的防护、舒适、保暖等基本功能性需求，人们逐渐对服装款式的时尚感、独特性等方面也有了要求，适合自己的心仪服装更能给人带来自信和满足感，因此在服装的选择标准上，已逐步从舒适、美观的大众化标准，过渡到以合身为基础的个人身材特征、气质特点和审美偏好综合考虑的个性化设计，用户服装的个性化定制与消费将成为未来趋势和潮流。
人工智能近年来快速发展，也开始逐渐服务于服装行业。就目前而言，人工智能技术已经在时尚图像的检测和分割处理、虚拟试衣、服装推荐、时尚趋势预测等方面进行了不少技术探索。但是，针对服装自身属性设计的研究还不多。而近年来生成对抗网络技术的发展在人脸表情变化等场景的落地为服装属性设计带来了不少启发。因此，本发明将探索基于深度学习改善服装属性的服装智能设计技术。
传统的服装部件设计方法都是基于设计师的灵感或者辅助的素材库进行搭配设计的，完全依赖设计师的设计水平。学术界也在研究运用人工智能技术进行智能辅助设计，首要任务就是建立高质量的服装数据集。香港中文大学多媒体实验室汤晓鸥团队建立了DeepFashion服装数据集。该数据集包含服装这种属性的标注，为训练深度学习算法进行服装智能化设计提供了数据支撑。Fashionpedia Dataset是康奈尔大学和Google建立的服装属性分割数据集，总共包括48，825个服装图像，并对服装项目进行了详尽的细分，并为细分的类别提供了细粒度的属性。该数据集将实例分割和视觉属性识别统一起来，为服装属性结构化理解奠定了扎实的基础。基于上述数据集，UT Austin的Wei-Lin Hsiao提出了使用纹理和形状编码器提取服装对应属性特征进行组合的Fashion++服装设计网络，该算法使用生成神经网络学习服装属性编码来合成服装。然后根据形状和纹理将隐式编码显式分解，进而实现服装的属性编辑。该算法主要聚焦于服装整体形状的编辑，没有实袖、衣领等局部属性的编辑。Ping Q等人提出了一种专注于编辑上衣的衣领、袖长等属性的Fashion-AttGAN算法，该算法将一些属性进行编码，然后使用AttGAN进行训练生成。该算法为用户驱动的服装设计开辟了新的可能之门，并且可能对虚拟试穿、服装推荐、视觉搜索等有益。但是目前的算法生成效果仍有待提高。
发明内容
本发明针对上述问题，提出了一种基于改进WGAN的服装属性编辑方法。该方法可以基于现有服装属性生成新的服装属性，达到智能化服装辅助设计的目标。
为解决上述技术问题，本发明的一种基于改进WGAN的服装属性编辑方法的具体技术方案如下：
一种基于改进WGAN的服装属性编辑方法，分为训练阶段和测试阶段，所示训练阶段采用监督学习的方式优化；所示测试阶段采用已收敛的网络进行服装属性生成；具体包括如下步骤：
步骤1：在训练阶段，首先采集各种款式的服装构建服装数据集，然后对每一个服装样本进行属性标注；所述属性包括袖长、颜色、衣领三种初粒度属性；
步骤2：将带属性标注的训练数据输入生成对抗网络进行训练。
进一步地，步骤2所述生成对抗网络由生成网络和判别网络两部分组成；所述生成网络包括生成器和解码器，其用于从训练数据中学习服装的属性特征，在正态分布上基于学到的特征表达重建输入服装数据；所述判别网络由解码器与判别器两部分组成；所述判别网络的解码器与所述生成网络的解码器共享权重，其基于生成网络重建出虚假服装数据，然后将其与原始数据标注输入给判别器分析判别；所述生成网络和所述判别网络维持纳什平衡。
进一步地，所述袖长、颜色、衣领三种初粒度属性包括高领、V字领、圆领、红、橙、黄、绿、青、蓝、紫、长袖、半袖、短袖、无袖等14个细粒度属性。
进一步地，所述步骤1包括如下具体步骤：
首先采集各种款式的服装构建服装数据集X，然后对每一个服装样本进行属性标注；衣领属性标注分为高领、V字领、圆领；颜色属性标注为红、橙、黄、绿、青、蓝、紫；袖长属性标注为长袖、半袖、短袖、无袖。
进一步地，所述步骤2包括如下具体步骤：
将带标注的训练数据X0输入生成对抗网络Z进行训练；该生成对抗网络Z由生成网络和判别网络两部分组成；生成网络包括生成器Genc和解码器Gdec，其用于从训练数据中学习服装的属性特征，然后在正态分布上基于学到的特征表达重建输入服装数据X0，得到重建图片X1；生成网络基于重建图片与原始输入样本计算重建损失L，重建损失函数如下式所示：
其中，
生成网络通过最小化重建损失L来优化生成网络的重建效果；
判别网络由解码器Gdec与判别器C、判别器D组成；所述判别网络的解码器Gdec与生成网络的解码器Gdec共享权重，其基于生成网络Z重建出虚假服装数据X2，然后将X2、原始数据X0以及对应标注输入给判别器D判别。
进一步地，所述判别器D先学习输入数据的特征来判别输入图片是真实样本X0还是重建的假样本X2，然后通过交叉熵损失函数进行优化；所述判别器C更加细粒度的判别输入的假样本数据X2中生成了哪些类别的属性，然后与真实样本X0的属性比较；同样通过交叉熵损失函数进行优化，让生成器生成的属性逼近真实样本。
进一步地，所述判别器D采用粗粒度判别器判别生成数据真假，所述判别器C采用细粒度判别器判别假样本属性。
进一步地，在WAGN基础上对生成器的解码网络增加跨连接的残差结构。
进一步地，建立整体损失函数，所述整体损失函数由重建损失L，真假判别损失loss0与属性损失attloss三部分组成，如下式所示：
Lall＝L+attloss+loss0
进一步地，将生成网络Z的权重冻结，然后输入不带属性标签的服装图片，改进网络生成出新的具有新属性的服装款式，实现服装智能编辑目标。
本发明的一种基于改进WGAN的服装属性编辑方法具有以下优点：相对于原始WGAN网络，本发明对生成器的解码网络增加了跨连接的残差结构。残差结构可以提升梯度流通性，融合浅层特征，缓解梯度消失问题；其次，在WGAN原始损失函数的基础上，本发明在重建损失上增加了L2范数项，其主要优势在于使梯度更加平滑，可以缓解梯度消失和梯度爆炸问题。通过对网络结构以及损失函数的优化，使得WGAN拥有比之前更优秀的效果。因此，本发明具有端到端快速生成、生成属性多、效果好的特点。
附图说明
图1为本发明的基于改进WGAN的服装属性编辑方法流程示意图；
图2为WGAN生成结果图；
图3为本发明的改进WGAN生成结果图；
图4为DCGAN生成结果图；
图5为LSGAN生成结果图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于改进WGAN的服装属性编辑方法做进一步详细的描述。
1、实验环境以及数据集
计算机硬件与软件配置，采用Ubuntu 64位系统，处理器为i7 8700k，内存24G，显卡1070ti。软件环境为PyTorch 1.4。
数据集采用CV-PTON包含14，221张服装图像以及袖长、衣领、颜色三个初粒度属性，14个细粒度属性。
2、具体实施步骤：
如图1，本发明的一种基于改进WGAN的服装属性编辑方法，分为训练阶段和测试阶段，训练阶段采用监督学习的方式优化。测试阶段采用已收敛的网络进行服装属性生成。
特别地，本算法设计了袖长、颜色、衣领三种初粒度属性，高领、V字领、圆领、红、橙、黄、绿、青、蓝、紫、长袖、半袖、短袖、无袖等14个细粒度属性；
在训练阶段，本发明首先采集各种款式的服装构建服装数据集X，然后对每一个服装样本进行属性标注。衣领属性标注分为{高领、V字领、圆领}；颜色属性标注为{红、橙、黄、绿、青、蓝、紫}；袖长属性标注为{长袖、半袖、短袖、无袖}。
将带标注的训练数据X0输入生成对抗网络Z进行训练。该生成对抗网络Z由生成网络和判别网络两部分组成。生成网络包括生成器Genc和解码器Gdec，其用于从训练数据中学习服装的属性特征，然后在正态分布上基于学到的特征表达重建输入服装数据X0，得到重建图片X1。生成网络基于重建图片与原始输入样本计算重建损失L。重建损失函数如下式所示：
其中，
生成网络通过最小化重建损失L来优化生成网络的重建效果。
判别网络由解码器Gdec与判别器C，D组成。特别地，判别网络的解码器Gdec与生成网络的解码器Gdec共享权重，其基于生成网络Z重建出虚假服装数据X2。然后将X2、原始数据X0以及对应标注输入给判别器D判别。
特别地，判别器D先学习输入数据的特征来判别输入图片是真实样本X0还是重建的假样本X2，然后通过交叉熵损失函数进行优化。进一步地，判别器C更加细粒度的判别输入的假样本数据X2中生成了哪些类别的属性，然后与真实样本X0的属性比较。同样通过交叉熵损失函数进行优化，让生成器生成的属性逼近真实样本。网络训练过程是生成网络尽量生成接近真实数据的虚假图片，而判别网络尽量区分哪些是生成网络生成的虚假图片，两者维持纳什平衡。
特别地，本发明采用粗粒度判别器D判别生成数据真假，然后采用细粒度判别器C判别假样本属性。该方法有效提升了判别器的判别效果，同时进一步提升了整个算法的生成效果。
特别地，在网络结构方面，本发明在WAGN基础上对生成器的解码网络增加了跨连接的残差结构。残差结构可以提升梯度流通性，融合浅层特征，缓解梯度消失问题。
本发明的整体损失函数由重建损失L，真假判别损失loss0与属性损失attloss三部分组成。如下式所示：
Lall＝L+attloss+loSS0
在测试阶段，本发明将生成网络Z的权重冻结，然后输入不带属性标签的服装图片，改进网络就能生成出新的具有新属性的服装款式，实现服装智能编辑目标，如图1改进网络基于输入的短袖图片生成出具有长袖属性的新服装。
特别地，本发明具有端到端快速生成、生成属性多、效果好的特点。
3、测试结果与分析
(1)与WGAN对比
在CV-PTON数据集上，WGAN的损失是10％，而本发明的改进WGAN可以将损失降到5％。图2、图3展示了WAGN以及改进后的WGAN对服装属性编辑的生成结果。图像中每一列分别为真值、重建、无袖、短袖、长袖、高领、POLO领/T恤领、V领、红色、灰色、黑色、白色、米色、藏青色、蓝色、绿色。
总体来看，改进WGAN的生成结果边缘更为清晰，颜色效果也更优。比如对于“短袖”列，WAGN中有许多生成残缺的袖子的情况，而改进WAGN的结果中很少出现这种情况；除了形状属性外，颜色属性也是改进WGAN的生成效果更优，比如对于最后一列“绿色”列，改进WGAN生成的绿色着色更深，而WGAN受衣服原始颜色影响较大。表1展示了WGAN生成结果颜色对照，表2展示了改进WGAN生成结果颜色对照。
表1：WGAN生成结果颜色对照表
表2：改进WGAN生成结果颜色对照表
真值
红色
灰色
黑色
白色
米色
藏青色
蓝色
绿色
#462726
#372e35
#9d999d
#1f1f21
#f7f7f9
#3d2c30
#282f42
#42608d
#444639
#8496ab
#c63c39
#a7a6ab
#141519
#f7f7f7
#937373
#222c3f
#b16768
#748170
#151517
#7c1f20
#e0d7df
#4e485a
#f9f9fb
#2b232a
#16202b
#436cac
#36463f
#615f54
#b73a33
#828682
#101015
#f6f6f6
#765f52
#2a3846
#478090
#7e5951
#1f2223
#802524
#b7b3b5
#595150
#f4f2f5
#4b4143
#2c3446
#2b4f82
#24332a
#292a3e
#6a1f24
#9a96a8
#1b1e23
#f2f0f6
#342d39
#382b34
#2e5280
#324245
#36322f
#6c201f
#8a9290
#44423e
#f0f0f0
#423b36
#2e3847
#3a6479
#405747
#60607d
#ad4e6b
#9f95ab
#3a3442
#fbfbff
#877586
#444459
#65869d
#515151
#71696f
#c23b3d
#80484f
#17181c
#f4f4f6
#805c5f
#263142
#4e85a1
#687262
#323746
#77282f
#5f6268
#202126
#f2f2f4
#3f3d49
#483f46
#305c86
#374646
(2)与其他GAN对比
如图4所示，是DCGAN的生成结果。可以看出，DCGAN对服装形状属性基本没有修改，在颜色修改方面，也只能在原衣服基础上少量的着色，而不能像改进WAGN一样可以令衣服附着上鲜艳的颜色。如表3所示，是DCGAN生成结果颜色对照。
表3：DCGAN生成结果颜色对照表
如图5所示，而对于LSGAN，可以看出衣服的形状属性略微有些受影响但并没有良好地被修改，可以说LSGAN对衣服形状的修改和DCGAN一样并无效果。对于颜色方面，LSGAN的着色效果也很差。因此，和其他GAN的对比也进一步验证了改进WAGN的有效性。如表4所示，是LSGAN生成结果颜色对照。
表4：LSGAN生成结果颜色对照表
真值
红色
灰色
黑色
白色
米色
藏青色
蓝色
绿色
#462726
#4a292d
#482b2d
#3e2829
#f3f0eb
#4d2a2d
#37222a
#35222b
#3a2624
#8496ab
#766b7e
#8595a9
#5d6778
#cfd4d5
#929ab0
#7988a0
#8c99aa
#748994
#151517
#140c10
#101317
#1d2325
#89867d
#1b1a20
#15151a
#171823
#131416
#615f54
#765853
#5c5a54
#5a5752
#d1d0cc
#625f55
#5e5b53
#585659
#6b635e
#1f2223
#2b2225
#24292b
#383a3c
#f4f6f4
#27272d
#1f232b
#20262f
#1f2526
#292a3e
#352239
#2b2b43
#2b2c44
#e8e7eb
#29293f
#2a283e
#242c4f
#2a3042
#36322f
#42282d
#383232
#4d4543
#e9ebe5
#342b2d
#302b31
#333137
#373b37
#60607d
#86617a
#636978
#545265
#cecbd1
#6c677a
#4c4d69
#929dbc
#66747e
#71696f
#80636a
#786e76
#736d73
#dddeda
#676168
#726879
#767588
#717171
#323746
#524153
#383f4c
#373c4d
#b4b8bc
#474a5a
#414654
#2f3956
#35404f
相对于原始WGAN网络，本发明对生成器的解码网络增加了跨连接的残差结构。残差结构可以提升梯度流通性，融合浅层特征，缓解梯度消失问题；其优势主要有以下几点：
(1)简化学习过程
如果没有残差结构，神经网络学习原始信号，而残差结构使得神经网络学习信号的差值，简化其学习过程。本发明已证明残差结构是有效的网络优化方式，对于缓解梯度消失和梯度爆炸问题有良好的效果。
(2)缓解网络退化
随着网络层数的增加，会产生网络退化问题，主要原因在于网络的对称性。而残差连接可以破坏网络的对称性，从而使网络退化问题得以解决。
(3)增强网络的泛化能力
包含残差结构的深层网络可以看作是不同深度的浅层神经网络的综合，去除某个网络层并不会对网络性能有很大的影响，也就是残差结构可以增强网络的泛化能力。
其次，在WGAN原始损失函数的基础上，本发明在重建损失上增加了L2范数项。其主要优势在于使梯度更加平滑，可以缓解梯度消失和梯度爆炸问题。当网络中的某个权重出现了异常的较大值时，通过二范数中的平方会把该异常值放大，在反向传播过程中，就能迫使其将该值减小。除此以外，L2范数项还可以防止过拟合的产生。
通过对网络结构以及损失函数的优化，使得WGAN拥有比之前更优秀的效果。
综上，本发明具有端到端快速生成、生成属性多、效果好的特点。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。