图像生成方法和装置及存储介质
阅读说明：本技术 图像生成方法和装置及存储介质 (Image generation method and apparatus, and storage medium ) 是由 黄楷 梁新敏 陈羲 于 2020-04-23 设计创作，主要内容包括：本发明公开了一种图像生成方法和装置及存储介质。该方法包括：获取与待生成的目标图像关联的多张候选图像,多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像；依次对多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征,及从一张候选图像中提取出的图像特征；将多组候选特征对依次输入图像生成模型；根据图像生成模型的输出结果,获取具有目标主题的目标图像。本发明解决了由于手动设计图像所导致的图像生成效率较低的问题的技术问题。(The invention discloses an image generation method and device and a storage medium. The method comprises the following steps: acquiring a plurality of candidate images associated with a target image to be generated, wherein the plurality of candidate images are images which are collected from a data sharing platform and carry text information for popularizing a target theme; sequentially extracting features of each candidate image of a plurality of candidate images to obtain a plurality of groups of candidate feature pairs, wherein each group of candidate feature pairs comprises character features which are extracted from one candidate image and are associated with a target subject and image features extracted from one candidate image; sequentially inputting a plurality of groups of candidate feature pairs into an image generation model; and acquiring a target image with a target theme according to an output result of the image generation model. The invention solves the technical problem of low image generation efficiency caused by manually designing the image.)
技术领域
本发明涉及计算机领域，具体而言，涉及一种图像生成方法和装置及存储介质。
背景技术
如今，对于海报等图像进行创意设计时，通常是由专业人员进行手动设计处理。例如运营人员进行需求发布，请相关美工人员进行海报或者宣传报方面的设计。但这种手动设计海报等用于推广宣传的图像的方法，往往耗时较长，设计的图像数量有限，导致图像生成效率较低的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像生成方法和装置及存储介质，以至少解决由于手动设计图像所导致的图像生成效率较低的问题的技术问题。
根据本发明实施例的一个方面，提供了一种图像生成方法，包括：获取与待生成的目标图像关联的多张候选图像，其中，上述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像；依次对上述多张候选图像的每张候选图像进行特征提取，得到多组候选特征对，其中，每组候选特征对中包括从一张候选图像中提取出的与上述目标主题关联的文字特征，及从上述一张候选图像中提取出的图像特征；将上述多组候选特征对依次输入图像生成模型，其中，上述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型，上述图像生成模型中包括用于生成图像的生成子网络模型，及用于识别所生成的图像是否为上述指定主题的鉴定子网络模型；根据上述图像生成模型的输出结果，获取具有上述目标主题的上述目标图像。
作为一种可选的实施方式，在上述将上述多组候选特征对依次输入图像生成模型之后，还包括：在当前输入的为第i张候选图像的候选特征对的情况下，利用上述第i张候选图像中提取出的上述文字特征，通过上述生成子网络模型生成与上述目标主题相匹配的对象图像，其中，i为大于1，且小于等的整数，N为上述多张候选图像的数量；在上述鉴定子网络模型获取到上述对象图像的情况下，鉴定上述对象图像与当前输入的上述第i张候选图像是否为相同主题；在上述对象图像输入的上述第i张候选图像为相同主题的情况下，将上述对象图像确定为上述目标图像。
作为一种可选的实施方式，依次对上述多张候选图像的每张候选图像进行特征提取，得到多组候选特征对包括：重复执行以下步骤，直至遍历上述多张候选图像：获取当前候选图像；识别上述当前候选图像中与上述目标主题关联的文字信息；对上述文字信息进行分词和映射处理，得到与上述当前候选图像对应的多个当前词向量，并对上述多个当前词向量进行聚合处理，得到一组当前句向量；将上述当前句向量确定为上述当前候选图像的文字特征；识别上述当前候选图像中的图像信息，其中，上述图像信息包括各个像素点的位置信息及颜色信息；根据上述图像信息确定上述图像特征。
作为一种可选的实施方式，在上述获取与待生成的目标图像关联的多张候选图像之前，还包括：获取多个样本数据，其中，上述多个样本数据包括第一类样本数据和第二类样本数据，其中，上述第一类样本数据为相同主题的图像数据，上述第二类样本数据为不同主题的图像数据；利用上述多个样本数据对初始化的图像生成模型进行训练，以得到上述图像生成模型。
作为一种可选的实施方式，上述获取与待生成的目标图像关联的多张候选图像包括：获取搜索请求，其中，上述搜索请求中携带有上述目标主题的关键词；响应上述搜索请求，从上述数据共享平台中查找到具有上述目标主题的上述多张候选图像。
作为一种可选的实施方式，上述图像生成模型为基于stackGAN模型构建。
根据本发明实施例的另一方面，还提供了一种图像生成装置，包括：第一获取单元，用于获取与待生成的目标图像关联的多张候选图像，其中，上述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像；提取单元，用于依次对上述多张候选图像的每张候选图像进行特征提取，得到多组候选特征对，其中，每组候选特征对中包括从一张候选图像中提取出的与上述目标主题关联的文字特征，及从上述一张候选图像中提取出的图像特征；输入单元，用于将上述多组候选特征对依次输入图像生成模型，其中，上述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型，上述图像生成模型中包括用于生成图像的生成子网络模型，及用于识别所生成的图像是否为上述指定主题的鉴定子网络模型；第二获取单元，用于根据上述图像生成模型的输出结果，获取具有上述目标主题的上述目标图像。
作为一种可选的实施方式，还包括：生成单元，用于在上述将上述多组候选特征对依次输入图像生成模型之后，在当前输入的为第i张候选图像的候选特征对的情况下，利用上述第i张候选图像中提取出的上述文字特征，通过上述生成子网络模型生成与上述目标主题相匹配的对象图像，其中，i为大于1，且小于等的整数，N为上述多张候选图像的数量；鉴定单元，用于在上述鉴定子网络模型获取到上述对象图像的情况下，鉴定上述对象图像与当前输入的上述第i张候选图像是否为相同主题；确定单元，用于在上述对象图像输入的上述第i张候选图像为相同主题的情况下，将上述对象图像确定为上述目标图像。
作为一种可选的实施方式，上述输入单元包括：处理模块，用于重复执行以下步骤，直至遍历上述多张候选图像：获取当前候选图像；识别上述当前候选图像中与上述目标主题关联的文字信息；对上述文字信息进行分词和映射处理，得到与上述当前候选图像对应的多个当前词向量，并对上述多个当前词向量进行聚合处理，得到一组当前句向量；将上述当前句向量确定为上述当前候选图像的文字特征；识别上述当前候选图像中的图像信息，其中，上述图像信息包括各个像素点的位置信息及颜色信息；根据上述图像信息确定上述图像特征。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像生成方法。
在本发明实施例中，在本实施例中，在获取与待生成的目标图像为相同目标主题的多张候选图像之后，从该多张候选图像中分别进行特征提取，以得到多组候选特征对，并将该多组候选特征对依次输入图像生成模型，以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像，而不再需要专业人员手动设计大量推广宣传图像，以达到节省图像生成时间，提高图像生成效率的目的，进而解决了由于手动设计图像所导致的图像生成效率较低的问题的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的图像生成方法的流程图；
图2是根据本发明实施例的一种可选的图像生成方法的示意图；
图3是根据本发明实施例的另一种可选的图像生成方法的示意图；
图4是根据本发明实施例的另一种可选的图像生成方法的流程图；
图5是根据本发明实施例的一种可选的图像生成装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种图像生成方法，可选地，作为一种可选的实施方式，如图1所示，上述图像生成方法包括：
S102，获取与待生成的目标图像关联的多张候选图像，其中，多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像；
S104，依次对多张候选图像的每张候选图像进行特征提取，得到多组候选特征对，其中，每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征，及从一张候选图像中提取出的图像特征；
S106，将多组候选特征对依次输入图像生成模型，其中，图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型，图像生成模型中包括用于生成图像的生成子网络模型，及用于识别所生成的图像是否为指定主题的鉴定子网络模型；
S108，根据图像生成模型的输出结果，获取具有目标主题的目标图像。
可选地，在本实施例中，上述图像生成方法可以但不限于应用于生成用于推广宣传的图像的生成过程中，如广告图像、海报图像、宣传图像等等。也就是说，在本实施例中，在获取与待生成的目标图像为相同目标主题的多张候选图像之后，从该多张候选图像中分别进行特征提取，以得到多组候选特征对，并将该多组候选特征对依次输入图像生成模型，以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像，而不再需要专业人员手动设计大量推广宣传图像，以达到节省图像生成时间，提高图像生成效率的目的，进而克服相关技术中图像生成效率较低的问题。上述仅是一种示例，本实施例中对此不做任何限定。
可选地，在本实施例中，上述图像生成模型可以但不限于为基于stackGAN模型构建。其中，stackGAN模型可以但不限于是树状结构的多个生成器和鉴别器生成，从树的不同分支生成对应于同一场景的多尺度图像。
可选地，在本实施例中，上述图像生成模型在识别出候选图像中与目标主题关联的文字信息之后，将对文字信息进行分词和映射处理，得到与候选图像对应的词向量，并对该词向量进行聚合处理，得到句向量；从而将该句向量确定为候选图像的文字特征。上述图像生成模型在识别出候选图像中的图像信息之后，可以根据该图像信息确定图像特征。
例如，上述图像生成模型可以如图2所示。在获取到多张候选图像之后，提取候选图像中的文字信息，如图2中加粗实线方框所示。然后将上述文字进行分词、映射和聚合处理，得到句向量，作为文字特征，如图2中加粗虚线方框所示。然后将上述文字特征输入图像生成模型。然后得到预测生成的候选目标图像，如图2中加粗虚线圆框所示。将根据上述候选图像的图像信息确定出的图像特征与候选目标图像，再次输入模型，其中，根据上述候选图像的图像信息确定出的图像特征如图2中加粗实线圆框所示。进一步进行分析得到目标主题的目标图像。
可选地，在本实施例中，获取与待生成的目标图像关联的多张候选图像包括：获取搜索请求，其中，搜索请求中携带有目标主题的关键词；响应搜索请求，从数据共享平台中查找到具有目标主题的多张候选图像。
需要说明的是，上述数据共享平台可以但不限于共享空间应用、即时通信应用等应用平台，如微信公众号。上述多张候选图像可以但不限于为微信公众号中提供的图像。例如，如图3所示，在某微信公众号中包括有宣传海报，显示有2019年12月24日发布的文字信息：【积分兑换】绝不能错过的红色。红色可以出挑亮眼，也可以低调温柔，尤其是圣诞季必不可少，你是不是还差一点红色装备呢。
通过本申请提供的实施例，在获取与待生成的目标图像为相同目标主题的多张候选图像之后，从该多张候选图像中分别进行特征提取，以得到多组候选特征对，并将该多组候选特征对依次输入图像生成模型，以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像，而不再需要专业人员手动设计大量推广宣传图像，以达到节省图像生成时间，提高图像生成效率的目的，进而克服相关技术中图像生成效率较低的问题。
作为一种可选的方案，在将多组候选特征对依次输入图像生成模型之后，还包括：
S1，在当前输入的为第i张候选图像的候选特征对的情况下，利用第i张候选图像中提取出的文字特征，通过生成子网络模型生成与目标主题相匹配的对象图像，其中，i为大于1，且小于等的整数，N为多张候选图像的数量；
S2，在鉴定子网络模型获取到对象图像的情况下，鉴定对象图像与当前输入的第i张候选图像是否为相同主题；
S3，在对象图像输入的第i张候选图像为相同主题的情况下，将对象图像确定为目标图像。
可选地，在本实施例中，在获取与待生成的目标图像关联的多张候选图像之前，还包括：取多个样本数据，其中，多个样本数据包括第一类样本数据和第二类样本数据，其中，第一类样本数据为相同主题的图像数据，第二类样本数据为不同主题的图像数据；利用多个样本数据对初始化的图像生成模型进行训练，以得到图像生成模型。
可选地，在本实施例中，依次对多张候选图像的每张候选图像进行特征提取，得到多组候选特征对包括：
重复执行以下步骤，直至遍历多张候选图像：
获取当前候选图像；
识别当前候选图像中与目标主题关联的文字信息；对文字信息进行分词和映射处理，得到与当前候选图像对应的多个当前词向量，并对多个当前词向量进行聚合处理，得到一组当前句向量；将当前句向量确定为当前候选图像的文字特征；
识别当前候选图像中的图像信息，其中，图像信息包括各个像素点的位置信息及颜色信息；根据图像信息确定图像特征。
具体结合以下图4所示S402至S410进行说明：
获取搜索请求，其中，该搜索请求中携带有目标主题的关键词(假设是目标产品的关键词)。响应该搜索请求，从数据共享平台(如微信公众号)中查找到具有上述目标主题的多张候选图像。这里多张候选图像可以为与目标产品相关的历史海报，也可以为与目标产品为竞品的海报，如步骤S402。
采用图像识别技术(如光学字符识别，Optical Character Recognition，简称OCR)，识别每张候选图像中与目标产品的目标主题关联的文字信息，，如步骤S404。例如，提取标题(如图3所示标题“积分兑换，绝不能错过的红色”)或提取文章中的文字(如图3所示文字“红色可以出挑亮眼，也可以低调温柔，尤其是圣诞季必不可少，你是不是还差一点红色装备呢”)。
然后对上述提取到的文字信息进行分词处理，(如使用jieba分词、SnowNLP、FoolNLTK、ansj、等等分词工具)，如步骤S406。
进一步，使用wordembedding(词向量)映射算法，将每个词映射到稠密维度中(例如200维度)，得到多个词向量。其中，wordembedding映射算法可以但不限于是将文本空间中的词，映射到另一个数值向量空间。在获得全部词向量之后，对这些词向量进行聚合，得到句向量，作为候选图像的文字特征。这里句向量可以但不限于视作每个词向量对应维度求平均的结果，如步骤S408。
然后将上述从候选图像中提取到的文字特征及提取到的图像特征输入基于stackGAN构建的训练好的图像生成模型，以得到对应的目标图像，，如步骤S410，从而实现辅助设计人员快速生成用于推广宣传的海报。
通过本申请提供的实施例，通过基于stackGAN构建的训练好的图像生成模型来识别候选图像，从而实现基于候选图像来自动生成目标图像，而无需专业人员再手动设计，提高了图像生成效率，进而提高了基于目标图像进行推广的效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像生成方法的图像生成装置。如图5所示，该装置包括：
1)第一获取单元502，用于获取与待生成的目标图像关联的多张候选图像，其中，多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像；
2)提取单元504，用于依次对多张候选图像的每张候选图像进行特征提取，得到多组候选特征对，其中，每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征，及从一张候选图像中提取出的图像特征；
3)输入单元506，用于将多组候选特征对依次输入图像生成模型，其中，图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型，图像生成模型中包括用于生成图像的生成子网络模型，及用于识别所生成的图像是否为指定主题的鉴定子网络模型；
4)第二获取单元508，用于根据图像生成模型的输出结果，获取具有目标主题的目标图像。
本方案中的实施例，可以但不限于参照上述方法实施例，本实施例中对此不作任何限定。
作为一种可选的方案，还包括：
1)生成单元，用于在将多组候选特征对依次输入图像生成模型之后，在当前输入的为第i张候选图像的候选特征对的情况下，利用第i张候选图像中提取出的文字特征，通过生成子网络模型生成与目标主题相匹配的对象图像，其中，i为大于1，且小于等的整数，N为多张候选图像的数量；
2)鉴定单元，用于在鉴定子网络模型获取到对象图像的情况下，鉴定对象图像与当前输入的第i张候选图像是否为相同主题；
3)确定单元，用于在对象图像输入的第i张候选图像为相同主题的情况下，将对象图像确定为目标图像。
本方案中的实施例，可以但不限于参照上述方法实施例，本实施例中对此不作任何限定。
作为一种可选的方案，输入单元包括：
1)处理模块，用于重复执行以下步骤，直至遍历多张候选图像：获取当前候选图像；识别当前候选图像中与目标主题关联的文字信息；对文字信息进行分词和映射处理，得到与当前候选图像对应的多个当前词向量，并对多个当前词向量进行聚合处理，得到一组当前句向量；将当前句向量确定为当前候选图像的文字特征；识别当前候选图像中的图像信息，其中，图像信息包括各个像素点的位置信息及颜色信息；根据图像信息确定图像特征。
本方案中的实施例，可以但不限于参照上述方法实施例，本实施例中对此不作任何限定。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。