具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

目前图像处理模型的构建采用了用户算法工程师根据经验的方式构建，效率会比较低，而且对人的专业知识储备量依赖性比较大。基于上述现状的研究，本申请实施例提供了一种图像处理模型构建方法、装置、电子设备和可读存储介质，能够实现将建模历史进行抽象表示和存储；通过元学习方法自动选择合适的预训练模型；还能够实现缩小网络搜索空间，通过神经网络架构搜索技术设计微网络结构。下面通过几个实施例进行描述。

实施例一

为便于对本实施例进行理解，首先对执行本申请实施例所公开的图像处理模型构建方法的电子设备进行详细介绍。

如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

上述的存储器111、存储控制器112、处理器113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。

其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。

上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述图像处理模型构建方法的实现过程。

实施例二

请参阅图2，是本申请实施例提供的图像处理模型构建方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤201，对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量。

在一种实施方式中，可以通过对待训练图片集每一张图片所包含的信息进行提取，以得到目标元特征向量。示例性地，如图3所示，步骤201可以包括步骤2011和步骤2012。

步骤2011，将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得的每张图片对应的特征向量。

示例性地，上述的预设的预训练模型可以是预先选定的预训练模型。例如，该预设的预训练模型可以是VGG(Visual Geometry Group Network，视觉几何组网络)模型、ResNet等。

示例性地，可以通过预设的预训练模型提取待训练图片集中的每一张图片的图片特征。其中，将预设的预训练模型的最后一个全连接层的输出作为图片特征，该图片特征作为图片对应的特征向量。

例如，若预训练模型的最后一个全连接层的输出的图片特征为1024维，则待训练图片集中的每张图片都可以用一个1024维的向量进行表示，待训练图片集就可以用一个N*1024的二维数组进行表示，其中N是该待训练图片集中的图片数量。

步骤2012，从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量。

在上述实例中，可以从N*1024的二维数组抽取目标元特征向量。

在一种实施方式中，可以通过对待训练图片集进行分析，以得到目标元特征向量。

示例性地，一数据集对应的元特征可以包括如下表1所示的信息。

表1

其中，上述表1仅仅为示例性地，本申请实施例的目标元特征向量还可以包括比上述表述1所示的信息更多或更少的信息。

步骤203，根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型。

在一种实施方式中，该模型候选库中包括多个可用的预训练模型。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的数据集进行对比，以确定出所需的目标预训练模型。

在另一种实施方式中，该模型候选库中包括多个可用的预训练模型以及每个预训练模型对应的训练数据集。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的训练数据集进行对比，以确定出所需的目标预训练模型。

在另一种实施方式中，该模型候选库中包括多个可用的预训练模型以及每个预训练模型对应的训练数据集的元特征向量。通过将该目标元特征向量与模型候选库中的各个预训练模型对应的元特征向量进行对比，以确定出所需的目标预训练模型。

如图4所示，在此实施方式中步骤203可以包括步骤2031和步骤2032。

步骤2031，计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度。

可选地，计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值。

其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。

步骤2032，根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。

可选地，由于两个向量的余弦值的范围为[-1,1]，因此可以通过计算公式0.5+0.5*cos的方式将两向量的余弦归一化到[0,1]的范围。将归一化后值作为待训练图片集与预存的模型候选库中的元特征向量的相似度匹配分数。

进一步地，可以选择相似度匹配分数最高的一个元特征向量对应的预训练模型，作为待训练图片集的目标预训练模型使用。

示例性地，元特征向量对应的预训练模型可以是在该元特征向量对应的数据集上表现最好的预训练模型。

本实施例中，模型候选库中包括多个元数据，每个元数据可以包括元特征向量和预训练模型。

在步骤203之前可以先构建模型候选库。

本实施例中，如图5所示，步骤203之前可以包括步骤2021-2023。

步骤2021，获取历史数据以及所述历史数据中每个图片集对应的预训练模型。

其中，历史数据为用于图片处理的历史训练数据。该历史数据中可以包括多个训练图片集。

本实施例中，上述的历史数据及该数据的预训练模型可以是现有技术中任意公开的数据，也可以是真实场景中使用的数据。

示例性地，每个图片集对应的预训练模型可以是该图片集该数据上表现最好的一个预训练模型。

步骤2022，计算所述历史数据中每个图片集的元特征向量。

可选地，计算历史数据中的每个图片集的元特征向量的方法可以与步骤201计算待训练图片集的目标元特征向量的方式相似，关于计算历史数据中每个图片集的元特征向量的详细过程可以参阅步骤201中的描述，在此不再赘述。

步骤2023，根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述元数据。

其中，目标图片集为所述历史数据中任意一个图片集。

示例性地，一条元数据可以表示为<元特征向量，预训练模型>。

元数据中的预训练模型可以是公开预训练模型候选集中的一个预训练模型。例如，该公开预训练模型候选集可以是指固定数量的预训练模型集合，例如，该预训练模型集合可以包括：VGG16、VGG19、ResNet50、Inception V3、DenseNet等可选模型的集合等。

步骤203可以被实施为：将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型。

步骤205，使用所述目标预训练模型计算所述待训练图片集的高语义数据。

本实施例中，如图6所示，步骤205可以包括步骤2051和步骤2052。

步骤2051，将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量。

示例性地，可以将该待训练图片集任意一张图片输入目标预训练模型中进行计算，将该目标预训练模型的最后一个全连接层的输出的图片特征作为该图片的输出向量。

例如，目标预训练模型最后一层全连接层的输出作为图片对应的输出向量。例如，若目标预训练模型的最后一层全连接层的输出是1000维，那么待训练图片集可以表示为N*1000的二维数组。

步骤2052，根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。

以上述实例为例，可以将N*1000的二维数组及待训练图片集中的各个图片对应标签(label)构成高语义数据。

步骤207，使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构。

本实施例中，该高语义数据可以作为网络架构搜索算法的输入参数。

本实施例中，根据待训练图片集确定了目标预训练模型后，还可以对该目标预训练模型进行修改，以使构建的初始网络模型对待训练图片集的训练效果更好。例如，在该目标预训练模型的最后一层后添加几层新的网络结构。

可选地，可以使用神经网络架构搜索技术(Neural Architecture Search，NAS)，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。

本实施例中，上述的预设的搜索空间可以根据训练目的的不同而不同。

本实施例中，上述的目标网络结构可以是一个微网络结构。例如，该目标网络结构的层次可以小于五层。当然，该目标网络结构的层次也可以小于七层。例如，该目标网络结构可以包括三层网络结构、可以包括四层网络结构等。

本实施例中，上述的目标网络结构的层次可以相对较少，例如，该目标网络结构的层次。因此，预设的搜索空间也可以较小。因此，基于目标网络结构所需的层级相对较少，因此通过神经网络架构技术搜索所需的资源和时间成本也相对较少。与按照训练重新设计一个新的网络模型相比，可以更加高效和节省资源成本和时间成本。

本实施例中，神经网络架构搜索技术所使用的算法可以根据实际情况进行选择。本申请实施例并不以神经网络架构搜索技术所使用的算法为限。一些可选的实施方式中，神经网络架构搜索技术所使用的算法可以包括AutoKeras、DARTS(DifferentiableArchitecture Search)、ENAS(EfficientNet Neural Architecture Search viaParameter Sharing)等。

步骤209，对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。

示例性地，该目标图像处理模型可以用于图像分类、图像中的目标识别等。

在本申请实施例提供的图像处理模型构建方法，通过对待训练图片集进行特征提取，并根据得到的目标元特征向量筛选出目标预训练模型，从而可以使选出的目标预训练模型能够更好地满足待训练图片集的训练需求。进一步地，还可以网络架构搜索算法进行网络搜索，以实现对目标预训练模型进一步地完善，使确定出的目标网络结构对图像的处理效果更好。

本实施例中，通过元学习技术自动寻找适合的目标预训练模型，对于目标预训练模型后需要新添加的目标网络结构，通过神经网络架构搜索技术自动化设计，省去人为探索网络结构的时间。进一步地，由于本实施例中使用神经网络架构搜索技术的搜索空间较小，不需要消耗过多的时间和资源成本。最后将生成的目标网络结构接入目标预训练模型后，形成一个初始网络模型。有效缩短预训练模型选择和修改设计的时间，显著提高模型整体准确率和泛化性能。

进一步地，本申请实施例中，可以将建模历史的历史数据进行抽象表示和存储，得到模型候选库，有效利用建模历史和经验，使预训练模型的确定更加地高效。

在确定预训练模型时，将元学习方法和相似度匹配技术结合，实现自动选择适合当前待训练图片集的预训练模型。

还可以通过NAS技术对有限空间进行搜索，自动生成微小网络结构，节省大量时间和资源成本。将预训练网络模型与NAS生成的微网络结构进行组合，既考虑到通用的泛化特征，又考虑了特定的图片特征，可以使确定出的目标网络结构的图像处理效果更好。

实施例三

基于同一申请构思，本申请实施例中还提供了与图像处理模型构建方法对应的图像处理模型构建装置，由于本申请实施例中的装置解决问题的原理与前述的图像处理模型构建方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。

请参阅图7，是本申请实施例提供的图像处理模型构建装置的功能模块示意图。本实施例中的图像处理模型构建装置中的各个模块用于执行上述方法实施例中的各个步骤。图像处理模型构建装置包括：提取模块301、筛选模块302、计算模块303、搜索模块304以及训练模块305；其中上述各个模块可以如下所示。

提取模块301，用于对待训练图片集进行特征提取，以得到所述待训练图片集的目标元特征向量；

筛选模块302，用于根据所述目标元特征向量，在预存的模型候选库中筛选出目标预训练模型；

计算模块303，用于使用所述目标预训练模型计算所述待训练图片集的高语义数据；

搜索模块304，用于使用网络架构搜索算法，根据所述高语义数据搜索得到目标网络结构；

训练模块305，用于对所述目标预训练模型和所述目标网络结构构成的初始网络模型，使用所述待训练图片集进行训练，以得到目标图像处理模型。

一种可能的实施方式中，提取模块301，用于：

将所述待训练图片集中的每张图片输入预设的预训练模型中进行计算，得的每张图片对应的特征向量；

从所述待训练图片集中的每张图片对应的特征向量构成二维向量中抽取所述目标元特征向量。

一种可能的实施方式中，筛选模块302，包括：相似度计算单元以及模型确定单元。

相似度计算单元，用于计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度；

模型确定单元，用于根据所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度确定出所述目标预训练模型。

一种可能的实施方式中，相似度计算单元，用于：

计算所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值，其中，所述目标元特征向量与所述预存的模型候选库中的元特征向量的余弦值的绝对值越大，则所述目标元特征向量与所述预存的模型候选库中的元特征向量的相似度越大。

一种可能的实施方式中，计算模块303，用于：

将所述待训练图片集中的每张图片输入所述目标预训练模型中进行计算，得的每张图片对应的输出向量；

根据每张图片的输出向量以及每张图片对应的标签构成所述高语义数据。

一种可能的实施方式中，搜索模块304，用于：

使用神经网络架构搜索技术，将所述高语义数据输入预设的搜索空间进行搜索，以得到所述目标网络结构。

一种可能的实施方式中，所述模型候选库中包括多个元数据，本实施例中的图像处理模型构建装置还可以包括：

数据库构建模块，用于：

获取历史数据以及所述历史数据中每个图片集对应的预训练模型，所述历史数据为用于图片处理的历史训练数据；

计算所述历史数据中每个图片集的元特征向量；

根据目标图片集的元特征向量以及所述目标图片集对应的预训练模型构建所述元数据，所述目标图片集为所述历史数据中任意一个图片集；

筛选模块302，用于：

将所述目标元特征向量与所述预存的模型候选库中的元数据中的元特征向量对比，以筛选出所述目标预训练模型。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理模型构建方法的步骤。

本申请实施例所提供的图像处理模型构建方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理模型构建方法的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。