阅读说明：本技术 操作搜索框架系统的方法 (Method of operating a search framework system ) 是由 伍捷 苏俊杰 刘峻诚 于 2019-09-06 设计创作，主要内容包括：本发明提供了一种操作搜索框架系统的方法,搜索框架系统包含算数运算硬件。方法包含将输入数据及多个重置参数输入至算数运算硬件的自动架构搜索框架；自动架构搜索框架执行多个算数运算以搜寻最佳化卷积神经网络模型；及输出最佳化CNN模型。本发明可在可重置的硬件设置的限制条件下,及客制化模型大小及可接受运算复杂度内建造出最佳化CNN模型。(The invention provides a method of operating a search framework system comprising arithmetic hardware. The method comprises inputting input data and multiple reset parameters into an automatic architecture search framework of arithmetic operation hardware; the automatic architecture search framework executes a plurality of arithmetic operations to search an optimized convolutional neural network model; and outputting the optimized CNN model. The invention can build an optimized CNN model under the limit condition of resettable hardware setting, customized model size and acceptable operation complexity.)

操作搜索框架系统的方法

技术领域

本发明关于机器学习技术，特别是一种搜索框架系统，可针对不同硬件限制条件设置以搜寻最佳神经网络模型。

背景技术

卷积神经网络(convolutional neural network，CNN)被认为是最值得注意的一种类神经网络，在机器学习领域，例如图像识别、图像分类，语音识别、自然语言处理及视频分类中获得极大成功。由于CNN架构需要大量的数据组，密集的运算功率及对储存存储器很高的需求，因此CNN架构变得越来越复杂及越来越难达成更佳效能，使得在仅具有较少储存存储器、较低运算能力且资源有限的嵌入式系统，例如行动电话及视频荧幕上难以实现CNN架构。

更具体来说，不同装置中的硬件设定会不同。不同装置具有支援相关CNN架构的不同能力。为了在可重置硬件的限制条件下达成最佳应用程序效能，找到符合硬件限制条件的最佳CNN架构极为重要。

发明内容

本发明实施例提供一种操作搜索框架系统的方法，搜索框架系统包含算数运算硬件。方法包含：将输入数据及多个重置参数输入至算数运算硬件的自动架构搜索框架；自动架构搜索框架执行多个算数运算以搜寻最佳化卷积神经网络模型；及输出最佳化CNN模型。本发明可在可重置的硬件设置的限制条件下，及客制化模型大小及可接受运算复杂度内建造出最佳化CNN模型。

附图说明

图1显示本发明实施例中搜索框架系统的方块图。

图2显示图1的自动架构搜索框架的方块图。

图3显示图2的架构产生器的方块图。

附图标记：

100 搜索框架系统

102 输入数据

104 重置参数

106 自动架构搜索框架

108 算数运算硬件

110 最佳化CNN模型

200 架构产生器

201 初始输入数据

202 更新的CNN数据

210 加强奖励神经网络

212 加强的CNN数据

302 初始隐藏数据

303 第一隐藏层

304 第一隐藏层数据

305 第一全连接层

306 第一全连接数据

307 第一嵌入向量

308 第一嵌入数据

310 解码器

311 第一解码数据

313 第二隐藏层

314 第二隐藏层数据

315 第二全连接层

316 第二全连接数据

317 第二嵌入向量

318 第二嵌入数据

具体实施方式

本发明提供一种自动架构搜索框架(automatically architecture searchingframework，AUTO-ARS)，在可重置硬件的限制条件下输出最佳化卷积神经网络(convolutional neural network，CNN)模型。

图1显示本发明实施例中的搜索框架系统100的方块图。搜索框架系统100包含算数运算硬件108。算数运算硬件108具有在其上执行的自动架构搜索框架106。输入数据102及重置参数104会被输入至自动架构搜索框架106。自动架构搜索框架106执行算数运算用以搜寻最佳化CNN模型110。最佳化CNN模型110是为符合硬件限制条件的最佳化CNN数据。

重置参数104包含硬件设置参数，例如存储器大小及算数运算硬件108的运算能力。输入数据102可以是多媒体数据，例如图像及/或声音。自动架构搜索框架106执行算数运算，用以搜寻最佳化CNN模型。最佳化CNN模型110包含应用程序任务列表，如分类、物体检测、分段等。

图2显示自动架构搜索框架106的方块图。自动架构搜索框架106由架构产生器200及加强奖励神经网络210实现。在自动架构搜索框架106中，初始输入数据201被输入至架构产生器200，用于产生更新的CNN数据202。初始输入数据201可以是多媒体数据，包含图像及/或声音。接着，将更新的CNN数据202输入至加强奖励神经网络210，用于产生加强的CNN数据212。另外，可将加强的CNN数据212输入至架构产生器200以产生再更新的CNN数据202。换句话说，架构产生器200及加强奖励神经网络210形成递归圈，用于执行更新的CNN数据202及加强的CNN数据212的递归再更新程序。当有效性正确度达到预定值时，终止递归再更新程序并输出最佳化CNN模型。

图3显示架构产生器200的方块图。架构产生器200由递归神经网络(recurrentneural network)实现。在架构产生器200中，将初始输入数据201及初始隐藏数据302输入至第一隐藏层303以执行隐藏层操作，用于产生第一隐藏层数据304。隐藏层操作包含权重、偏差及激活算数运算。接着将第一隐藏层数据304输入至第一全连接层305以执行全连接操作，用于产生第一全连接数据306。全连接操作包含权重、偏差及激活算数运算。另外将第一全连接数据306输入至第一嵌入向量307以执行嵌入操作，用于产生第一嵌入数据308。第一嵌入向量307连接全连接数据306的卷积层及激活层以产生第一嵌入数据308。

接着执行递归神经网络的第二级。将第一嵌入数据308输入至解码器310以产生第一解码数据311。接着，将第一解码数据311及第一隐藏层数据304输入至第二隐藏层313以执行隐藏层操作，用于产生第二隐藏层数据314。另外，将第二隐藏层数据314输入至第二全连接层315以执行全连接操作，用于产生第二全连接数据316。接着，将第二全连接数据316输入至第二嵌入向量317以执行嵌入操作，用于产生第二嵌入数据318。

如以上步骤所示，接着继续递归神经网络的第三级。此程序会继续递归神经网络的下一级，直到CNN数据的层级数量超出预定值为止，接着会将更新的CNN数据输出至加强奖励神经网络210。在一些实施例中，若在CNN数据的层级数量超出预定值前有效性正确度已达到预定值，则会将更新的CNN数据输出作为最佳化CNN模型。在另一些实施例中，就算在CNN数据的层级数量超出预定值前有效性正确度已达到预定值，仍然会继续更新CNN数据直到递归神经网络的所有层级都已经更新CNN数据为止，加强奖励神经网络210会接着输出最新的CNN数据输出作为最佳化CNN模型。

CNN数据包含卷积层、激活层及池化层。卷积层包含过滤器(filters)的数量、卷积核(kernel)大小及偏差参数。激活层包含泄漏(leaky)线性整流单元(Rectified LinearUnit,ReLU)、ReLU、参数化ReLU(parametric ReLU,pRelu)、S形(sigmoid)函数及softmax函数。池化层包含步伐的数量及卷积核大小。

搜索框架系统100可针对不同硬件限制条件而被设置。搜索框架系统100结合CNN、架构产生器200及强奖励神经网络210，用于搜寻最佳化CNN模型110。架构产生器200预测类神经网络的元件，例如具有过滤器数量、卷积核大小及偏差参数的卷积层，及具有各种泄漏函数等的激活层。架构产生器200产生超参数作为序列的标记(tokens)。更具体来说，卷积层具有自己的标记，例如过滤器的数量、卷积核大小及偏差参数。激活层具有自己的标记，例如泄漏ReLU、ReLU、参数化ReLU、sigmoid函数及softmax函数。池化层具有自己的标记，例如步伐的数量及卷积核大小。所有不同种类层的标记都在可重置的硬件设置池。

当CNN数据的层级数量超出预定值时，更新CNN数据的程序停止。一旦架构产生器200结束CNN数据的更新后，符合可重置的硬件设置的限制条件的前馈神经网络(feedforward neural network)会被建构并传送至强奖励神经网络210用于训练。奖励神经网络210获取及训练CNN数据直到收敛为止。本发明提出的神经网络的有效性正确度定义为最佳化的结果。透过策略梯度(policy gradient)方法及使用有效性正确度作为设计度量，架构产生器200会更新其参数以在一段时间内产生较佳的CNN数据。透过更新隐藏层可建构最佳化CNN模型。应用本发明所提出的技巧，可在可重置的硬件设置的限制条件下，及客制化模型大小及可接受运算复杂度内建造出最佳化CNN模型。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。