一种实现模型管理的方法、装置、计算机存储介质及终端
阅读说明：本技术 一种实现模型管理的方法、装置、计算机存储介质及终端 (Method, device, computer storage medium and terminal for realizing model management ) 是由 丁中正 袁灿 于政 于 2019-10-29 设计创作，主要内容包括：一种实现模型管理的方法、装置、计算机存储介质及终端，包括：按照预设策略存储已有的各模型文件；从存储的模型文件中选择用于对待预测文本进行预测的模型文件；通过加载选择的模型文件对待预测文本进行预测处理。本发明实施例通过对模型文件进行统筹调用，提升了自然语言处理对任务的处理效率。(A method, a device, a computer storage medium and a terminal for realizing model management comprise: storing each existing model file according to a preset strategy; selecting a model file for predicting the text to be predicted from the stored model files; and carrying out prediction processing on the text to be predicted by loading the selected model file. According to the embodiment of the invention, the processing efficiency of the natural language processing on the tasks is improved by overall calling of the model files.)
技术领域
本文涉及但不限于人工智能技术，尤指一种实现模型管理的方法、装置、计算机存储介质及终端。
背景技术
自然语言处理是人工智能领域中的一个重要方向，是研究计算机处理人类语言的一门技术。与一般的机器学习过程不同，自然语言处理的工作有很大一部分集中在包括分词、词性标注、去停用词等语料预处理。由于中文文本词语之间没有明显的空格标记、句子以字符串的形式出现、语料存在短文本或长文本等不同的形式，因此，如分词、文本标注等预处理在中文文本的自然语言处理中占较大比例的工作。
自然语言处理的任务包括基础任务和高级任务；其中，基础任务包括：词向量、句法分析、中文分词、实体识别，关键词提取等；高级任务包括直接面向业务处理的任务包括自动摘要、文本分类、文本聚类、情感分析等。无论是基础任务和高级任务，一般都需要通过基于机器学习方法的模型来实现，模型的输入为由自然语言文本数据转化获得的词向量，输出为自然语言任务的目标。
相关技术中自然语言处理的任务以单一形式进行，即每一项自然语言处理的任务都需要通过相应的任务模型来实现，这导致自然语言处理效率较低，如何提升自然语言处理对任务的处理效率成为一个有待解决的问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现模型管理的方法、装置、计算机存储介质及终端，能够提升自然语言处理对任务的处理效率。
本发明实施例提供了一种实现模型管理的方法，包括：
按照预设策略存储已有的各模型文件；
从存储的模型文件中选择用于对待预测文本进行预测的模型文件；
通过加载选择的模型文件对待预测文本进行预测处理。
在一种示例性实施例中，所述从存储的模型文件中选择用于对待预测文本进行预测的模型文件，包括：
根据各所述模型文件的模型相关信息，确定存储的模型文件中是否包含可用于对所述待预测文本进行预测的模型文件；
将确定的所述可用于对所述待预测文本进行预测的模型文件，选定为用于对所述待预测文本进行预测的模型文件；
其中，所述模型相关信息包括以下一项或任意组合的信息：名称、类别、及描述信息。
在一种示例性实施例中，所述确定存储的模型文件中不包含可用于对所述待预测文本进行预测的模型文件时，所述方法还包括：
读取预设的训练文件；
将读取的所述训练文件结合预先配置的机器学习算法，训练获得模型文件；
其中，所述训练文件包括：用于生成可用于对所述待预测文本进行预测的模型文件。
在一种示例性实施例中，所述按照预设策略存储已有的各模型文件，包括：
根据各所述模型文件的类别，为已有的各所述模型文件分别设置相应的文件目录；
根据为各所述模型文件设置的所述文件目录，存储各所述模型文件。
另一方面，本发明实施例还提供一种实现模型管理的装置，包括：存储单元、选择单元及预测单元；其中，
存储单元用于：按照预设策略存储已有的各模型文件；
选择单元用于：从存储的模型文件中选择用于对待预测文本进行预测的模型文件；
预测单元用于：通过加载选择的模型文件对待预测文本进行预测处理。
在一种示例性实施例中，所述选择单元具体用于：根据各所述模型文件的模型相关信息，确定存储的模型文件中是否包含可用于对所述待预测文本进行预测的模型文件；
将确定的所述可用于对所述待预测文本进行预测的模型文件，选定为用于对所述待预测文本进行预测的模型文件；
其中，所述模型相关信息包括以下一项或任意组合的信息：名称、类别、及描述信息。
在一种示例性实施例中，所述装置还包括训练单元，用于：
读取预设的训练文件；将读取的所述训练文件结合预先配置的机器学习算法，训练获得模型文件；
其中，所述训练文件包括：用于生成可用于对所述待预测文本进行预测的模型文件。
在一种示例性实施例中，所述存储单元具体用于：
根据各所述模型文件的类别，为已有的各所述模型文件分别设置相应的文件目录；
根据为各所述模型文件设置的所述文件目录，存储各所述模型文件。
再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述实现模型管理的方法。
还一方面，本发明实施例还提供一种终端，包括：存储器和处理器，所述存储中保存有计算机程序；其中，
处理器被配置为执行存储器中的计算机程序；
所述计算机程序被所述处理器执行时实现如上述实现模型管理的方法。
与相关技术相比，本申请技术方案包括：按照预设策略存储已有的各模型文件；从存储的模型文件中选择用于对待预测文本进行预测的模型文件；通过加载选择的模型文件对待预测文本进行预测处理。本发明实施例通过对模型文件进行统筹调用，提升了自然语言处理对任务的处理效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例实现模型管理的方法的流程图；
图2为本发明实施例实现模型管理的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例实现模型管理的方法的流程图，如图1所示，包括：
步骤101、按照预设策略存储已有的各模型文件；
在一种示例性实施例中，所述按照预设策略存储已有的各模型文件，包括：
根据各所述模型文件的类别，为已有的各所述模型文件分别设置相应的文件目录；
根据为各所述模型文件设置的所述文件目录，存储各所述模型文件。
步骤102、从存储的模型文件中选择用于对待预测文本进行预测的模型文件；
在一种示例性实施例中，所述从存储的模型文件中选择用于对待预测文本进行预测的模型文件，包括：
根据各所述模型文件的模型相关信息，确定存储的模型文件中是否包含可用于对所述待预测文本进行预测的模型文件；
将确定的所述可用于对所述待预测文本进行预测的模型文件，选定为用于对所述待预测文本进行预测的模型文件；
其中，所述模型相关信息包括以下一项或任意组合的信息：名称、类别、及描述信息。
在一种示例性实施例中，确定存储的模型文件中是否包含可用于对所述待预测文本进行预测的模型文件之前，所述方法还包括：
获取各所述模型文件的模型相关信息。
在一种示例性实施例中，模型相关信息还可以包括以下一项或任意组合的信息：存储路径、版本、及创建时间。
本发明实施例各模型文件的名称互不相同；模型文件的类别可以用于标识模式文件的任务目标，如句法分析、中文分词、文本分类等；
在一种示例性实施例中，本发明实施例可以通过元数据记录模型相关信息。
步骤103、通过加载选择的模型文件对待预测文本进行预测处理。
在一种示例性实施例中，所述确定存储的模型文件中不包含可用于对所述待预测文本进行预测的模型文件时，所述方法还包括：
读取预设的训练文件；
将读取的所述训练文件结合预先配置的机器学习算法，训练获得模型文件；
其中，所述训练文件包括：用于生成可用于对所述待预测文本进行预测的模型文件。
需要说明的是，本发明实施例进行模型文件训练时，配置什么样的机器学习算法可由本领域技术人员根据需要生成的模型文件的功能进行选择配置；此外，根据训练文件生成模型文件之后，生成的模型文件成为已有的模型文件。
在一种示例性实施例中，本发明实施例可以根据自然语言处理的任务需求，对模型文件进行增删处理。
在一种示例性实施例中，本发明实施例可以为训练文件和模型文件设置交互模块，用于训练文件和模型文件的上传；设置编辑模块：用于对模型文件进行增删处理；
本发明实施例模型文件的生成和对待预测文本进行预测处理过程可以包括相关技术已有的处理过程；在生成模型文件和进行预测处理过程如果需要进行文本标注时，则在生成模型文件时，对训练文件中包含的训练文件进行标注，包括但不限于：词性标注、序列标注等。以“命名实体识别”为例，训练文本需要预先做序列标注，以形成训练数据集。在进行预测处理时，对待预测文本进行标注，包括但不限于：词性标注、序列标注等。
本发明实施例中，生成模型文件过程包括：
对训练文本进行预处理，预处理可以包括以下一项或任意组合的处理：去停用词、中文分词和转换数据格式；
将预处理后的训练文本转化为词向量；
将由词向量表达的训练文本输入至相应的模型训练器，结合预先配置的机器学习算法训练获得模型文件。以“命名实体识别”为例，训练文本会先做中文分词、格式转换等预处理，然后将预处理后的训练文本转化为词向量。训练过程是将词向量作为模型训练器的输入，标注结果作为模型输出，利用相应的机器学习算法不断进行更新迭代，到达迭代条件时终止训练，将训练好的模型文件保存到所属分类为“命名实体识别”的文件目录下。
本发明实施例对待预测文本进行预测处理过程包括：
对待预测文本进行预处理，预处理可以包括以下一项或任意组合的处理：去停用词、中文分词和转换数据格式；
对预处理后的预测文本进行词向量转换。
根据当前任务读取相应的模型文件，并根据读取的模型文件获得训练模型。
将由词向量表达的待预测文本输入至训练模型，得到预测结果。
与相关技术相比，本申请技术方案包括：按照预设策略存储已有的各模型文件；从存储的模型文件中选择用于对待预测文本进行预测的模型文件；通过加载选择的模型文件对待预测文本进行预测处理。本发明实施例通过对模型文件进行统筹调用，提升了自然语言处理对任务的处理效率。
图2为本发明实施例实现模型管理的装置的结构框图，如图2所示，包括：存储单元、选择单元及预测单元；其中，
存储单元用于：按照预设策略存储已有的各模型文件；
在一种示例性实施例中，所述存储单元具体用于：
根据各所述模型文件的类别，为已有的各所述模型文件分别设置相应的文件目录；
根据为各所述模型文件设置的所述文件目录，存储各所述模型文件。
选择单元用于：从存储的模型文件中选择用于对待预测文本进行预测的模型文件；
在一种示例性实施例中，所述选择单元具体用于：根据各所述模型文件的模型相关信息，确定存储的模型文件中是否包含可用于对所述待预测文本进行预测的模型文件；
将确定的所述可用于对所述待预测文本进行预测的模型文件，选定为用于对所述待预测文本进行预测的模型文件；
其中，所述模型相关信息包括以下一项或任意组合的信息：名称、类别、及描述信息。
在一种示例性实施例中，本发明实施例还包括获取单元，用于：
获取各所述模型文件的模型相关信息。
在一种示例性实施例中，模型相关信息还可以包括以下一项或任意组合的信息：存储路径、版本、及创建时间。
预测单元用于：通过加载选择的模型文件对待预测文本进行预测处理。
在一种示例性实施例中，所述装置还包括训练单元，用于：
读取预设的训练文件；将读取的所述训练文件结合预先配置的机器学习算法，训练获得模型文件；
其中，所述训练文件包括：用于生成可用于对所述待预测文本进行预测的模型文件。
需要说明的是，根据训练文件生成模型文件之后，生成的模型文件成为已有的模型文件。
与相关技术相比，本申请技术方案包括：按照预设策略存储已有的各模型文件；从存储的模型文件中选择用于对待预测文本进行预测的模型文件；通过加载选择的模型文件对待预测文本进行预测处理。本发明实施例通过对模型文件进行统筹调用，提升了自然语言处理对任务的处理效率。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述实现模型管理的方法。
本发明实施例还提供一种终端，包括：存储器和处理器，所述存储中保存有计算机程序；其中，
处理器被配置为执行存储器中的计算机程序；
所述计算机程序被所述处理器执行时实现如上述实现模型管理的方法。
“本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。