信息处理和模型训练方法、装置、设备及存储介质
阅读说明：本技术 信息处理和模型训练方法、装置、设备及存储介质 (Information processing and model training method, device, equipment and storage medium ) 是由 胡伟 宋俊 于 2019-02-25 设计创作，主要内容包括：本发明实施例提供一种信息处理和模型训练方法、装置、设备及存储介质,通过获取待处理的交互信息,然后确定交互信息对应的意图识别结果,再通过预先训练的联合学习模型,根据意图识别结果对应的槽位抽取子模型,确定交互信息对应的槽位抽取结果。本发明通过先获取意图识别结果、再采用意图识别结果对应的槽位抽取子模型抽取槽位信息,不会对意图识别结果对应的意图中不需要的其他无关槽位信息进行抽取,从而可以提高槽位抽取的准确性。(The embodiment of the invention provides an information processing and model training method, device, equipment and storage medium. According to the invention, the intention identification result is obtained firstly, and then the slot position information is extracted by adopting the slot position extraction sub-model corresponding to the intention identification result, so that other unnecessary irrelevant slot position information in the intention corresponding to the intention identification result can not be extracted, and the accuracy of slot position extraction can be improved.)
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种信息处理和模型训练方法、装置、设备及存储介质。
背景技术
在自然语言运用中，一些智能终端设备需要对用户的交互语音信息进行理解，从而能够进行正确的操作，比如：智能音箱需要明白用户的意图才能播放正确的资源或者对用户做出正确的回复。因此智能终端设备需要对用户交互信息进行意图识别和槽位抽取，其中槽位是根据用户交互信息生成明确指令时所需要提取的信息，例如用户交互信息为“我想听刘德华的忘情水”，我们希望智能终端设备能够识别出来领域为音乐、意图为播放音乐，并从该用户交互信息中抽取出歌手“刘德华”、歌曲名称“忘情水”，因此歌手“刘德华”、歌曲名称“忘情水”即为槽位信息。
现有技术中，对于用户交互信息进行意图识别和槽位抽取，通常采用两个任务完成，也即通过第一模型进行意图识别，再通过第二模型进行槽位抽取，模型训练过程通常采用预先获取的训练数据集进行训练，而训练后的槽位抽取模型通常会抽取到与真实意图无关的槽位信息，槽位抽取的准确性较低。
发明内容
本发明提供一种信息处理和模型训练方法、装置、设备及存储介质，以提高对于交互信息槽位抽取的准确度。
本发明的第一方面是提供一种信息处理方法，包括：
获取待处理的交互信息；
确定所述交互信息对应的意图识别结果；
通过预先训练的联合学习模型，根据所述意图识别结果对应的槽位抽取子模型，确定所述交互信息对应的槽位抽取结果。
可选的，所述确定所述交互信息对应的意图识别结果，包括：
通过所述联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果。
可选的，所述确定所述交互信息对应的意图识别结果，包括：
将所述交互信息与预设文法集合进行匹配；
若能够从所述预设文法集合获取匹配的文法，则根据所述匹配的文法确定所述交互信息对应的意图识别结果。
本发明的第二方面是提供一种模型训练方法，包括：
获取多个训练数据和所述训练数据对应的标注数据，所述标注数据包括意图分类标注数据和槽位抽取标注数据；
将所述训练数据按照意图分类标注数据划分为多个训练数据组；
针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，所述联合学习模型中不同意图分类对应不同的槽位抽取子模型。进一步的，所述针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，还包括：
针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的意图分类标注数据，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述对联合学习模型进行训练之前，还包括：
通过预先训练的词向量模型，对所述训练数据进行分词处理，得到所述训练数据对应的各个词向量以及所述词向量对应的上下文信息；
所述对联合学习模型进行训练，包括：
根据所述训练数据对应的各个词向量以及所述词向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述对联合学习模型进行训练之前，还包括：
通过预先训练的字向量模型，对所述训练数据进行分字处理，得到所述训练数据对应的各个字向量以及所述字向量对应的上下文信息；
所述对联合学习模型进行训练，包括：
根据所述训练数据对应的各个字向量以及所述字向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练，包括：
针对每一个训练数据组，将所述训练数据组包含的训练数据分别输入至所述意图识别子模型和与所述意图分类标注数据对应的槽位抽取子模型中，得到意图识别的预测结果以及槽位抽取的预测结果；
根据所述训练数据的意图分类标注数据和意图识别的预测结果获取意图识别损失，根据所述槽位抽取标注数据和槽位抽取的预测结果获取槽位抽取损失；
整合所述意图识别损失和所述槽位抽取损失得到联合学习模型的总损失，根据所述联合学习模型的总损失分别对所述意图识别子模型和所述槽位抽取子模型进行参数优化。
本发明的第三方面是提供一种信息处理装置，包括：
获取模块，用于获取待处理的交互信息；
处理模块，用于确定所述交互信息对应的意图识别结果；通过预先训练的联合学习模型，根据所述意图识别结果对应的槽位抽取子模型，确定所述交互信息对应的槽位抽取结果。
可选的，所述处理模块用于，通过所述联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果。
可选的，所述处理模块用于，将所述交互信息与预设文法集合进行匹配；若能够从所述预设文法集合获取匹配的文法，则根据所述匹配的文法确定所述交互信息对应的意图识别结果。
本发明的第四方面是提供一种模型训练装置，包括：
数据获取模块，用于获取多个训练数据和所述训练数据对应的标注数据，所述标注数据包括意图分类标注数据和槽位抽取标注数据；
数据分组模块，用于将所述训练数据按照意图分类标注数据划分为多个训练数据组；
训练模块，用于针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，所述联合学习模型中不同意图分类对应不同的槽位抽取子模型。
进一步的，所述训练模块还用于：
针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的意图分类标注数据，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述数据获取模块还用于，对所述训练数据进行分词处理，得到所述训练数据对应的各个词向量，并获取所述词向量对应的上下文信息；
所述训练模块用于，根据所述训练数据对应的各个词向量以及所述词向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述数据获取模块还用于，通过预先训练的字向量模型，对所述训练数据进行分字处理，得到所述训练数据对应的各个字向量以及所述字向量对应的上下文信息；
所述训练模块用于，根据所述训练数据对应的各个字向量以及所述字向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述训练模块用于：
针对每一个训练数据组，将所述训练数据组包含的训练数据分别输入至所述意图识别子模型和与所述意图分类标注数据对应的槽位抽取子模型中，得到意图识别的预测结果以及槽位抽取的预测结果；
根据所述训练数据的意图分类标注数据和意图识别的预测结果获取意图识别损失，根据所述槽位抽取标注数据和槽位抽取的预测结果获取槽位抽取损失；
整合所述意图识别损失和所述槽位抽取损失得到联合学习模型的总损失，根据所述联合学习模型的总损失分别对所述意图识别子模型和所述槽位抽取子模型进行参数优化。
本发明的第五方面是提供一种信息处理设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
本发明的第六方面是提供一种信息处理的模型训练设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第二方面所述的方法。
本发明的第七方面是提供一种计算机可读存储介质，其上存储有计算机程序；
所述计算机程序被处理器执行时实现如第一方面所述的方法。
本发明的第八方面是提供一种计算机可读存储介质，其上存储有计算机程序；
所述计算机程序被处理器执行时实现如第二方面所述的方法。
本发明提供的信息和模型训练处理方法、装置、设备及存储介质，通过获取待处理的交互信息，然后确定交互信息对应的意图识别结果，再通过预先训练的联合学习模型，根据意图识别结果对应的槽位抽取子模型，确定交互信息对应的槽位抽取结果。本发明通过先获取意图识别结果、再采用意图识别结果对应的槽位抽取子模型抽取槽位信息，不会对意图识别结果对应的意图中不需要的其他无关槽位信息进行抽取，从而可以提高槽位抽取的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的信息处理方法流程图；
图2为本发明实施例提供的模型训练方法流程图；
图3为本发明另一实施例提供的模型训练方法流程图；
图4为本发明实施例提供的信息处理装置的结构图；
图5为本发明实施例提供的模型训练装置的结构图；
图6为本发明实施例提供的电子设备的结构图；
图7为本发明另一实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，本发明实施例所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的信息处理方法流程图。如图1所示，本实施例提供了一种信息处理方法，该信息处理方法具体步骤如下：
S101、获取待处理的交互信息。
在本实施例中，待处理的交互信息可以为用户交互语音(query)，可以通过语音识别后得到用户交互语音对应的文本信息，当然交互信息也可以是用户通过键盘或触摸屏输入的文本信息，或者通过其他途径获取的交互信息。
S102、确定所述交互信息对应的意图识别结果。
在本实施例中，可选的，S102可以通过预先训练的联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果。
本实施例中，联合学习模型是通过预先训练获取，其中包括意图识别子模型和多个槽位抽取子模型，意图识别子模型用于根据交互信息得到意图识别结果，而每一意图识别结果均对应一个槽位抽取子模型，意图识别子模型和多个槽位抽取子模型通过联合学习过程进行训练而得到，其训练过程后续将详细阐述。
可选的，S102也可通过将所述交互信息与预设文法集合进行匹配；若能够从所述预设文法集合获取匹配的文法，则根据所述匹配的文法确定所述交互信息对应的意图识别结果。
在本实施例中，预设文法合集中包括多个文法，每一文法均与一个意图对应。具体的，预设文法合集中可包括多个意图，每一意图下包括多个文法。将交互信息与预设文法集合中每一文法进行匹配，当获取到匹配的文法后，则可根据该文法对应的意图得到所述意图识别结果。在本实施例中，由于预设文法合集中的文法是有限的，可能存在无法根据预设文法集合获取与交互信息匹配的文法，此时可通过联合学习模型中的意图识别子模型，获取交互信息对应的意图识别结果。
S103、通过预先训练的联合学习模型，根据所述意图识别结果对应的槽位抽取子模型，确定所述交互信息对应的槽位抽取结果。
在本实施例中，当获取了意图识别结果后，则根据意图识别结果从联合学习模型中选择意图识别结果对应的槽位抽取子模型，通过该槽位抽取子模型即可获取到交互信息对应的槽位抽取结果。由于槽位抽取子模型与意图对应，能够抽取出该意图下所需要的槽位信息，而不会抽取该意图不需要的其他无关的槽位信息，例如“聊天”意图中可能不需要“时间”的槽位信息，采用“聊天”意图对应的槽位抽取子模型则不会抽取“时间”的槽位信息；再如“播放歌曲”意图中可能不需要“天气”的槽位信息，则采用“播放歌曲”意图对应的槽位抽取子模型则不会抽取“天气”的槽位信息，通过先获取意图识别结果、再采用意图识别结果对应的槽位抽取子模型抽取槽位信息，则提高槽位抽取结果的准确性。
本实施例提供的信息处理方法，通过获取待处理的交互信息，然后确定交互信息对应的意图识别结果，再通过预先训练的联合学习模型，根据意图识别结果对应的槽位抽取子模型，确定交互信息对应的槽位抽取结果。本实施例通过先获取意图识别结果、再采用意图识别结果对应的槽位抽取子模型抽取槽位信息，不会对意图识别结果对应的意图中不需要的其他无关槽位信息进行抽取，从而可以提高槽位抽取的准确性。
在上述任意实施例的基础上，通过联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果之前，还包括：
对所述交互信息进行分词处理，得到所述交互信息对应的各个词向量，并获取所述词向量对应的上下文信息；
将所述交互信息对应的各个词向量以及所述词向量对应的上下文信息，输入至所述联合学习模型。
在本实施例中，可通过将交互信息输入word2vec、glove等词向量模型，从而获取交互信息对应的各个词向量。由于词向量之间是孤立的，不同的交互信息可能具有相同的词向量，但所表达的意图并不相同，因此在本实施例中还需要分析各词向量的语义和其上下文内容，也即需要获取词向量对应的上下文信息，具体可通过将各词向量输入底层模型中以获取各词向量对应的上下文语义向量作为所述词向量对应的上下文信息，本实施例中底层模型可采用LSTM(Long Short-Term Memory，长短期记忆网络)、Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)或RNN(Recurrent NeuralNetworks，循环神经网络)，具体处理过程可采用现有的方法，此处不再赘述。进一步的，将交互信息对应的各个词向量以及词向量对应的上下文信息，输入至联合学习模型中的意图识别子模型进行意图识别，然后再输入到意图识别结果对应的槽位抽取子模型中进行槽位抽取。
进一步的，通过联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果，具体可以为，通过意图识别子模型获取该交互信息属于每一种意图对应的概率，并以其中概率最大的意图作为交互信息对应的意图识别结果。
在另一可选实施例中，可通过预先训练的字向量模型，对所述交互信息进行分字处理，得到所述交互信息对应的各个字向量以及所述字向量对应的上下文信息；将所述交互信息对应的各个字向量以及所述字向量对应的上下文信息，输入至所述联合学习模型。
在上述实施例的基础上，通过预设文法集合获取意图识别结果时，在将所述交互信息与预设文法集合进行匹配前，还包括：
对所述交互信息进行分词，获得交互信息中所包含的多个词汇，根据该多个词汇与预设文法集合中的每一文法进行匹配，具体的，文法中包括多个节点，将该多个词汇与文法的节点进行匹配，若该多个词汇能够与某一文法的各节点匹配，则该文法即为匹配的文法，以该文法对应的意图作为交互信息对应的意图识别结果。
图2为本发明实施例提供的模型训练方法流程图。如图2所示，本实施例提供了一种模型训练方法，该模型训练方法具体步骤如下：
S201、获取多个训练数据和所述训练数据对应的标注数据，所述标注数据包括意图分类标注数据和槽位抽取标注数据。
在本实施例中，预先获取训练数据，其中训练数据为已知意图和槽位信息的交互信息，也即训练数据具有对应的标注数据，标注数据包括意图分类标注数据和槽位抽取标注数据。
S202、将所述训练数据按照意图分类标注数据划分为多个训练数据组。
在本实施例中，对训练数据按照意图分类标注数据进行分类，得到多个训练数据组，每一训练数据组与一种意图分类对应。
S203、针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，所述联合学习模型中不同意图分类对应不同的槽位抽取子模型。
在本实施例中，在对联合学习模型中的意图识别子模型和槽位抽取子模型进行联合训练时，需要对槽位抽取子模型按照不同的意图进行分别训练，例如利用意图分类a1对应的训练数据组A1中包含的训练数据、以及训练数据的槽位抽取标注数据，对初始的槽位抽取子模型进行训练，从而得到意图分类a1对应的槽位抽取子模型C1；利用意图分类a2对应的训练数据组A2中包含的训练数据、以及训练数据的槽位抽取标注数据，对初始的槽位抽取子模型进行训练，从而得到意图分类a2对应的槽位抽取子模型C2，依此类推。当存在n个意图分类，则得到n个槽位抽取子模型，其中各槽位抽取子模型的架构相同(基于同样的初始模型)，但模型参数不同。由于槽位抽取子模型的训练过程是区分意图分类进行分别训练，由于训练数据组A1的槽位信息与其他训练数据组A2的槽位信息不同，因此对于a1意图分类对应的训练数据组A1中包含的训练数据、以及训练数据的槽位抽取标注数据训练得到的槽位抽取子模型C1不会抽取到与a1意图分类无关的槽位信息，相比于现有技术中训练数据不区分意图分类、对同一个槽位抽取模型进行训练而得到的槽位抽取模型，可以提高槽位抽取结果的准确性。
在一种可选实施例中，S203中对联合学习模型进行训练之前，还包括：
对所述训练数据进行分词处理，得到所述训练数据对应的各个词向量，并获取所述词向量对应的上下文信息。
在本实施例中，需要对训练数据进行预处理，也即可通过将任一训练数据输入word2vec、glove等词向量模型，从而获取训练数据对应的各个词向量。由于词向量之间是孤立的，不同的训练数据可能具有相同的词向量，但所表达的意图并不相同，因此在本实施例中还需要分析各词向量的语义和其上下文内容，也即需要获取词向量对应的上下文信息，具体可通过将各词向量输入底层模型中以获取各词向量对应的上下文语义向量作为所述词向量对应的上下文信息，本实施例中底层模型可采用LSTM、Bi-LSTM或RNN，具体处理过程可采用现有的方法，此处不再赘述。
相应的，S203中，对联合学习模型进行训练，包括：
根据所述训练数据对应的各个词向量以及所述词向量对应的上下文信息，以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练。
在另一种可选实施例中，S203中对联合学习模型进行训练之前，还包括：
通过预先训练的字向量模型，对所述训练数据进行分字处理，得到所述训练数据对应的各个字向量以及所述字向量对应的上下文信息；
相应的，S203中，对联合学习模型进行训练，包括：
根据所述训练数据对应的各个字向量以及所述字向量对应的上下文信息，以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练。
本实施例提供的模型训练方法，通过获取多个训练数据和训练数据对应的标注数据，标注数据包括意图分类标注数据和槽位抽取标注数据；将训练数据按照意图分类标注数据划分为多个训练数据组；针对每一个训练数据组，利用训练数据组包含的训练数据、以及训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，联合学习模型中不同意图分类对应不同的槽位抽取子模型。本实施例通过不同意图分类对应的训练数据组分别训练槽位抽取子模型，得到不同意图分类对应的不同的槽位抽取子模型，可避免各槽位抽取子模型抽取到与意图分类无关的槽位信息，提高槽位抽取结果的准确性。
在上述任意实施例的基础上，S203所述针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，还包括：
针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的意图分类标注数据，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练。
在一种可选实施例中，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练之前，还包括：
对所述训练数据进行分词处理，得到所述训练数据对应的各个词向量，并获取所述词向量对应的上下文信息。
相应的，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练，包括：
根据所述训练数据对应的各个词向量以及所述词向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
在另一种可选实施例中，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练之前，还包括：
通过预先训练的字向量模型，对所述训练数据进行分字处理，得到所述训练数据对应的各个字向量以及所述字向量对应的上下文信息；
相应的，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练，包括：
根据所述训练数据对应的各个字向量以及所述字向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
在本实施例中，对意图识别子模型与槽位抽取子模型进行联合学习训练，可避免在先进行意图识别、再进行槽位抽取任务时意图识别的误差传递到槽位抽取任务中，可以提高意图识别和槽位抽取的准确度。
具体的，如图3所示，所述对联合学习模型中的意图识别子模型进行与所述槽位抽取子模型的联合学习训练，包括：
S301、针对每一个训练数据组，将所述训练数据组包含的训练数据分别输入至所述意图识别子模型和与所述意图分类标注数据对应的槽位抽取子模型中，得到意图识别的预测结果以及槽位抽取的预测结果；
S302、根据所述训练数据的意图分类标注数据和意图识别的预测结果获取意图识别损失，根据所述槽位抽取标注数据和槽位抽取的预测结果获取槽位抽取损失；
S303、整合所述意图识别损失和所述槽位抽取损失得到联合学习模型的总损失，根据所述联合学习模型的总损失分别对所述意图识别子模型和所述槽位抽取子模型进行参数优化。
本实施例中，针对每一个训练数据组，通过分别获取意图识别子模型的意图识别损失、以及槽位抽取子模型的槽位抽取损失，并整合意图识别损失和槽位抽取损失为一个损失值，也即联合学习模型的总损失，根据联合学习模型的总损失进行反向传播，经过反复迭代，从而实现对意图识别子模型和槽位抽取子模型的参数优化，得到最终的意图识别子模型和与意图分类对应的槽位抽取子模型。其中，可通过对意图识别损失和槽位抽取损失求和、或加权求和等方式，得到所述联合学习模型的总损失。本发明实施例中不对具体实现方式进行限定。
图4为本发明实施例提供的信息处理装置的结构图。本实施例提供的信息处理装置可以执行信息处理方法实施例提供的处理流程，如图3所示，所述信息处理装置40包括获取模块41和处理模块42。
其中，获取模块41，用于获取待处理的交互信息；
处理模块42，用于确定所述交互信息对应的意图识别结果；通过预先训练的联合学习模型，根据所述意图识别结果对应的槽位抽取子模型，确定所述交互信息对应的槽位抽取结果。
可选的，所述处理模块42用于，通过所述联合学习模型中的意图识别子模型，获取所述交互信息对应的意图识别结果。
可选的，所述处理模块42用于，将所述交互信息与预设文法集合进行匹配；若能够从所述预设文法集合获取匹配的文法，则根据所述匹配的文法确定所述交互信息对应的意图识别结果。
本发明实施例提供的信息处理装置可以具体用于执行上述图1所提供的方法实施例，具体功能此处不再赘述。
本发明实施例提供的信息处理装置，通过获取待处理的交互信息，然后确定交互信息对应的意图识别结果，再通过预先训练的联合学习模型，根据意图识别结果对应的槽位抽取子模型，确定交互信息对应的槽位抽取结果。本实施例通过先获取意图识别结果、再采用意图识别结果对应的槽位抽取子模型抽取槽位信息，不会对意图识别结果对应的意图中不需要的其他无关槽位信息进行抽取，从而可以提高槽位抽取的准确性。
图5为本发明实施例提供的模型训练装置的结构图。本实施例提供的模型训练装置可以执行模型训练方法实施例提供的处理流程，如图5所示，所述模型训练装置50包括数据获取模块51、数据分组模块52和训练模块53。
其中，数据获取模块51，用于获取多个训练数据和所述训练数据对应的标注数据，所述标注数据包括意图分类标注数据和槽位抽取标注数据；
数据分组模块52，用于将所述训练数据按照意图分类标注数据划分为多个训练数据组；
训练模块53，用于针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，所述联合学习模型中不同意图分类对应不同的槽位抽取子模型。
进一步的，所述训练模块53还用于：
针对每一个训练数据组，利用所述训练数据组包含的训练数据、以及所述训练数据的意图分类标注数据，对联合学习模型中的意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述数据获取模块51还用于，对所述训练数据进行分词处理，得到所述训练数据对应的各个词向量，并获取所述词向量对应的上下文信息；
所述训练模块53用于，根据所述训练数据对应的各个词向量以及所述词向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述数据获取模块51还用于，通过预先训练的字向量模型，对所述训练数据进行分字处理，得到所述训练数据对应的各个字向量以及所述字向量对应的上下文信息；
所述训练模块53用于，根据所述训练数据对应的各个字向量以及所述字向量对应的上下文信息，以及所述训练数据的意图分类标注数据和槽位抽取标注数据，对联合学习模型中的所述意图识别子模型与所述槽位抽取子模型进行联合学习训练。
进一步的，所述训练模块53用于：
针对每一个训练数据组，将所述训练数据组包含的训练数据分别输入至所述意图识别子模型和与所述意图分类标注数据对应的槽位抽取子模型中，得到意图识别的预测结果以及槽位抽取的预测结果；
根据所述训练数据的意图分类标注数据和意图识别的预测结果获取意图识别损失，根据所述槽位抽取标注数据和槽位抽取的预测结果获取槽位抽取损失；
整合所述意图识别损失和所述槽位抽取损失得到联合学习模型的总损失，根据所述联合学习模型的总损失分别对所述意图识别子模型和所述槽位抽取子模型进行参数优化。
本发明实施例提供的模型训练装置可以具体用于执行上述图2和图3所提供的方法实施例，具体功能此处不再赘述。
本发明实施例提供的模型训练装置，通过获取多个训练数据和训练数据对应的标注数据，标注数据包括意图分类标注数据和槽位抽取标注数据；将训练数据按照意图分类标注数据划分为多个训练数据组；针对每一个训练数据组，利用训练数据组包含的训练数据、以及训练数据的槽位抽取标注数据，对联合学习模型进行训练，其中，联合学习模型中不同意图分类对应不同的槽位抽取子模型。本实施例通过不同意图分类对应的训练数据组分别训练槽位抽取子模型，得到不同意图分类对应的不同的槽位抽取子模型，可避免各槽位抽取子模型抽取到与意图分类无关的槽位信息，提高槽位抽取结果的准确性。。
图6为本发明实施例提供的电子设备的结构示意图。本发明实施例提供的电子设备可以执行信息处理方法实施例提供的处理流程，如图6所示，电子设备60包括存储器61、处理器62、计算机程序和通讯接口63；其中，计算机程序存储在存储器61中，并被配置为由处理器62执行以上实施例所述的信息处理方法。
图6所示实施例的电子设备可用于执行上述信息处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的电子设备的结构示意图。本发明实施例提供的电子设备可以执行模型训练方法实施例提供的处理流程，如图7所示，电子设备70包括存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行以上实施例所述的模型训练方法。
图7所示实施例的电子设备可用于执行上述模型训练方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的信息处理方法。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的模型训练方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。