阅读说明：本技术 一种基于智能机器人的交互方法及装置 (interaction method and device based on intelligent robot ) 是由 刘源 于 2019-08-21 设计创作，主要内容包括：本发明涉及人计算机技术领域,一种基于智能机器人的交互方法,所述方法包含步骤：实时采集交互数据,所述交互数据包含人物数据和场景数据；对所述人物数据和所述场景数据进行识别,得到识别标签集；基于所述识别标签集,与知识图谱进行匹配计算,得到所述识别标签集对应的场景关系,并进一步基于所述知识图谱推导获得所述场景关系对应的概念现象；基于所述概念现象确定交互输出内容；根据所述交互输出内容获取对应的计算机交互指令,并执行。可实现智能机器人的自动场景判断及反馈,降低人力投入。此外本发明还提供了一种智能机器人装置、及计算机可读存储介质。(the invention relates to the technical field of human computers, in particular to an interaction method based on an intelligent robot, which comprises the following steps: acquiring interactive data in real time, wherein the interactive data comprises character data and scene data; identifying the character data and the scene data to obtain an identification tag set; based on the identification tag set, performing matching calculation with a knowledge graph to obtain a scene relation corresponding to the identification tag set, and further deducing and obtaining a concept phenomenon corresponding to the scene relation based on the knowledge graph; determining interactive output content based on the conceptual phenomena; and acquiring a corresponding computer interaction instruction according to the interaction output content, and executing. The automatic scene judgment and feedback of the intelligent robot can be realized, and the human input is reduced. In addition, the invention also provides an intelligent robot device and a computer readable storage medium.)

一种基于智能机器人的交互方法及装置

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种基于智能机器人的交互方法、智能机器人装置和计算机可读存储介质。

背景技术

随着计算机技术的飞速发展，智能机器人已被广泛的应用到各种行业中，尤其是人际交互领域。

目前市面上的大部分机器人的交互形式为语音交互，主要以指令性质的预设问答对 (question/answerpairing)加上一些PDA的娱乐交互功能(视频播放、视频游戏等)来实现对输入信息的交互输出。

这样的机器人，每一个基于产品定位的场景都需要耗费大量的专家、程序员来编写预设的交互内容，但是这种写死的固定交互内容较为呆板、可拓展性也很差，类比于其他产业(如电脑手机)来说是很不科学、用户使用体验很不好的设计。

发明内容

针对上述问题，本发明的实施例提供了一种基于智能机器人的交互方法，所述方法包含步骤：实时采集交互数据，所述交互数据包含人物数据和场景数据；对所述人物数据和所述场景数据进行识别，得到识别标签集；基于所述识别标签集，与知识图谱进行匹配计算，得到所述识别标签集对应的场景关系，并进一步基于所述知识图谱推导获得所述场景关系对应的概念现象；基于所述概念现象确定交互输出内容；根据所述交互输出内容获取对应的计算机交互指令，并执行。

本发明所提供的基于智能机器人的交互方法通过对交互场景中的数据进行实时采集，并识别，得到多维度的识别标签集，并进一步通过识别标签集与知识图谱进行匹配计算，从而确定出识别标签集所映射的场景关系，不仅可实现场景关系的自动识别，而且识别结果更为准确；进一步的，在确定出识别标签集对应的场景关系后，需更进一步的推导得到场景关系中隐含的概念现象，从而提供更准确的交互输出内容，使得智能机器人可自动根据场景来判断人物心理需求，从而提供能合理、智能的服务，并减少人工介入，降低人力成本。

同时，本发明还提供一种智能机器人装置，所述装置包含数据采集模块、交互输出模块，以及分别与所述数据采集模块和所述交互输出模块通信连接的数据处理模块，其中，所述数据采集模块用于实时采集交互数据，并将所述交互数据发送至所述数据处理模块；所述数据处理模块接收所述交互数据，并对所述交互数据进行识别，得到识别标签集；基于所述识别标签集，与知识图谱进行匹配计算，得到所述识别标签集对应的场景关系，并进一步基于所述知识图谱推导获得所述场景关系对应的概念现象，确定交互输出内容，并将所述交互输出内容发送至所述交互输出模块；所述交互输出模块基于所述交互输出内容获取对应的计算机交互指令，并执行。

以及，一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于智能机器人的交互方法。

在一实施中，所述交互数据包含通过音视频采集设备、GPS获取的多模态数据。

在一实施中，所述对所述人物数据和场景数据进行识别，得到识别标签集，具体包含：根据人脸识别以及声纹识别确定人物身份标签；根据计算机视觉以及第一深度学习模型、语义识别模型输出人物情绪标签；根据计算机视觉以及第二深度学习模型输出人物动作标签；根据语音识别导出文本形式的人物对话内容，并基于所述人物对话内容进行人物意图识别，得到意图标签；根据计算机视觉以及第三深度学习模型输出物体标签；根据计算机视觉以及第四深度学习模型输出事件标签；基于所述机器人自带系统时间确定事件发生的时间；根据 GPS定位以及地图信息推测事件发生的地点场景；并同时确定各所述识别标签的置信度。

在一实施中，所述基于所述识别标签集，与知识图谱进行匹配计算，得到所述识别标签集对应的场景关系，具体包括：

分别计算各所述识别标签在知识图谱中的权重；

基于所述权重及所述置信度，计算所述识别标签集与知识图谱中场景关系的匹配度；

基于所述匹配度，确定所述识别标签集对应的场景关系。

在一实施中，所述分别计算各所述识别标签在知识图谱中的权重方法具体包括：

基于下列数学式得到各所述识别标签在知识图谱中的权重：

其中，wij表示i识别标签在j场景关系中的权重；tfij表示在j场景关系中i识别标签的出现次数；dfi表示包含i识别标签的场景关系数量；N表示场景关系的总数。

在一实施中，所述基于所述权重及所述置信度，计算所述识别标签集与知识图谱中场景关系的匹配度的方法具体包括：

基于下列数学式得到所述识别标签集与知识图谱中场景关系的匹配度：

其中，Ps表示所述识别标签在场景关系s中的匹配度；n表示场景关系s中标签槽位的总数量；Xn表示知识图谱中的标签n在所述识别标签集中对应的置信度。

在一实施中，在确定出所述识别标签集对应的所述场景关系后，更包含步骤：基于所述识别标签集确定出所述场景关系中的空缺标签槽位，并基于所述识别标签集补充所述空缺标签槽位。

在一实施中，在确定出所述识别标签集对应的所述场景关系后，更包含步骤：基于所述识别标签集及其在知识图谱中的映射关系，构建人物模型，并以图数据库的方式进行存储。

附图说明

一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1绘示本发明第一实施例所提供的基于智能机器人的交互方法流程图；

图2绘示本发明第一实施例中知识图谱片段结构示意图；

图3绘示本发明第二实施例所提供智能机器人装置结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

在本发明的第一实施例中，提出了一种基于智能机器人的交互方法，可基于深度学习算法和知识图谱技术深度融合的技术架构，实现智能机器人的智能推理大脑，不需要投入大量的专家和程序员人力预设每一个场景交互内容，可直接基于知识图谱技术能够让机器人具备更多的场景智能交互内容，让服务机器人具备专业知识以及专业交互内容。

具体请参照图1，图1绘示本发明第一实施例所提供的基于智能机器人的交互方法流程图。如图1所示，所述方法具体包含步骤：

步骤101，实时采集交互数据。

在本实施例中，可通过音视频采集设备、GPS实时获取交互场景的多模态数据，收集到的数据具体可包含：图像、语音、音频、视频、地理位置、系统时间等发生在交互场景中的交互数据。该些交互数据主要可分为人物数据和场景数据。其中具体的数据采集设备本发明的实施例中并不作特别限制。

步骤102，对所述交互数据进行识别，得到识别标签。

为了能从采集到的交互数据中获取更精确信息，可先对交互数据进行分类，交互数据可分为人物数据和场景数据。对交互数据进行识别，实则是对人物数据和场景数据进行识别。

具体而言，在一个具体的交互场景中，人物数据可包含身份信息、情绪、动作、意图等信息，智能机器人可分别对该些信息进行识别并得到相应的标签。具体可包含：

(1)根据人脸识别以及声纹识别确定人物身份标签；

(2)根据计算机视觉以及第一深度学习模型、语义识别模型输出人物情绪标签；

(3)根据计算机视觉以及第二深度学习模型输出人物动作标签；

(4)根据语音识别导出文本形式的人物对话内容，并基于所述人物对话内容进行人物意图识别，得到意图标签。

如此一来，可基于人物数据，得到对应的人物识别标签。

同样的，还可对场景数据进行识别，得到相应的标签，具体包含：

(1)根据计算机视觉以及第三深度学习模型输出物体标签，所谓物体是指在交互场景中出现的实物，例如，足球、汽车、乐器等，可用于辅助确认交互场景，以提升识别的准确性。

(2)根据计算机视觉以及第四深度学习模型输出事件标签，其中事件是指对交互场景中发生的事情的描述，例如过马路、等车、捡东西、拖行李等，同样可用于辅助确认交互场景。

(3)基于所述机器人自带系统时间确定事件发生的时间。

(4)根据GPS定位以及地图信息推测事件发生的地点场景。

上述基于深度学习模型进行的标签识别，同样可基于卷积神经网络(CNN)算法来实现，并且，在输出对应的识别标签的同时，可会同时输出各标签的置信度，请参照表1的示意说明：

标签识别	识别标签1(置信度)	识别标签2(置信度)	识别标签3(置信度)	…
					情绪标签	哭泣(44％)	愤怒(23％)	高兴(2％)
动作标签	推拉(74％)	摇晃(15％)	跑步(4％)
					意图标签	要回家(59％)	找妈妈(28％)	要吃饭(5％)

表1

各识别标签对应的置信度，可用于后续的匹配计算，值得注意的是，用于匹配计算的数据可包含各识别标签的所有识别结果，也可以初步筛选出置信度较高的识别结果用于后续的计算，以减少计算量。

步骤103，基于所述识别标签集，与知识图谱进行匹配计算，得到所述识别标签集对应的场景关系。

具体而言，知识图谱中包含多个场景关系，每个场景关系包含对应的标签槽位，例如：

知识图谱中场景关系中带有不同的标签

场景1：S2(D)，S3(G)，S4(I)

场景2:S1(B)，S3(F)，S5(K)

标签槽位(Sn)中的内容可与识别出的标签对应，如都是对应人物情绪标签，其中初始的知识图谱的场景定义，为了提高兼容应用性，一般不会填满所有的槽位(Sn)，所以一些的槽位内容是空的。

知识图谱的匹配计算可包含两个过程，首先，分别计算各所述识别标签在知识图谱中的权重，然后，基于所述权重及所述置信度，计算所述识别标签集与知识图谱中场景关系的匹配度，并基于所述匹配度，确定所述识别标签集对应的场景关系。

可以理解的是，由于无法保证所有识别输出的识别标签的表述与知识图谱实体的表述一致，故在匹配计算之前需经过共指消解来提升匹配的准确度。

下将分别针对上述两个过程进行详细：

首先，分别计算各识别标签在知识图谱中的权重方法具体包括：

基于下列数学式得到各所述识别标签在知识图谱中的权重：

其中，w_ij表示i识别标签在j场景关系中的权重；tf_ij表示在j场景关系中i识别标签的出现次数；df_i表示包含i识别标签的场景关系数量；N表示场景关系的总数。

可以看出，本实施例中，通过各识别标签在知识图谱里的词频率(TermFrequency)对其进行权重赋值(Wn)。如知识图谱输出标签槽位为空，则权重为0。

词频率是一种统计方法，用以评估一词(标签)对于一个文件集(知识图谱)或一个语料库的其中其中一份文件(场景)的重要程度。识别标签的重要性随着它在场景中的出现次数正比增加，但同时随着它在整个知识图谱中的出现频率成反比下降。也就是说，当该识别标签有在知识图谱中出现时，则具备权重值，且出现的次数越高，权重可能越大，但同时需结合它在整个知识图谱中出现的频率来设定，换言之，在整个知识图谱中出现的频率越高，表示通过它来唯一确定场景关系的可能性就越小。本实施例通过词频率来量化衡量一个标签在一个场景中的重要程度，所获得的结果更合理。

然后，可基于下列数学式得到所述识别标签集与知识图谱中场景关系的匹配度：

其中，P_s表示所述识别标签在场景关系s中的匹配度；n表示场景关系s中标签槽位的总数量；X_n表示知识图谱中的标签n在所述识别标签集中对应的置信度。

通过上述方法，可计算得到识别标签集与知识图谱中各场景关系的匹配程度。

一般而言，至少需要场景关系中的2个标签包含在识别标签集中，则会进行交互，若少于2个标签则无法匹配场景关系，不输出任何交互。

在获得与各场景关系的匹配度后，可选取匹配度最高的一个场景关系，确定为识别标签集对应的场景关系。

值得注意的是，为了保证匹配结果的准确性，可通过设定一阈值来防止误匹配。

具体而言，在获得各场景关系的匹配度之后，先确定出匹配度大于预设阈值的场景关系，并从中选择匹配度最高的场景关系，确定为识别标签集对应的场景关系，若所有的匹配度均小于预设阈值，则可确定无匹配结果，及知识图谱中没有与标签集对应的场景关系，在这种情况下，可选择默认交互输出内容为当前交互输出内容，其中，默认交互输出内容可预先设定并存储在本地。

步骤104，基于所述知识图谱推导获得所述场景关系对应的概念现象。

步骤105，基于所述概念现象确定交互输出内容。

本实施例中的知识图谱可包含通用知识图谱和专业知识图谱，其中专业知识图谱可基于智能机器人的应用场景来确定。在本实施例中，可以利用知识图谱的先验知识和推理功能进行知识推理，以确定场景关系对应的概念现象。如图2所示，图2绘示本发明第一实施例中知识图谱片段结构示意图。识别标签集与知识图谱实体标签匹配得到确认的场景关系【入园哭泣】之后，就可以利用知识图谱的先验知识和推理功能进行知识推理，从场景关系推理得到背后的概念现象【分离焦虑】，并进一步通过知识图谱上的预设知识内容输出应对的交互输出内容【玩游戏】。

步骤106，根据所述交互输出内容获取对应的计算机交互指令，并执行。

在确定了交互输出内容之后，可根据交互输出内容，查询得到预设的计算机交互指令，并执行，以实现交互的输出。例如，当交互输出内容为【玩游戏】时，可调用系统预设的互动游戏程序，并运行，来实现交互输出。

由此可见，上述方法通过对交互场景中的数据进行实时采集，并识别，得到多维度的识别标签集，并进一步通过识别标签集与知识图谱进行匹配计算，从而确定出识别标签集所映射的场景关系，不仅可实现场景关系的自动识别，而且识别结果更为准确；进一步的，在确定出识别标签集对应的场景关系后，需更进一步的推导得到场景关系中隐含的概念现象，从而提供更准确的交互输出内容，使得智能机器人可自动根据场景来判断人物心理需求，从而提供能合理、智能的服务。

在一实施中，在通过上述步骤103确认出识别标签集对应的场景关系后，可基于所述识别标签集确定出所述场景关系中的空缺标签槽位，并基于所述识别标签集补充所述空缺标签槽位。使得在机器人交互的过程中通过匹配场景关系不断完善知识图谱内容，通过成功匹配对知识图谱中的空缺槽位添加内容，以不断完善知识图谱中的信息，提升匹配的准确性。

更进一步的，可在智能机器人输出交互之后，机器人感知器反馈的其他标签匹配作为结果校验，并对知识图谱进行补充，作为完整流程匹配(如分离焦虑原情绪标签是悲伤，输出交互之后感知的情绪标签是高兴)。

同时，可基于所述识别标签集及其在知识图谱中的映射关系，构建人物模型，并以图数据库的方式进行存储。如某一人物储存内容：

以成功识别场景关系为生成事件，记录时间、地点、动作标签、情绪标签、意图标签、场景标签、事件(知识图谱实体)。

所述人物模型记录可用于：以教育服务机器人为终端的认知领域人工智能物联网的构建，以教育服务机器人为终端收集单位人物触发调用了专业知识的具体数据记录。可以作为：学者、研究者的一手研究资料，且通过机器人终端进行收集可以减少大量人力以及规范数据标准性。可利用人工智能物联网(包括智能终端)进行较多价值较大的课题研究如儿童行为观察分析，并为机器人开发设计者的产品内容优化提供数据基础。

基于同样的发明构思，本发明的实施例还提供一种客服辅助设备，具体可参照图3，图3 绘示本发明第二实施例所提供智能机器人装置结构示意图。

如图3所示，智能机器人装置300包含接收数据采集模块301、交互输出模块303，以及分别与所述数据采集模块301和所述交互输出模块303通信连接的数据处理模块302，

其中，所述数据采集模块301用于实时采集交互数据，并将所述交互数据发送至所述数据处理模块302；

所述数据处理模块302接收所述交互数据，并对所述交互数据进行识别，得到识别标签集；基于所述识别标签集，与知识图谱进行匹配计算，得到所述识别标签集对应的场景关系，并进一步基于所述知识图谱推导获得所述场景关系对应的概念现象，确定交互输出内容，并将所述交互输出内容发送至所述交互输出模块303。其中，数据处理模块302对交互数据的识别、及匹配计算的方法可具体参见图1实施例中的说明，不再赘述。

所述交互输出模块303基于所述交互输出内容获取对应的计算机交互指令，并执行。

需要说明的是：上述实施例提供的智能机器人装置可基于计算机程序实现，以上述各功能模块的划分仅为举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

本实施例所提供的智能机器人装置具备初级基础的认知思考能力，能够基于多模态交互数据+知识图谱推断主动对场景进行反应，而不是指令性地输入输出，此外还能够模块化设计人机交互内容，减少大量设计工作。

本发明再一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时，实现上述基于智能机器人的交互方法实施例。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。