阅读说明：本技术 一种儿童教育机器人及其学习资料推送方法 (Children education robot and learning material pushing method thereof ) 是由 葛明 于 2020-03-04 设计创作，主要内容包括：本申请涉及一种儿童教育机器人及其学习资料推送方法,其中,该学习资料推送方法包括：通过一个或多个摄像头采集图像；通过一个或多个麦克风采集声音；对声音进行语音识别；根据图像识别儿童的行为；根据图像识别儿童的情绪；根据图像和声音识别儿童所处的情景；以及基于识别出的语音、行为、情绪和情景向儿童推送学习资料。本申请实现了基于行为、情绪和所处的情景来推送学习资料,使得学习资料的推送更具有针对性。(The application relates to a children education robot and a learning material pushing method thereof, wherein the learning material pushing method comprises the following steps: acquiring images through one or more cameras; collecting sound by one or more microphones; performing voice recognition on the sound; identifying the behavior of the child according to the image; recognizing the emotion of the child according to the image; identifying the scene of the child according to the image and the sound; and pushing learning materials to the child based on the recognized voice, behavior, emotion and situation. The method and the device realize pushing of the learning materials based on behaviors, emotions and scenes, so that the pushing of the learning materials is more targeted.)

一种儿童教育机器人及其学习资料推送方法

技术领域

本申请涉及儿童教育机器人领域，尤其涉及一种儿童教育机器人及其学习资料推送方法。

背景技术

相关技术中，一些儿童教育机器人基于触摸屏的点击交互来根据儿童的操作向二通提供学习资料；另一些儿童教育机器人基于语音识别技术来向儿童提供学习资料。

然而，相关技术中的儿童教育机器人一部分是儿童主动获取学习资料，造成儿童选择困难。另一些交互方式较为单一，难以实现主动且具有针对性的学习资料推送。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种儿童教育机器人及其学习资料推送方法。

第一方面，本申请提供了一种用于儿童教育机器人的学习资料推送方法，包括：通过一个或多个摄像头采集图像；通过一个或多个麦克风采集声音；对声音进行语音识别；根据图像识别儿童的行为；根据图像识别儿童的情绪；根据图像和声音识别儿童所处的情景；以及基于识别出的语音、行为、情绪和情景向儿童推送学习资料。

在某些实施例中，基于识别出的语音、行为、情绪和情景向儿童推送学习资料，包括：根据语音、行为、情绪和情景与学习资料的关联关系，在第一学习资料数据库中检索与识别出的语音、行为、情绪和情景对应的学习资料。

在某些实施例中，基于识别出的语音、行为、情绪和情景向儿童推送学习资料，包括：向服务器发送识别出的语音、行为、情绪和情景；接收服务器根据语音、行为、情绪和情景与学习资料的关联关系，在第二学习资料数据库中检索到的与识别出的语音、行为、情绪和情景对应的学习资料。

在某些实施例中，根据图像和声音识别儿童所处的情景包括：根据图像进行物品识别；根据声音进行语音和语义识别；根据物品识别的结果和语义识别的结果，确定儿童所处的情景。

第二方面，本申请提供了一种用于儿童教育机器人的学习资料推送方法，包括：获取儿童的语音、行为、情绪和情景；根据语音、行为、情绪和情景与学习资料的关联关系，在学习资料数据库中检索与获取的语音、行为、情绪和情景对应的学习资料；向儿童教育机器人推送检索出的学习资料。

在某些实施例中，获取儿童的语音、行为、情绪和情景包括：获取儿童教育机器人的一个或多个摄像头采集的图像；获取儿童教育机器人的一个或多个麦克风采集的声音；对声音进行语音识别；根据图像识别儿童的行为；根据图像识别儿童的情绪；根据图像和声音识别儿童所处的情景。

第三方面，本申请提供了一种儿童教育机器人，该儿童教育机器人包括：一个或多个麦克风；一个或多个摄像头；存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现如下步骤：通过一个或多个摄像头采集图像；通过一个或多个麦克风声音；对声音进行语音识别；根据图像识别儿童的行为；根据图像识别儿童的情绪；根据图像和声音识别儿童所处的情景；以及基于识别出的语音、行为、情绪和情景向儿童推送学习资料。

在某些实施例中，基于识别出的语音、行为、情绪和情景向儿童推送学习资料，包括：根据语音、行为、情绪和情景与学习资料的关联关系，在第一学习资料数据库中检索与识别出的语音、行为、情绪和情景对应的学习资料。

在某些实施例中，基于识别出的语音、行为、情绪和情景向儿童推送学习资料，包括：向服务器发送识别出的语音、行为、情绪和情景；接收服务器根据语音、行为、情绪和情景与学习资料的关联关系，在第二学习资料数据库中检索到的与识别出的语音、行为、情绪和情景对应的学习资料。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有用于儿童教育机器人的学习资料推送程序，用于儿童教育机器人的学习资料推送程序被处理器执行时实现上述任意用于儿童教育机器人的学习资料推送方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的儿童教育机器人及其学习资料推送方法，实现了基于行为、情绪和所处的情景来推送学习资料，使得学习资料的推送更具有针对性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的儿童教育机器人一种实施方式的硬件结构示意图；

图2为本申请实施例提供的儿童教育机器人系统一种实施方式的硬件结构示意图；

图3为本申请实施例提供的儿童教育机器人系统另一种实施方式的硬件结构示意图；

图4为本申请实施例提供的学习资料推送方法一种实施方式的流程图；

图5为本申请实施例提供的学习资料推送方法另一种实施方式的流程图；以及

图6为本申请实施例提供的学习资料推送方法又一种实施方式的流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参阅图1所示，本发明实施例中提供的儿童教育机器人100包括：一个或多个摄像头10，用于采集图像；一个或多个麦克风20，用于采集声音；语音识别单元30，与一个或多个麦克风20电连接，用于进行语音识别；行为识别单元40，与一个多个摄像头10电连接，用于根据图像识别儿童的行为；情绪识别单元50，与一个多个摄像头10电连接，用于根据图像识别儿童的情绪；情景识别单元60，与一个多个摄像头10电连接，用于根据图像和声音识别儿童所处的情景；以及学习资料推送单元70，与行为识别单元40、情绪识别单元50和情景识别单元60耦合，用于响应于语音识别单元30、行为识别单元40、情绪识别单元50和情景识别单元60的识别结果向儿童推送学习资料。

在某些实施例中，请参阅图1所示，该儿童教育机器人100，还包括：数据库单元80，用于存储学习资料，其中学习资料可包括可视部分和音频部分。学习资料推送单元70，包括：检索单元73，用于响应于行为识别单元40、情绪识别单元50和情景识别单元60的识别结果在数据库单元80中检索相应的学习资料。

在某些实施例中，数据库单元80，用于存储行为识别单元40、情绪识别单元50和情景识别单元60的识别结果与学习资料的对应关系；检索单元73，用于根据对应关系检索与行为识别单元40、情绪识别单元50和情景识别单元60的识别结果相应的学习资料。

在某些实施例中，请参阅图1所示，该儿童教育机器人还包括：显示器91，用于显示学习资料的可视部分；和/或音频输出单元92，用于播放学习资料的音频部分。

在某些实施例中，一个或多个麦克风20为麦克风阵列。语音识别单元30，可包括声源定位单元、语音增强单元等，在此不一一赘述。一个或多个摄像头10包括深度摄像头，以采集三维图像。

请参阅图2所示，儿童教育机器人100与服务器200通信。学习资料推送单元70，包括：发送单元71，用于向服务器200发送语音识别单元30、行为识别单元40、情绪识别单元50和情景识别单元60的识别结果；以及接收单元72，用于接收服务器200发送的学习资料。

请参阅图2所示，服务器200包括：数据库单元201，用于存储学习资料；检索单元202，用于响应于行为识别单元40、情绪识别单元50和情景识别单元60的识别结果在数据库单元201中检索相应的学习资料；以及推送单元203，用于发送检索到的学习资料。数据库单元201，用于存储语音识别单元30、行为识别单元40、情绪识别单元50和情景识别单元60的识别结果与学习资料的对应关系。

请参阅图1和图2所示，在某些实施例中，学习资料推送单元70首先通过检索单元73在数据库单元80中检索学习资料，如果未检索到，学习资料推送单元70通过发送单元71向服务器200发送语音识别单元30、行为识别单元40、情绪识别单元50和情景识别单元60的识别结果，服务器200的检索单元202，响应于语音识别单元30、行为识别单元40、情绪识别单元50和情景识别单元60的识别结果在数据库单元201中检索相应的学习资料。

在某些实施例中，情景识别单元60，根据图像进行物品识别；根据声音进行语音和语义识别；根据物品识别的结果和语义识别的结果，确定儿童所处的情景。

在本申请实施例中，儿童教育机器人100与服务器200通过无线通信模块进行通信，无线通信模块包括但不限于Wi-Fi模块、移动通信模块(例如，4G、LTE等)。

在本申请实施例中，行为识别单元40、情绪识别单元50和情景识别单元60可为集成的电路系统。行为识别单元40、情绪识别单元50和情景识别单元60也可为相互独立的电路系统。该电路系统可包括处理器和存储器。

请参阅图3所示，服务器200包括：语音识别单元203，与，用于对一个或多个麦克风20采集的语音进行语音识别；行为识别单元204，用于根据一个多个摄像头10采集的图像识别儿童的行为；情绪识别单元205，用于根据一个多个摄像头10采集的图像识别儿童的情绪；情景识别单元60，用于根据一个或多个麦克风20采集的声音和一个多个摄像头10采集的图像识别儿童所处的情景。数据库单元201，用于存储学习资料；检索单元202，用于响应于语音识别单元203、行为识别单元204、情绪识别单元205和情景识别单元206的识别结果在数据库单元201中检索相应的学习资料；以及推送单元203，用于发送检索到的学习资料。

下面结合图1至图3，对本申请实施例的学习资料推送方法进行描述。

请结合图1，该学习资料推送方法，参考图4所示，包括步骤S402至步骤S414。

步骤S402，通过一个或多个摄像头采集图像。本申请实施例中，采集的图像包括一帧图像或者连续多帧图像。

步骤S404，通过一个或多个麦克风采集声音。

步骤S406，对声音进行语音识别。

步骤S408，根据图像识别儿童的行为。

步骤S410，根据图像识别儿童的情绪。

步骤S412，根据图像和声音识别儿童所处的情景。

步骤S414，根据语音、行为、情绪和情景与学习资料的关联关系，在学习资料数据库中检索与识别出的语音、行为、情绪和情景对应的学习资料。

请结合图2，该学习资料推送方法，参考图5所示，包括步骤S502至步骤S516。

步骤S502，通过一个或多个摄像头采集图像。本申请实施例中，采集的图像包括一帧图像或者连续多帧图像。

步骤S504，通过一个或多个麦克风采集声音。

步骤S506，对声音进行语音识别。

步骤S508，根据图像识别儿童的行为。

步骤S510，根据图像识别儿童的情绪。

步骤S512，根据图像和声音识别儿童所处的情景。

步骤S514，向服务器发送识别出的语音、行为、情绪和情景。

步骤S516，接收服务器根据语音、行为、情绪和情景与学习资料的关联关系，在学习资料数据库中检索到的与识别出的语音、行为、情绪和情景对应的学习资料。

请结合图3，该学习资料推送方法，参考图6所示，包括步骤S602至步骤S616。

步骤S602，获取儿童教育机器人的一个或多个摄像头采集的图像。本申请实施例中，采集的图像包括一帧图像或者连续多帧图像。

步骤S604，获取儿童教育机器人的一个或多个麦克风采集的声音。

步骤S606，对声音进行语音识别。

步骤S608，根据图像识别儿童的行为。

步骤S610，根据图像识别儿童的情绪。

步骤S612，根据图像和声音识别儿童所处的情景。

步骤S614，根据语音、行为、情绪和情景与学习资料的关联关系，在学习资料数据库中检索与获取的语音、行为、情绪和情景对应的学习资料。

步骤S616，向儿童教育机器人推送检索出的学习资料。

在某些实施例中，步骤S412、S512及S612中，根据图像和声音识别儿童所处的情景包括：根据图像进行物品识别；根据声音进行语音和语义识别；根据物品识别的结果和语义识别的结果，确定儿童所处的情景。

下面对行为识别、情绪识别和情景识别方法进行说明。

行为识别

针对行为识别，在本申请实施例中作为示例性说明，采用加权字典向量描述方法和动作图识别模型，首先将彩色视频中的局部兴趣点特侦和全局形状描述有机结合，形成加权字典向量的描述方法。然后利用三维运动捕捉数据，提取其中的关键姿势，构建运动能量曲线，生成基本运动单元及构建本质图。通过本质图投影及节点近邻规则建立动作图识别模型。采用Bayes训练动作图模型，通过计算目标视频与动作图的匹配度，实现多视角的视频动作识别。

行为识别可采用如中国专利CN101622652B、CN102682041B、CN101719216B以及CN104217214B等记载的行为识别技术，但不限于此。

情绪感知

针对情绪感知，在本申请实施例中作为示例性说明，主要通过对儿童脸部表情进行识别。首先对预处理后的人脸图像提取Gabor特征，建立训练样本Gabor特征的超完备字典，通过稀疏表述模型优化人脸表情图像的特征向量，最后利用支持向量机进行分类。

情绪识别可采用中国专利CN105894039A以及CN106203344A等记载的情绪识别技术，但不限于此。

情景识别

透过视觉特征的采样定位，视觉词汇表的构建，语义检测与标注转化为分类并基于高维检索树的物品识别，对儿童处身的情景做出识别。在基于特征袋模型中，利用高维检索树在检索高维特征时的优势，能缩短特征匹配的时间，通过利用归一化后的兴趣点位置来构建树，降低了特征的维度，提高了检索速度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。