具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本申请实施例进行详细解释说明之前，先对本发明实施例的应用场景进行简单介绍。为了能够实时获取婴儿的状态，常通过终端设备对婴儿进行实时的监控。通过终端设备的摄像头采集婴儿的影像信息，并通过终端设备的麦克风采集婴儿的音频信息，并将婴儿的影像信息和音频信息实时发送至监护人终端，使监护人通过监护人终端能够随时了解婴儿的状态。然而，往往在婴儿哭闹时，仅仅向监护人终端发送婴儿的影像信息和音频信息，或者简单的告知监护人婴儿状态异常，不能帮助监护人解读婴儿的需求，也不能缓解婴儿的异常状态。基于上述场景，本申请实施例需要对婴儿的状态进行分析以得到异常状态的产生原因，例如婴儿饿了、困了或者尿湿了，并针对不同的异常状态，一方面可以向监护人发送报警信息，准确告知监护人婴儿的状态和需求，使监护人能够根据报警信息所提示的内容对婴儿的异常状态进行对应的处理，例如报警信息提示婴儿因尿湿哭闹，则监护人接收报警信息后可以快速准备尿不湿前往婴儿处为婴儿解除哭闹状态，另一方面在监护人前往婴儿处对婴儿进行安抚之前，代替监护人对婴儿进行安抚，达到尽快缓解婴儿异常状态的目的，例如分析得到婴儿的因困倦哭闹，则播放催眠曲帮助婴儿入睡。

图1为本申请实施例提供的一种应用场景示意图。如图1-(a)所示，该智能音箱100包括：信息采集装置101、信息分析装置102、输出装置103和通信装置104。该智能音箱100具体可以是一种具有显示器的智能音箱，或者可以是手机、监视器、电脑、平板电脑等终端设备。

智能音箱100放置于对婴儿的可视范围内，智能音箱100与监护人终端200通过无线或有线方式连接以进行通信，监护人终端200可以是手机、电脑、平板电脑、智能可穿戴等任意终端设备。当监护人远离了婴儿，使婴儿离开监护人视线之后，监护人需要借助于智能音箱100对婴儿进行实时监控。监护人可通过监护人终端200接收智能音箱100发送的婴儿影像和声音，以及接收智能音箱100发送的用于提示婴儿状态异常的报警信息。

婴儿监控设备100通过信息采集装置101对婴儿的状态信息进行采集。示例性的，信息采集装置101中部署有麦克风和/或摄像头，分别对婴儿的音频信息和图像信息进行采集。信息采集装置101将婴儿的状态信息发送至信息分析装置102，信息分析装置102根据状态信息识别婴儿的异常类型，并根据异常类型确定对应的报警信息和安抚模式，将报警信息通过通信装置104发送至监护人终端200，根据确定的安抚模式通过输出装置103播放视频数据，以实现在监护人到达前对婴儿进行及时的安抚。

其中，输出装置103中部署有显示器和扬声器，用于播放视频画面和音频数据，以对婴儿进行安抚。

作为一种示例，结合图1-(b)所示，信息采集装置101还用于检测监护人是否到达婴儿附近。当监护人进入预设区域后，信息采集装置101采集到监护人进入预设区域的图像，将该图像发送给信息分析装置102，经过信息分析装置102确定监护人已经到达婴儿附近，则结束安抚模式，输出装置103停止播放视频数据。

可选的，当监护人在安抚婴儿时，常会遇到需要解决的育婴问题，信息采集装置101采集监护人输入的咨询语音，通过信息分析装置102中对咨询语音进行识别和匹配，得到对应的答案，该答案可以是文本数据也可以是视频数据，将该答案通过输出装置103进行视频播放或者音频播放。

接下来对本申请实施例提供的婴儿监护方法进行解释说明。

图2为本申请实施例提供的一种婴儿监护方法的流程示意图。为了能够对哭闹状态的婴儿进行及时有效的安抚，本申请实施例根据实时采集婴儿的状态信息，识别得到婴儿状态的异常类型，再根据不同的异常类型向监护人终端发送报警信息，使监护人能够根据婴儿具体的异常类型采取对应的解决方案，进而使婴儿的异常状态能够快速得到缓解。而在监护人未能到达婴儿身旁对婴儿进行安抚时，本申请实施例根据婴儿的异常类型，启动对应的安抚模式，以针对不同的异常类型对婴儿进行安抚。

首先通过智能音箱对婴儿的状态信息进行及时的采集，示例性的，将婴儿所处的区域作为目标区域，对目标区域进行信息采集，以获取婴儿的状态信息。可选的，该状态信息包括音频信息和图像信息中的一种或其组合。

进一步地，为了能够准确获知婴儿的哭闹原因，以便于针对性的解决婴儿的异常状态，在本实施例中，对采集到的状态信息进行识别，以获取婴儿的异常类型，具体可以是基于神经网络对状态信息进行识别，得到异常类型。示例性的，将采集的状态信息输入基于神经网络训练得到的识别模型，由识别模型输出婴儿的异常类型。该异常类型可以包括饥饿型、困倦型、尿湿型、疼痛型、孤单型等等。

可选的，该神经网络可以是卷积神经网络CNN。

图3至图5为本申请实施例提供的一种婴儿监护方法的流程示意图。对于如何根据状态信息识别得到婴儿状态的异常类型，本申请实施例提供如下三种方案：

方案一：结合图3所示，状态信息为音频信息时，将音频信息输入预训练的音频识别模型，得到异常类型。啼哭作为婴儿的“语言”，能够表达出婴儿的多种情绪以及需求，在婴儿表达不同需求时，哭声所具有的音频特征并不相同，因此将采集的音频信息输入预训练的音频识别模型，即得到婴儿状态的异常类型。具体可以是对音频信息进行特征提取，再将得到的音频特征输入音频识别模型，得到异常类型。可选的，采用梅尔频率倒谱系数(MelFrequency Cepstrum Coefficient，MFCC)算法对音频信息进行特征提取。

其中，音频识别模型是基于神经网络训练得到的，将多个婴儿的哭声信号作为样本输入音频初始模型，且为每个哭声样本标注对应的异常类型，根据损失函数对音频初始模型进行迭代训练，直至损失函数小于预设值，得到音频识别模型。

示例性的，在将音频信息输入音频识别模型前需要对音频信息进行预处理，例如回声消除、波束形成、后置滤波等，剔除周围环境噪声，保留婴儿哭声。

方案二：结合图4所示，状态信息为图像信息时，将图像信息输入预训练的图像识别模型，得到异常类型。与音频信息类似，婴儿的肢体动作以及面部表情能够体现出婴儿不同的需求，那么将带有婴儿肢体动作和面部表情的图像信息输入预训练的图像识别模型，能够得到异常类型。具体可以是对图像信息进行特征提取，将提取得到的图像特征输入图像识别模型，得到异常类型。

其中，图像识别模型是基于神经网络训练得到的，将多个带有婴儿肢体动作和面部表情的图像作为样本，每个样本中标注了不同的异常类型，将样本输入图像初始模型，根据损失函数对音频初始模型进行迭代训练，直至损失函数小于预设值，得到该图像识别模型。

方案三：结合图5所示，通常情况下，智能音箱对音频信息和图像信息均是实时采集的，那么状态信息即包括音频信息和又包括图像信息时，将音频信息输入预训练的音频识别模型，得到音频异常类型，并将图像信息输入预训练的图像识别模型，得到图像异常类型。

本实施例中，为了提高异常类型的识别准确性，将结合音频异常类型和图像异常类型，确定婴儿状态的异常类型。示例性的，在音频异常类型和图像异常类型相同时，则直接得到婴儿状态的异常类型，即婴儿状态的异常类型和音频异常类型，或者说和图像异常类型相同；在音频异常类型和图像异常类型不同时，则将音频异常类型和图像异常类型合并后得到婴儿状态的异常类型，即婴儿状态类型中既包括音频异常类型也包括图像异常类型；或者在音频异常类型和图像异常类型不同时，可以按照预设的选择策略，将音频异常类型或图像异常类型确定为婴儿状态的异常类型，即预先确定好在音频异常类型和图像异常类型不同时选择哪个作为最终的异常类型；另一种方案中，可以不考虑音频异常类型和图像异常类型是否相同，以最先获取到的异常类型作为最终的异常类型，例如某些场景下，通过哭声更容易识别出异常类型，那么音频异常类型能够更快速的得到，即将音频异常类型作为婴儿状态的异常类型。

针对婴儿不同的异常类型，本申请实施例为了尽快缓解婴儿的异常状态，一方面，根据异常类型生成对应的报警信息，将该报警信息发送至监护人终端，使监护人能够根据婴儿的具体状态，快速找到方法解决婴儿的异常状态；另一方面，在监护人前往婴儿处对婴儿进行安抚之前，智能音箱启动对应的安抚模式，代替监护人对婴儿进行安抚。

其中，智能音箱根据婴儿的异常类型启动对应的安抚模式，该安抚模式可以是获取与异常类型对应的安抚数据，并播放安抚数据，该安抚数据可以是图像数据、音频数据或者视频数据；或者，启动的安抚模式可以是与监护人终端建立视频连接，通过智能音箱实时播放监护人终端发送的视频数据。

本申请实施例通过根据婴儿的状态信息对婴儿状态进行分类，即得到婴儿状态的异常类型，在监护人到达之前，根据异常类型启动对应的安抚模式，对婴儿的异常状态进行及时有效的缓解。

图6为本申请实施例提供的一种婴儿监护方法的流程示意图。基于上述实施例的内容，由于监护人赶到婴儿处对婴儿进行安抚需要一定的时间，而在这段时间内，智能音箱将启动对应于婴儿异常类型的安抚模式对婴儿进行及时的安抚，以缓解婴儿情绪。示例性的，首先根据异常类型确定安抚模式，例如是播放已保存的安抚数据，还是与监护人终端建立视频连接。本实施例为用户提供一种个性化的设置，可以根据监护人的需求对于哪些异常类型需要建立视频连接，哪些异常类型需要播放安抚数据进行设置。可以设置对应于部分异常类型或者全部异常类型播放安抚数据，相应的，也可以设置对应于部分异常类型或者全部异常类型建立视频连接，本方案对此不做要求。

可选的，安抚数据包括至少一个预先设置的音频文件或者视频文件，本方案预先针对不同的异常类型设置了一至多个音频文件或者视频文件。

例如监护人设置在异常类型为疼痛型、孤单型时，智能音箱向监护人终端发送视频请求，监护人终端接收监护人输入的接受视频邀请指令，向智能音箱发送视频应答，智能音箱响应于监护人终端的视频应答，与监护人终端建立视频连接，实时播放监护人终端发送的视频数据，使监护人与婴儿进行视频互动。

若根据异常类型确定安抚模式为播放安抚数据，则获取预先存储的与该异常类型对应的安抚数据。安抚数据为视频数据时，通过智能音箱的扬声器和显示器播放视频文件，或者安抚数据为音频数据时，通过智能音箱的扬声器播放音频数据，显示器不显示或者显示器显示预设的播放画面，例如播放进度信息、音频数据来源、音频数据介绍等。

图7为本申请实施例提供的一种婴儿监护方法的流程示意图。如图7所示，在智能音箱启动对应于异常类型的安抚模式之前，或者同步于启动安抚模式，本申请实施例根据识别得到的异常类型确定报警信息，并向监护人终端发送报警信息。

示例性的，根据识别得到的异常类型，在预设的多个提示信息中匹配得到对应的提示信息，该提示信息能够提示监护人如何处理以解决婴儿的异常状态，并根据异常类型和提示信息生成报警信息。

如图7所示，监护人终端在接收到报警信息之前可以是正在播放采集到的婴儿的状态信息，或者可以是显示其他页面，或者可以是显示待机画面，本方案对此不做要求。接收到智能音箱发送的报警信息后将报警信息显示于监护人终端的页面中，例如以浮窗的形式显示于当前页面上方。示例性的，所显示的报警信息内容为“异常类型：尿湿型”“提示信息：请为宝宝更换纸尿裤”。监护人通过监护人终端查看到该报警信息后，能够准确了解婴儿的异常状态，提前准备好需要更换的尿不湿，及时为婴儿更换尿不湿以解决婴儿的异常状态。

图8为本申请实施例提供的一种婴儿监护方法的流程示意图。为了能够在婴儿得到监护人的安抚之后自动结束安抚模式，提高智能音箱的便利性，本申请实施例提供如图7所示的具体过程。

智能音箱对监护人是否进入预设区域进行判断，在监护人进入预设区域后结束安抚模式。该预设区域为以婴儿为中心的一片预设大小的区域，当监护人进入该区域后，表明监护人已经靠近了婴儿，能够对婴儿进行安抚了，则智能音箱自动结束安抚模式。相应的，若未检测到监护人进入预设区域，则继续安抚模式。

本实施例中，智能音箱确定监护人是否进入预设区域至少包括以下两种方式：

方式一：根据监护人终端的位置信息，确定监护人是否进入预设区域。示例性的，智能音箱接收监护人终端发送的位置信息，根据该位置信息确定监护人终端是否进入了预设区域，进而确定监护人是否进入了预设区域。该位置信息为监护人终端设备通过定位模块进行定位得到的，例如全球定位系统(Global Positioning System，GPS)信息。

方式二：根据采集到的图像信息，确定监护人是否进入预设区域。示例性的，智能音箱对婴儿以及婴儿周围的环境进行实时的监控，基于图像采集装置，例如摄像头，所采集的多帧图像中，由预设区域中未出现监护人的图像帧到监护人出现于预设区域的图像帧，分析得到监护人进入了预设区域。

图9为本申请实施例提供的一种婴儿监护方法的流程示意图。在上述实施例的基础上，本申请实施例在监护人对解决婴儿异常状态存在疑问需要帮助时，或者存在任意有待解答的育儿问题时，可通过唤醒词对智能音箱的育婴知识咨询模式进行唤醒，智能音箱接收监护人输入的咨询语音，并对咨询语音进行识别，得到咨询文本，将咨询文本在育婴知识数据库中进行匹配，得到与咨询文本匹配度最高的答案，并将答案进行语音播放。

示例性的，将咨询文本在育婴知识数据库中进行匹配，得到与咨询文本匹配度最高的答案，包括：对咨询文本进行分词处理，得到分词数据；采用词频-逆文本频率指数(Term Frequency-Inverse Document Frequency，TF-IDF)算法，将分词数据在育婴知识数据库中进行匹配，按照匹配度由高到低的顺序，得到前K个答案；将K个答案和咨询文本输入相似度打分模型，得到K个相似度打分；将得分最高的答案作为与咨询文本匹配度最高的答案。

其中，相似度打分模型的算法流程为：将咨询文本和答案分别按字根据词典编码，通过填充补零的方式将咨询文本和答案分别扩充成150维向量，将问题向量和K个答案的向量分别配对输入长短期记忆网络(Long Short-Term Memory，LSTM)神经网络进行提取特征，输出的隐藏向量输入注意力机制(attention)神经网络，再经过softmax层输出每个问题答案对的匹配度得分。

图10为本申请实施例提供的一种婴儿监护装置的结构示意图，如图10所示，该婴儿监护装置10包括：

采集模块11，用于实时采集婴儿的状态信息；

识别模块12，用于识别所述状态信息，得到婴儿状态的异常类型；

处理模块13，用于根据所述异常类型，启动对应的安抚模式。

本申请实施例提供的一种婴儿监护装置10，包括采集模块11、识别模块12和处理模块13，通过根据婴儿的状态信息对婴儿状态进行分类，即得到婴儿状态的异常类型，在监护人到达之前，根据异常类型启动对应的安抚模式，对婴儿的异常状态进行及时有效的缓解。

在一种可能的设计中，识别模块12具体用于基于神经网络，对所述状态信息进行识别，得到所述异常类型。

在一种可能的设计中，识别模块12具体用于将所述音频信息输入预训练的音频识别模型，得到所述异常类型；

或者，

将所述图像信息输入预训练的图像识别模型，得到所述异常类型。

在一种可能的设计中，识别模块12具体用于：

将所述音频信息输入预训练的音频识别模型，得到音频异常类型；

将所述图像信息输入预训练的图像识别模型，得到图像异常类型；

根据所述音频异常类型和所述图像异常类型，确定所述婴儿状态的异常类型。

在一种可能的设计中，识别模块12具体用于：

若所述音频异常类型和所述图像异常类型相同，则直接得到所述婴儿状态的异常类型；

若所述音频异常类型和所述图像异常类型不同，则将所述音频异常类型和所述图像异常类型合并后得到所述婴儿状态的异常类型；或者若所述音频异常类型和所述图像异常类型不同，则按照预设的选择策略，将所述音频异常类型或所述图像异常类型确定为所述婴儿状态的异常类型。

在一种可能的设计中，异常类型至少包括：饥饿型、困倦型、尿湿型、疼痛型、孤单型。

在一种可能的设计中，处理模块13具体用于根据所述异常类型，获取对应的安抚数据；所述安抚数据包括至少一个预先设置的音频文件或者视频文件；

播放所述安抚数据中的音频文件或者视频文件。

在一种可能的设计中，处理模块13具体用于：

向监护人终端发送视频请求；

响应于所述监护人终端的视频应答，实时播放所述监护人终端发送的视频数据。

在一种可能的设计中，处理模块13还用于：

根据所述异常类型，生成对应的报警信息；

向所述监护人终端发送所述报警信息。

在一种可能的设计中，处理模块13具体用于：

根据所述异常类型匹配对应的提示信息，所述提示信息用于提示监护人处理异常状态的方法；

根据所述异常类型和所述提示信息，生成报警信息

在一种可能的设计中，处理模块13还用于：

根据所述监护人终端的位置信息，确定监护人是否进入预设区域；或者，根据采集到的图像信息，确定监护人是否进入预设区域；

若是，则结束所述安抚模式。

在一种可能的设计中，处理模块13还用于：

接收所述监护人输入的咨询语音；

对所述咨询语音进行识别，得到咨询文本；

将所述咨询文本在育婴知识数据库中进行匹配，得到与所述咨询文本匹配度最高的答案；

将所述答案进行语音播放。

在一种可能的设计中，处理模块13具体用于：

对所述咨询文本进行分词处理，得到分词数据；

采用IF-IDF算法，将所述分词数据在育婴知识数据库中进行匹配，按照匹配度由高到低的顺序，得到前K个答案，K为正整数；

将所述K个答案和所述咨询文本输入相似度打分模型，得到K个相似度打分；

将得分最高的答案作为与所述咨询文本匹配度最高的答案。

上述实施例提供的婴儿监护装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例还提供一种智能音箱，参见图11，本申请实施例仅以图11为例进行说明，并不表示本申请仅限于此。

图11为本申请实施例提供的终端设备的结构框图。通常，智能音箱500包括有：处理器505和存储器506；可选的，还包括外围设备接口507。处理器505、存储器506和外围设备接口507之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口507相连。具体地，外围设备包括：显示器501、麦克风502、摄像头503、扬声器504中的至少一种。

麦克风502用于采集婴儿的音频信息；

摄像头503用于采集婴儿的图像信息；

显示器501用于显示安抚数据的视频画面；

处理器505可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器505可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器505也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器505可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器505还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器506可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器506还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器506中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器505所执行以实现本申请中方法实施例提供的应用于智能音箱的婴儿监护方法。

本领域技术人员可以理解，图11中示出的结构并不构成对智能音箱500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得终端能够执行上述实施例提供的婴儿监护方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的婴儿监护方法。

本申请实施例还提供一种计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述婴儿监护方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。