阅读说明：本技术 多通道协同的心理生理主动感知方法及服务机器人 (Multi-channel cooperative psychophysiological active sensing method and service robot ) 是由 李莹辉 丁帅 杨成佳 李霄剑 曲丽娜 杨善林 张园园 严钰 于 2019-09-02 设计创作，主要内容包括：本申请提供一种多通道协同的心理生理主动感知方法及服务机器人,此机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频,通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频,通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重,用于确定监测目标个体的心理生理特征值。此机器人具有红外智能捕获对象功能、远程服务功能,可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作,采用人机交互的方式提高了心理状态监测效率,自动化、智能化程度大大提高。(The application provides a multi-channel collaborative psycho-physiological active perception method and a service robot, the robot acquires a visible light video of a monitored target individual through a right-eye visible light camera acquisition component, shoots an infrared chart video of the monitored target individual through a left-eye infrared instrument acquisition component, and acquires physiological data of the monitored target individual, such as skin electricity, pulse, blood oxygen and the like through a left-side contact type finger clamp instrument; and the pocket analysis operation console of the robot is used for analyzing and mining deep characteristic information and related weight corresponding to the multi-channel data and determining the psychophysiological characteristic value of the monitoring target individual. The robot has the functions of infrared intelligent object capturing and remote service, and can analyze and obtain psychophysical characteristic values of monitoring target individuals according to user requirements. The multi-channel collaborative psychophysiological active perception service robot is convenient to operate in real time, the psychological state monitoring efficiency is improved in a man-machine interaction mode, and the automation and intelligent degrees are greatly improved.)

多通道协同的心理生理主动感知方法及服务机器人

技术领域

本申请涉及信息和数据处理领域，具体涉及一种多通道协同的心理生理主动感知方法及服务机器人。

背景技术

心理状态是心理活动的基本形式之一，指心理活动在一定时间内的完整特征，如注意、疲劳、紧张、轻松、忧伤、喜悦等。它兼有心理过程和个性心理特征的特点，既有暂时性，又具有稳定性。是心理过程和个性心理特征联结的中介环节，构成一切心理活动展开的背景。生理特征，例如皮电、血氧等能够在一定程度上感应个体的心理状态特征。个体的心理生理状态特征能够反应个体当前的状态，能够帮助判断个体是否会做出危害自己或威胁他人安全的行为，因此监测个体的心理生理状态特征非常必要。

现有技术中，对个体心理生理状态的分析方案中，采集的数据类型单一，不能充分获取用于分析个体进行心理生理状态分析的情绪信息，导致分析的结果准确度低。并且在对获取的数据进行处理的过程中，步骤繁琐，计算量大，效率差。同时，在对个体心理生理状态的分析方案中自动化程度不高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种多通道协同的心理生理主动感知方法及服务机器人，解决了现有技术中获取的进行心理生理状态分析的情绪信息类型单一、不够充分、不能实时分析的问题，进行心理生理状态分析过程中的步骤繁琐，计算量大，效率差、自动化程度低、分析的结果准确度低的缺陷。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

第一方面，本申请提供了一种多通道协同的心理生理主动感知方法，包括：

获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；

提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；

对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；

提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；

提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；

基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

在一种可能的实施方式中，还包括：

感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。

在一种可能的实施方式中，还包括：

通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

在一种可能的实施方式中，上述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还包括如下步骤：

对所述可见光图像进行点运算处理、滤波处理、全局优化处理

利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理；

对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。

在一种可能的实施方式中，所述提取所述可见光图像中的第一图像特征，包括：

对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。

在一种可能的实施方式中，所述对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：

基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。

在一种可能的实施方式中，所述提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：

提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。

在一种可能的实施方式中，所述提取所述生理信息中的时频特征，包括：

基于傅里叶变换和深度LSTM对生理信息进行时频分析处理，得到所述视频特征。

在一种可能的实施方式中，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：

利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

在一种可能的实施方式中，所述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征；

所述第二图像特征包括目标个体的面部温度特征、呼吸频率特征、心跳频率特征；

所述音频特征包括目标个体的音波频率特征、声音强度特征；

所述时频特征包括目标个体的皮电特征、目标个体的脉搏特征、目标个体的血氧特征。

在一种可能的实施方式中，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：

确定多个预设周期中的每个预设周期对应的可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量；

基于可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重、每个预设周期对应的可见光图像特征向量、每个预设周期对应的红外热图特征向量、每个预设周期对应的情绪波动特征向量和每个预设周期对应的生理时序特征向量，确定目标个体的心理生理特征值。

第二方面，本申请实施例提供了一种多通道协同的心理生理主动感知服务机器人，包括：

第一眼部采集部件、第二眼部采集部件、嘴部采集部件、口袋分析操作台、生理信息采集部件、显示屏、电源部件、存储部件、分析处理部件、人机交互部件、远程服务部件；

所述第一眼部采集部件用于获取目标个体的可见光图像；

所述第二眼部采集部件用于获取目标个体的红外热图；

所述嘴部采集部件用于获取目标个体的音频信息；

所述生理信息采集部件用于获取目标个体的生理信息；

所述分析处理部件用于提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；

所述显示屏用于显示目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；

所述存储部件用于存储目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；

所述电源部件用于为第一眼部采集部件、第二眼部采集部件、嘴部采集部件、生理信息采集部件、显示屏、存储部件供电；

所述人机交互部件，用于感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，红外智捕获对象，控制第一眼部采集部件获取目标个体的可见光图像、所述第二眼部采集部件用于获取目标个体的红外热图、所述嘴部采集部件用于获取目标个体的音频信息、所述生理信息采集部件用于获取目标个体的生理信息、所述分析处理部件对采集的上述信息进行处理，确定目标个体的心理生理特征值；

所述远程服务部件，用于通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；

所述口袋分析操作台用于控制所述显示屏显示的内容，控制所述服务机器人的工作状态，以及设置可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重所。

(三)有益效果

本申请提供了一种多通道协同的心理生理主动感知方法及服务机器人。具备以下有益效果：

本申请首先提取目标个体的可见光图像中的第一图像特征，基于提取得到图像特征生成可见光图像特征向量；提取红外热图中的第二图像特征，基于提取得到的第二图像特征，确定红外热图特征向量；提取音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取生理信息中的时频特征，基于提取得到的时频特征生成生理时序特征向量；之后，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。上述技术方案能够提取并融合可见光图像、红外热图、音频信息、生理信息的四种类型的数据分析目标个体的心理生理特征信息，克服了现有技术中获取的进行心理生理状态分析的情绪信息类型单一、不够充分的缺陷，提高了分析得到的心理生理特征信息的准确度，并且在对上述四种类型的数据进行处理的时候，利用了神经网络等，能够有效减少计算步骤，降低计算量，提高计算效率差，提高自动化程度；

另外，上述服务机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频，通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频，通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；服务机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重，用于确定监测目标个体的心理生理特征值。此服务机器人具有红外智能捕获对象功能、远程服务功能，可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作，采用人机交互的方式提高了心理状态监测效率，自动化、智能化程度大大提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了本申请一实施例的多通道协同的心理生理主动感知方法的流程图；

图2示意性的示出了本申请一实施例的多通道协同的心理生理主动感知服务机器人的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有技术中，分析个体的心理生理特征的技术方案中存在的数据类型单一、不够充分，进行心理生理状态分析过程中的步骤繁琐，计算量大，效率差、自动化程度低、分析的结果准确度低的缺陷，本申请提供了一种多通道协同的心理生理主动感知方法，该方法能够利用神经网络模型对获取的可见光图像、红外热图、音频信息和生理信息，四种类型的数据进行处理的，能够克服现有技术中用于计算心理生理状态的数据类型单一的缺陷，有效提高了计算准确度、减少了计算步骤，降低了计算量，提高了计算效率差，提高了自动化程度。

下面对本申请的多通道协同的心理生理主动感知方法进行详细说明。该方法由能够执行程序的服务器执行。

如图1所示，本申请的多通道协同的心理生理主动感知方法，包括如下步骤：

S110、获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息。

这里的目标个体是待分析心理生理状态特征值的个体。这里可以利用可见光摄像头获取目标个体的可见光图像，可以利用红外摄像头获取目标个体的红外热图，可以利用麦克风获取目标个体的音频信息。上述可见光图像可以用于确定目标个体的头部姿势等信息，上述红外热图可以用于确定目标个体的面部温度等信息，上述音频信息可以用于确定目标个体的声音强度等信息。

这里可以利用指夹式仪器监测目标个体的生理信息；这里的生理信息包括目标个体的皮电信号、血氧信号、脉搏信号等。

S120、提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量。

可见光图像能够反应目标个体的心理生理特征，例如，可见光图像中包括五官扭曲，那么此时目标个体可能出现痛苦这样的心理生理特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的可见光图像，并基于可见光图像，确定第一图像特征。

这里，提取所述可见光图像中的第一图像特征，可以包括：

对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。

上述多个面部特征点可以是预先设定的人脸的68个特征点。上述面部运动区域可以是分割的人脸的特定区域，例如，额头区域，面颊区域等。

S130、对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量。

红外热图能够反应目标个体的心理生理特征，例如，红外热图中目标个体的面部温度过高，那么此时目标个体可能出现激动这样的心理生理特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的红外热图，并基于红外热图，确定第二图像特征。

这里，对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：

基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。

S140、提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量。

音频信息中的音频特征与目标个体的心理生理特征具有对应关系，例如，音频信息中包括声音强度大的音频特征，那么心理生理特征中就会包括心率加快、愤怒的特征。因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的音频信息，并基于音频信息，确定情绪波动特征。

这里，提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：

提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述语音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。

上述语音语调库是预先设置的，其中包括语音特征，以及与每种语音特征对应的情绪波动特征，基于步骤140中提取的语音特征，可以查找到匹配的情绪波动特征。

S150、提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量。

生理信息能够直接体现目标个体的生理变化，目标个体的生理变化与目标个体的心理状态相关联，互相影响，因此，在评估目标个体的心理生理特征时，为了提高评估的准确度，需要获取目标个体的生理信息。

这里，提取所述生理信息中的时频特征，包括：

基于傅里叶变换和深度LSTM对生理信息进行时频分析处理，得到所述视频特征。

S160、基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

这里，具体可以利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

上述卷积神经网络是预先训练得到的，在使用时能够自动、准确、快速的确定目标个体的心理生理特征值，步骤简单、快捷。

上述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征；所述第二图像特征包括目标个体的面部温度特征、呼吸频率特征、心跳频率特征；所述音频特征包括目标个体的音波频率特征、声音强度特征；所述时频特征包括目标个体的皮电特征、目标个体的脉搏特征、目标个体的血氧特征。

在一些实施例中，上述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，还可以利用如下步骤实现：

确定多个预设周期中的每个预设周期对应的可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量；

基于可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重、每个预设周期对应的可见光图像特征向量、每个预设周期对应的红外热图特征向量、每个预设周期对应的情绪波动特征向量和每个预设周期对应的生理时序特征向量，确定目标个体的心理生理特征值。

上述实施例，预先设置了一定时间长度的周期，在每个周期中均获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息，并基于获取的数据确定可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量，之后，基于确定的向量确定目标个体的心理生理特征值。具体地，可以首先基于每个周期对应的各个向量确定每个周期对应的心理生理特征值，再基于每个周期对应的心理生理特征值，确定目标个体最终的心理生理特征值；也可以直接根据所有周期对应的各个向量，确定目标个体最终的心理生理特征值。

上述实施例通过周期的设置能够增加确定的心理生理特征值的准确度。

在一些实施例中，上述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还可以包括如下步骤：

步骤一、对所述可见光图像进行点运算处理、滤波处理、全局优化处理。

步骤二、利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理。

步骤三、对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。

该步骤使得音频信息更加清晰，方便后期数据分析。

通过对数据的预处理，能够剔除错误数据，提高确定的心理生理特征值的准确度。

上述方法整合分析采集到的用户非接触式及接触式数据，并运用深度学习等人工智能方法监测心理生理特征，最终基于长周期心理生理特征得到目标个体的精确分析结果。

另外，上述方法还包括：感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。

另外，上述方法还包括：

通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

对应于上述实施例中的方法，本申请还公开了一种服务机器人，该服务机器人能够与使用者交流，采集可见光图像、红外热图、音频信息、生理信息，并对获取的信息采取实时分析操作，确定目标个体的心理生理特征值，该服务机器人以多通道智能协同的方式监测心理生理状态，智能便捷。

具体的，如图2所述，上述服务服务机器人包括：第一眼部采集部件210、第二眼部采集部件220、嘴部采集部件230、生理信息采集部件240、显示屏250、电源部件260、口袋分析操作台280、存储部件(未示出)。

所述第一眼部采集210部件用于获取目标个体的可见光图像；

所述第二眼部采集220部件用于获取目标个体的红外热图；

所述嘴部采集部件230用于获取目标个体的音频信息；

所述生理信息采集部件240用于获取目标个体的生理信息；

所述分析处理部件用于提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值；

所述显示屏250用于显示目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；

所述存储部件用于存储目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息、目标个体的心理生理特征值；

所述电源部件260用于为第一眼部采集部件、第二眼部采集部件、嘴部采集部件、生理信息采集部件、显示屏、存储部件供电。

上述服务机器人还包括收纳设备充电线盒270，用于收纳充电线等。上述服务机器人还包括口袋分析操作台280，用于控制所述显示屏显示的内容，控制所述服务机器人的工作状态，以及设置可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重、生理时序特征向量的权重；口袋分析操作台280还用于人机交互，例如人工调整服务机器人的处理周期等。

另外，上述服务机器人还包括人机交互部件，用于感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，控制第一眼部采集部件获取目标个体的可见光图像、所述第二眼部采集部件用于获取目标个体的红外热图、所述嘴部采集部件用于获取目标个体的音频信息、所述生理信息采集部件用于获取目标个体的生理信息、所述分析处理部件对采集的上述信息进行处理，确定目标个体的心理生理特征值。

另外，上述服务机器人还所述远程服务部件，用于通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

远程服务部件利用远程终端的摄像头、麦克风等获取上述各用于分析的信息，并在获取信息后进行处理，确定目标个体的心理生理特征值。

上述服务机器人执行的步骤与上述方法相同，这里不再进行赘述。

上述服务机器人，集成了接触式信息采集部件和非接触式信息采集部件，能够同时监测目标个体的生理变化(皮电脉搏血氧等)及心理变化，操作方便，效率高。上述服务机器人各部分连接成整体并实现可移动、可拓展功能。能够实现跨媒体信息融合功能，并且实现与目标个体智能化人机交互功能，方便满足目标个体及使用者的需求。

上述实施例以接触式信息采集部件通过指夹式皮电脉搏血氧仪采集目标个体的生理信号，与通过非接触式信息采集部件监测目标个体的心率、呼吸频率等数据校准，使得分析结果更为精确。本申请的数据采集简便易行，设备操作简单、使用方便。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。