阅读说明：本技术 一种面向可穿戴传感器的人类活动识别方法 (Human activity recognition method facing wearable sensor ) 是由 马春梅 孙华志 姜丽芬 梁研 宿通通 于 2019-09-19 设计创作，主要内容包括：本发明公开了一种面向可穿戴传感器的人类活动识别方法,首先,将感知的时序异构数据形成指纹矩阵并将按滑动窗口的大小进行切分后的数据作为模型输入,然后通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据,获得源数据的粗粒度特征,之后以注意力机制层对先前的粗粒度特征进行重要度计算,以便获得能够反映活动特性的细粒度特征,最后用分类的逻辑回归处理细粒度特征,获得当前数据的多个标签的概率分布,从而最终判定活动类型。本发明提高了可穿戴传感器对用户活动的认知能力,可以对用户活动进行精确的识别,提高人机交互能力。(The invention discloses a human activity recognition method facing a wearable sensor, which comprises the steps of firstly, forming a fingerprint matrix by perceived time sequence heterogeneous data, taking data after segmentation according to the size of a sliding window as model input, then processing the input data through a bidirectional LSTM layer formed by forward long-short term memory and backward long-short term memory to obtain coarse granularity characteristics of source data, then performing importance calculation on the previous coarse granularity characteristics by an attention mechanism layer to obtain fine granularity characteristics capable of reflecting activity characteristics, and finally processing the fine granularity characteristics by classified logistic regression to obtain probability distribution of a plurality of labels of the current data so as to finally judge the activity type. The invention improves the cognitive ability of the wearable sensor to the user activity, can accurately identify the user activity and improves the man-machine interaction ability.)

一种面向可穿戴传感器的人类活动识别方法

技术领域

本发明涉及智能感知、移动计算及模式识别领域，特别涉及一种面向可穿戴传感器的人类活动识别方法。

背景技术

人类活动识别是指通过各种传感器感知人体行为数据，然后利用计算机自动检测技术、分析和理解人体各类运动和行为的过程，该技术有着广泛的应用场景，例如智能监控、人机交互、机器人等。近年来，随着内置多种传感器的可穿戴设备的普及，基于可穿戴传感器的接触式人类活动识别可以直接与我们的日常生活息息相关，例如医疗健康监测或健身监测等。因此，面向可穿戴传感器的活动识别成为近年来的研究热点。

通常可穿戴传感器是多通道的，所以其感知的数据具有异构、时序的特点，能够体现人的多维度移动特性，因此，面向可穿戴传感器的人类活动识别通常被认为是对异构时序数据的分类问题。针对这一问题，早期一些学者提出基于数据融合的识别方法，即通过分析多通道感知数据的物理特性，然后通过加权平均等方法将多源数据进行融合从而得到一个综合特征，例如，通过融合三轴加速度信息能够得到一个综合加速度值。最后再通过支持向量机(SVM)、随机森林(RF)、隐马尔科夫模型(HMM)等方法对融合的信息进行分类。然而，这类方法属于人工特征提取法，由于不同的人对于同一活动可能会有很大差异，使得这些手工特征很难在复杂的现实环境中得以应用。此外，该方法既没有反映数据时间连续的特性，也不能提取异构数据间的内部特征。

发明内容

本发明的目的在于克服现有技术的不足，提供一种面向可穿戴传感器的人类活动识别方法。提高了可穿戴传感器对用户活动的认知能力，可作为现实增强的一项辅助技能，提升用户体验感。

本发明是通过以下技术方案实现的：

一种面向可穿戴传感器的人类活动识别方法，该方法包括以下步骤：

(1)将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，对感知的数据标识出活动类别的标签；

(2)通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；

(3)利用Attention机制对粗粒度特征进行重要度计算，获得能够反映活动特性的细粒度特征；

(4)通过分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，概率最大的为当前感知数据的活动类型；

(5)通过步骤(1)带标签的数据集训练步骤(2)-(4)的网络模型，进而得到最终的分层深度学习模型。

进一步的，步骤(1)中的上下文指纹是指通过整合可穿戴传感器感知的人体行为信息使之成为上下文不变特征并且能够用于后续数据处理，所述上下文指纹矩阵F＝(f₁,f₂,…,f_n)用于时序异构数据的表达，其中，f_i＝(Accx_i,Accy_i,Accz_i,Gyrx_i,Gyry_i,Gyrz_i,Magx_i,Magy_i,Magz_i,Com_i…..)^T，f_i中的元素为各类可穿戴传感器数值，i为数据采集点。

进一步的，步骤(1)中，通过滑动窗口切分数据并利用窗口重叠机制增加数据冗余特性，用每个窗口最后数据帧所属的活动类型标注数据；进一步的，滑动窗口大小设置为1500ms最佳。

进一步的，步骤(2)经过双向LSTM模型得到的隐藏状态h＝(h₀,h₁,…,h_t)即为提取的数据粗粒度特征，

其中，

与是分别由前向LSTM和后向LSTM模型提取的关于数据的粗粒度特征。

进一步的，步骤(3)利用Attention机制获取具有活动判别特性的细粒度特征，是指对步骤(2)提取的粗粒度特征，通过Attention机制学习这些特征的权重，从而得到具有特征偏好的细粒度特征，使之能够反映出活动变化时呈现的独有特性。

进一步的，步骤(3)中，首先对于粗粒度特征h经过一个非线性变换获得其隐式表达值u，该过程可以表示为：

u＝tanh(W_u·h+b_u)，

在隐式表达的基础上，通过Attention机制要学习一个归一化的能够体现u中各元素的重要性的权重系数向量α，使粗粒度特征中越能体现活动特性的特征得到的权重越大，从而获得细粒度特征。权重系数α的计算表达式为：

因此，细粒度特征s可以表示为：

进一步的，步骤(4)中，活动类型结果计算为：

y＝softmax(w_ls+b_l)。

进一步的，步骤(5)中，模型训练中，使用交叉熵损失函数进行评价，当训练过程交叉熵损失函数趋于收敛，则获得最优模型。

本发明的优点和有益效果为：

(1)本发明以传感器感知的时间序列异构数据作为原始数据，在对活动特征表达方面，通过分层深度学习模型，更注重区别性更强的细粒度特征提取，此特征能更好地反映活动变化时呈现的独特特征，从而能够提高活动识别的精度。为此，首先构建了上下文指纹矩阵作为模型的输入；其次利用双向LSTM模型提取原始数据的粗粒度特征；再根据Attention机制获得原始数据的细粒度特征表达；最后通过多分类器获得活动识别结果。可以对用户活动进行精确的识别，提高人机交互能力。

(2)提高了可穿戴传感器对用户活动的认知能力，可作为现实增强的一项辅助技能，提升用户体验感。

(3)本发明提供的活动识别方法对现实环境具有较强的鲁棒性，即在复杂环境下，模型也具有较高的识别精度和稳定的识别速度，其具有较强的可移植性。

附图说明

图1是本发明的面向可穿戴传感器的人类活动识别方法的分层深度学习模型结构图；

图2双向LSTM模型结构图；

图3基于滑动窗口重叠机制数据标注示意图；

图4基于OPPORTUNITY数据集分层深度学习模型在不同滑动窗口下活动分类结果示意图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。

实施例一

一种面向可穿戴传感器的人类活动识别方法，该方法通过分层深度学习模型获得感知数据的细粒度特征，并通过端到端的方式实现活动识别，其模型结构如图1所示，分为输入层、粗粒度特征提取层、细粒度特征提取层、活动识别输出层。包括以下步骤：

(1)首先，将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，作为数据输入；

(2)然后，通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；

(3)之后，利用Attention机制对先前的粗粒度特征进行重要度计算，以便获得能够反映活动特性的细粒度特征；

(4)最后，用分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，从而最终判定活动类型。

下面进一步阐述本发明的实施方案。

其中：

步骤(1)，上下文指纹是指通过整合可穿戴传感器感知的人体行为信息使之成为上下文不变特征并且能够用于分层深度学习模型处理。由多通道传感器感知的数据通常是多粒度的，例如，加速度传感器数据反映的是物体的移动速度的变化，而陀螺仪传感器数据反映的是物体运动方向的变化。因此，感知的数据具有异构的特点。此外，感知的数据是时间相关的，且随着时间的变化而变化。所以，感知的数据还具有时间连续的特点。为此，所述上下文指纹矩阵F＝(f₁,f₂,…,f_n)用于异构时序数据的表达，其中，f_i＝(Accx_i,Accy_i,Accz_i,Gyrx_i,Gyry_i,Gyrz_i,Magx_i,Magy_i,Magz_i,Com_i…..)^T，f_i中的元素为各类传感器数值，i为数据采集点。

对感知的活动数据进行类别标注，即对感知的数据标识出活动类别的标签，得到活动类别数据集。由于感知数据是连续的，为了便于我们的分层深度学习模型处理且能够用于网络训练，需要对数据进行切分及标注出活动类别，本发明对数据切分采用滑动窗口重叠机制，即以窗口大小为T对数据进行切分，为了在训练和测试模型时不遗漏数据的关键特征，以当前数据片段与上一个数据片段有50％重叠的条件下滑动窗口。另外，对于每个窗口数据活动类别，以每个窗口内最后一个数据帧所属的活动类别对数据进行标注，数据标注说明示意图如图3所示，其中传感器信道为不同类型的传感器。因此，此时感知的数据可以表示为：{F_k，y ^(k)}，k＝1，2，3...N，其中F_k为第k个窗口数据的指纹矩阵，其维度为m×T，m为传感器通道数，y^(k)为该窗口数据的活动类别。为了确定窗口T的大小，我们使用了OPPORTUNITY数据集测试了模型在不同窗口大小下分类精度，结果如图4所示。由图可以看出，为了获得较高的活动分类精度，滑动窗口大小设置为1500ms最佳。

步骤(2)，为了提取源数据的粗粒度特征，采用双向LSTM模型，模型得到的隐藏状态h＝(h₀,h₁,…,h_t)则为我们要提取的数据粗粒度特征，它受模型的细胞状态C_t、临时细胞状态

遗忘门f_t、记忆门i_t和输出门o_t控制，通过对细胞状态中信息的遗忘以及记忆新的信息，使得有用的信息得以传递，而无用的信息被丢弃。具体而言，对于单向LSTM模型，假设t时刻输入的数据为x_t，则其经过遗忘门后数值为：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)， (1)

对于x_t需要记忆的信息为：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)， (2)

此时LSTM模型的细胞状态为：

其中，

对于x_t输出门数值为：

o_t＝sigmoid(W_o·[h_t-1,x_t]+b_o)， (4)

因此，当前时刻隐藏状态即要提取的粗粒度特征h_t为：

h_t＝o_t·tanh(C_t)， (5)

通过上述过程，当输入数据为x＝(x₁,x₂,…,x_t)时，单向隐藏状态为h＝(h₁,h₂,…,h_t)。因此，经过双向LSTM模型，提取到的数据x的粗粒度特征为：

其中，与

是分别由前向LSTM和后向LSTM模型提取的关于数据x的粗粒度特征。

步骤(3)，在粗粒度特征提取过程后能获得数据x的粗粒度特征h，但这些特征对于活动标识的重要性是一致性的，并不能反映活动变化时数据呈现出的变化特性，从而影响活动识别精度。因此，我们在粗粒度特征提取的基础上又引入了细粒度特征提取过程，从而能够获得对于具体活动更具“注意”性的特征，提高活动识别精度。为了实现这一目的，使用了Attention机制，使其能够学习出粗粒度特征中的更重要的特征表达。具体过程为，首先对于粗粒度特征h经过一个非线性变换获得其隐式表达值u，该过程可以表示为：

u＝tanh(W_u·h+b_u)， (7)

在隐式表达的基础上，通过Attention机制要学习一个归一化的能够体现u中各元素的重要性的权重系数向量α，使粗粒度特征中越能体现活动特性的特征得到的权重越大，从而获得细粒度特征。权重系数α的计算表达式为：

因此，细粒度特征s可以表示为：

步骤(4)，在获得细粒度特征后，利用多分类逻辑回归方法预测数据x对应各类活动的概率，概率值最大的则为识别的活动结果，活动类别预测结果可以计算为：

y＝softmax(w_ls+b_l)， (10)

进一步的说，在公式(1)-(10)中涉及参数的W和b为待求变量，需要通过步骤

(1)带标签的数据集训练网络模型确定，进而能够得到最终的分层深度学习模型。

为了确定模型中的最优参数值，需要用带标签的数据对网络进行训练，而在这一过程中需要引入一个指标来评价模型分类结果误差，通过最小化该误差更新模型参数，从而获得最优结果。本发明中使用交叉熵目标函数作为误差评价指标，可以表示为：

其中，i为第i组感知的数据索引，j为第j类活动类别。在模型训练过程，在输入层输入标注好的数据，然后我们采用时间反向传播(BPTT)算法获得目标函数相对于所有参数的导数，并通过随机梯度下降法最小化目标函数，从而确定最优参数。

为了验证最终模型的有效性，还需要对模型就行测试，在该过程我们同样使用部分带标签的数据集测试模型对其活动分类的精度。在模型训练和测试过程中，数据集的比例设置为了7:3。当测试数据精度小于给定阈值，则认为模型为有效模型。

实施例二

上述的面向可穿戴传感器的人类活动识别方法在智能手机中的应用：

智能手机不仅配备有各种各样的传感器，如加速计、磁力计、GPS、指南针等，还有着较强的计算、存储和通信能力。因此可以利用被随身携带的智能手机感知人的行为，通过上述的面向可穿戴传感器的人类活动识别方法监测携带者的行为。例如，用户A是一位老人，由于家人工作繁忙无瑕对其进行照顾。对于老年人来说，跌倒、久坐等行为都是危害其身体健康的首要因素，因此，家人可以为A配备一部智能手机，实时监测A的日常行为，判断发生跌倒时可以通过默认联系人的方式及时联系家人和急救部门；或者在判断用户A久坐时，提醒其进行适量的运动，以此可以大大提高老年人晚年的生活质量。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。