一种运动功能特征参数的提取方法及装置
阅读说明：本技术 一种运动功能特征参数的提取方法及装置 (Method and device for extracting characteristic parameters of motion function ) 是由 王仿 范向民 田丰 朱以诚 王宏安 于 2021-05-27 设计创作，主要内容包括：本发明公开了一种运动功能特征参数的提取方法及装置,包括：获取患者进行运动功能测试的视频,提取每个运动功能测试中患者的全部人体骨骼点数据,其中所述视频包含深度信息；挑选分析每一运动功能测试所需的相应人体骨骼点数据；依据相应人体骨骼点数据进行运动周期划分,提取每个周期内的运动特征参数。本发明为运动功能测试提供了客观、定量的数据,具有良好的适用性,方便回放分析与二次比对,可以有效帮助相关疾病的诊断和分析。(The invention discloses a method and a device for extracting characteristic parameters of a motion function, wherein the method comprises the following steps: acquiring videos of patients for performing motion function tests, and extracting all human skeleton point data of the patients in each motion function test, wherein the videos contain depth information; selecting and analyzing corresponding human body bone point data required by each motion function test; and dividing motion periods according to corresponding human skeleton point data, and extracting motion characteristic parameters in each period. The invention provides objective and quantitative data for the exercise function test, has good applicability, is convenient for playback analysis and secondary comparison, and can effectively help the diagnosis and analysis of related diseases.)
技术领域
本发明属于智能医疗领域，涉及一种运动功能特征参数的提取方法及装置。
背景技术
帕金森氏病(Parkinson's disease,PD)是一种影响中枢神经系统的慢性神经退化疾病，主要影响运动神经系统。随着年龄的增长，帕金森病发生概率越高，是老年常见的神经系统的疾病。据估计到2030年，中国帕金森氏病患者将增加到494万人，占全世界帕金森氏病患者的一半(参考文献：Dorsey ER,et al.Projected number of people withParkinson disease in the most populous nations,2005through2030.Neurology.2007；68(5):384–6.)。帕金森氏病往往伴随着运动功能障碍，如手和头部的震颤、运动迟缓等，因此在对于人体运动障碍的检测是帕金森氏病的临床诊断中的有效手段。早在1872年，Charcot在检查了大量患者后，制定了一种观察患者静止和行动时的震颤的方法将帕金森氏病和其他疾病区分开来(参考文献：Goetz CG.The history ofParkinson's disease:early clinical descriptions and neurologicaltherapies.Cold Spring Harb Perspect Med.2011；1(1):a008862.doi:10.1101/cshperspect.a008862)。然而这种观察的方法太过主观且缺乏统一的标准。
随着相关研究的发展和医疗环境的优化，纸质评估量表被引入到临床诊断过程当中。统一帕金森氏病评定量表(Unified Parkinson's Disease Rating Scale，UPDRS)是临床研究帕金森氏病中常用的评分量表(参考文献：Ramaker,Claudia；Marinus,Johan；Stiggelbout,Anne Margarethe；van Hilten,Bob Johannes.Systematic evaluation ofrating scales for impairment and disability in Parkinson's disease.MovementDisorders.1September 2002,17(5):867–876.)，共包含6个部分，其中第三部分就是针对运动功能的评测，包括静止性震颤、手指捏合、下肢灵活度等评分项目。该运动部分为医生提供了有价值的标准化临床检查，以评估患者的运动障碍。2007年，运动障碍协会(Movement Disorder Society，MDS)发布了UPDRS的修订版，称为MDS-UPDRS(参考文献：Goetz,C.G.,Fahn,S.,et al.(2007),Movement Disorder Society-sponsored revisionof the Unified Parkinson's Disease Rating Scale(MDS-UPDRS):Process,format,andclinimetric testing plan.Mov.Disord.,22:41-47.https://doi.org/10.1002/mds.21198)。该版本的评估量表表维持了原先的结构，重新组织了其中的评分指标，其中运动部分的评分项目扩充到了18项。评分量表的引入带来一系列的标准化测试，但这种方法是半定量的，依旧依赖医生的主观判断，尽管评价方法有分级概念，但这一分级无疑不是等值差异的定量数据。
普适计算和人机交互(HCI)社区的研究表明，人类活动受其运动和认知功能的影响(参考文献：James E Birren,Laurel M Fisher.1995.Aging and Speed of Behavior:Possible Consequences for Psychological Functioning.Annual Review ofPsychology.46,1,329–353.DOI:http://dx.doi.org/10.1146/annurev.ps.46.020195.001553)，这表明通过运动参数来评估人体功能的可能性。近些年来有越来越多的相关研究通过检测人体某个部位的运动参数来帮助区分帕金森病患者和健康人。Schlachetzki等人使用可穿戴式传感器测量了帕金森氏病的步态参数，通过实验分析证明了基于可穿戴式传感器的步态分析达到了临床适用性(参考文献：SchlachetzkiJ,Barth J,Marxreiter F,Gossler J,Kohl Z,Reinfelder S,et al.Wearable sensorsobjectively measure gait parameters in Parkinson’s disease.PLoS One.2017；12:e0183989.)。Fan等人通过在智能手机上感测和分析用户常见的触摸手势交互来检测早期帕金森病中运动障碍的可行性和准确性(参考文献：Feng Tian,Xiangmin Fan,JunjunFan,Yicheng Zhu,Jing Gao,Dakuo Wang,Xiaojun Bi,and Hongan Wang.2019.What CanGestures Tell？Detecting Motor Impairment in Early Parkinson's from CommonTouch Gestural Interactions.In Proceedings of the 2019CHI Conference on HumanFactors in Computing Systems.Association for Computing Machinery,New York,NY,USA,Paper 83,1–14.DOI:https://doi.org/10.1145/3290605.3300313)，研究的主要手势包括四种：轻弹(flick)、拖动(drag)、捏(pinch)以及手写手势(handwriting guestures)。此外还有相关研究利用可穿戴式传感器来评估帕金森氏病患者的站立平衡(参考文献：Hubble RP,Naughton GA,Silburn PA,Cole MH.Wearable sensor use for assessingstanding balance and walking stability in people with Parkinson's disease:asystematic review.PLoS One.2015Apr 20；10(4):e0123705.doi:10.1371/journal.pone.0123705.PMID:25894561；PMCID:PMC4403989.)。有研究利用步态足底的压力特征辅助筛查帕金森氏病的步态异常(参考文献：曾玮,王颖.一种辅助筛查帕金森症的异常步态识别方法:.)。有研究利用深度图像的方法检测帕金森震颤运动特征(参考文献：谢叻,陈生弟,陆梦迪,等.基于深度图像的帕金森震颤运动特征检测方法及系统:,CN105701806B[P].2018.)。类似地，还有研究利用深度图像的方法定量化分析帕金森手部运动(参考文献：曹治国,于泰东,肖阳,等.一种基于深度图像的帕金森手部运动量化分析方法和系统:,CN110991268A[P].2020.)。这些研究都提取了相关的运动参数来定量反应患者的某些运动功能，然而这些研究都是针对某些特定的身体部位的，如手、脚等，缺乏一些列标准化、覆盖身体多种部位的测试流程，在临床环境下仍旧缺乏一种定量化的评估方法。因此引入一种定量化评估帕金森氏病患者运动功能的方法在临床诊断的环境下有着重要意义，可以有效避免人为主观因素的影响。
发明内容
本发明公开了一种运动功能特征参数的提取方法及装置，针对在临床诊断环境下患者进行的肢体运动测试，持续地收集患者各个身体部位的运动数据，进而从患者的各个运动测试中有效地计算并提取出相关的运动特征参数，更加精确地反映帕金森氏病患者的运动能力。
为达到上述目的，本发明采用如下技术方案：
一种运动功能特征参数的提取方法，其步骤包括：
1)获取患者进行运动功能测试的视频，提取每个运动功能测试中患者的全部人体骨骼点数据，其中所述视频包含深度信息；
2)挑选分析每一运动功能测试所需的相应人体骨骼点数据；
3)依据相应人体骨骼点数据进行运动周期划分，提取每个周期内的运动特征参数。
进一步地，人体骨骼点数据包括X、Y、Z轴的坐标点。
进一步地，人体骨骼点包括：鼻子节点、指尖节点、大拇指节点、手腕节点、脚踝节点、盆骨节点和肩部节点。
进一步地，运动功能测试包括：指鼻试验、手指捏合、手部运动、下肢灵活度、抱胸起立、后拉实验和/或三米步行及转身。
进一步地，指鼻试验的相应人体骨骼点数据包括：鼻子节点数据和指尖节点数据；手指捏合的相应人体骨骼点数据包括：大拇指节点数据和指尖节点数据的数据；手部运动的相应人体骨骼点数据包括：指尖节点数据和手腕节点数据；下肢灵活度的相应人体骨骼点数据包括：脚踝节点数据；抱胸起立的相应人体骨骼点数据包括：盆骨节点数据；后拉实验的相应人体骨骼点数据包括：肩部节点数据；三米步行及转身的相应人体骨骼点数据包括：脚踝节点数据。
进一步地，通过以下步骤对指鼻试验、手指捏合、手部运动、下肢灵活度、抱胸起立或后拉进行运动周期划分：
1)依据相应人体骨骼点数据，得到第一数据序列；
2)利用滑动窗口峰值检测法，将第一数据序列切割为一系列指定时间间隔的分段；
3)根据分段中波峰和波谷对应的帧数，获取完整的运动周期，以进行运动周期划分。
进一步地，通过以下步骤对三米步行及转身进行运动周期划分：
1)依据相应人体骨骼点数据，得到第二数据序列；
2)基于阈值的启发式算法，对第二数据序列进行步态分割；
3)使用均值滤波法计算出每一帧的节点速度，并根据与设定的阈值对比判断抬脚、落脚事件发生的时间点，获取完整的运动周期，以进行运动周期划分
进一步地，指鼻试验的运动特征参数包括：伸展幅度、伸展时间和伸展速度；手指捏合的运动特征参数包括：张开幅度、捏合时间和捏合频率；手部运动的运动特征参数包括：张开幅度、握合时间和握合频率；下肢灵活度的运动特征参数包括：抬起高度、抬起速度和落下速度；抱胸起立的运动特征参数包括：站起高度、站起速度和坐下速度；后拉实验的运动特征参数包括：倾斜角度；三米步行及转身的运动特征参数包括：步幅、步速、步频、步宽、步态协调性、步态变异性、站立相、摆动相和双支撑相。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。
一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。
与现有技术相比，本发明具有的积极效果是：
(1)本发明可以辅助诊断帕金森氏病，提供了定量化的运动功能参数，更加客观、直白地展示了患者的运动能力，去除了人为主观因素。
(2)本发明具有良好的交互性，医生只需要掌握好开始录制和结束录制的时间点，测试完成之后系统自动输出运动特征参数，无需医生再拿着纸质评分表观察、记录，节省了时间。
(3)本发明实现了对患者全程测试视频的存储，方便回放分析与二次比对。
(4)本发明具有良好的适用性，不再依赖于有诊断经验的医生评估，可适用于临床科室、体检中心、康复及养老机构等场所。此外，本发明中所体现的定量评估思想还可应用于其他运动功能受损的相关疾病中。
附图说明
图1为本发明的方法流程图。
图2为深度相机提取的人体骨骼图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用人机交互技术和Microsoft Azure Kinect深度相机来收集患者运动测试数据。在对患者进行运动功能测试时，患者首先坐在深度像机前方3米左右，医生指导患者进行UPDRS运动功能测试并使用我们的系统对各测试进行视频录制。每个测试结束之后我们使用启发式算法将各个时序数据序列划分成一个个的运动周期，针对不同的测试，我们根据每个周期的数据进行分出来，提取不同的特征参数。最后在所有测试完成之后，系统输出一份完整的定量运动参数报告，从而实现定量化评估帕金森氏病患者运动功能的目的。本发明的方法流程图如如图1所示，具体内容包括：
1.深度视频采集
我们使用Microsoft Azure Kinect深度相机来采集数据，以30fps录制包含深度信息的彩色视频，视频以mkv格式进行存储。在录制结束时，也会输出一份包含深度数据的文件，用于后续计算、特征提取。
2.人体骨骼点提取
我们使用的深度相机可以将视野捕获的人抽象成骨骼架，如图2所示，每个骨骼架包括32个骨骼点，骨骼点层级从身体的中心流向四肢，每个连接将父骨骼点与子骨骼点连接。每个骨骼点的位置和方向形成其自己的坐标系，所有骨骼点坐标系都是相对于深度相机3D坐标系的绝对坐标系。
对于不同肢体部位的测试，我们可以选择对应骨骼点的数据来计算。对于不同身体部位的测试，我们选取不同身体骨骼点的数据进行分析处理。指鼻试验选取鼻子节点和指尖节点的数据，手指捏合选取大拇指节点和指尖节点的数据，手部运动选取指尖节点和手腕节点的数据、下肢灵活度选取脚踝节点的数据、抱胸起立选取盆骨节点的数据、后拉实验选取肩部节点的数据、三米步行及转身选取脚踝节点的数据。
3.周期划分
针对指鼻试验、手指捏合、手部运动、下肢灵活度、抱胸起立和后拉实验，采用滑动窗口峰值检测法进行周期分割。将骨骼点数据拟合一条波形曲线，使用指定长度的滑动窗口找到曲线的最高波峰值和波谷值，从而实现周期划分。
针对三米步行及转身，将步态数据序列分割为单个步幅，采用基于阈值的启发式算法来进行步态分割。采用均值滤波法对原始脚踝节点数据处理之后我们可以得到每一帧左右脚踝节点的在Z的方向上的速度vz，可以利用vz的变化对比阈值来进行步态事件检测。以下是对步态事件的检测方法：
脚跟着地(HS)检测：
脚尖抬起(TO)检测：
其中T表示设定的阈值，表示第i帧时脚踝骨骼点Z轴方向上的速度，表示表示第i-1帧时脚踝骨骼点Z轴方向上的速度。
4.特征参数提取
根据之前步骤划分的运动周期，计算每个运动周期内的特征参数，取所有周期计算值的中位数作为最后的输出。具体的特征主依照运动部位及运动测试的进行方式而确定。每个测试的特征参数及其参数说明如表1所示。
表1运动特征参数及其计算方式
下面介绍本发明的应用场景。
在医院神经科门诊的帕金森氏病诊断中，Microsoft Azure Kinect深度相机放置在患者正前方3米处，确保相机视野范围内没有其他人员的干扰。医生指导患者进行运动功能测试，同时使用我们的系统进行动作视频录制，具体的测试包括指鼻试验、手指捏合、手部运动、下肢灵活度、抱胸起立、后拉实验和三米步行及转身。每次测试完成之后，医生选择完成录制，我们的系统根据测试的类别提取人体不同骨骼点的数据进行周期划分，三米步行及转身使用基于阈值的启发式算法，其他测试使用基于阈值的启发式算法。依次完成所有运动测试之后，输出每个测试的运动特征参数值，定量地反映患者的运动能力，用于进一步的诊断和分析。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种基于无线信号睡眠姿势监测方法及系统