具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

本发明实施例的一种能够在具有AI加速功能的嵌入式设备上运行的实时运动质量评估方法，其具体的步骤如下：S1：接收视频帧，采用快速目标检测的方式进行人体位姿检测；S2：将检测到的人体部分从视频帧原图中抠出，输入到轻量型人体位姿估计网络中进行人体2D关节点的检测；S3：将每一帧的关节点检测结果进行滤波；S4：将经过滤波后的关节点进行运动质量评估；S5：记录运动量，给出运动质量总体打分。总体流程图，参考图1所示。

快速人体检测。为了实现高效的实时用户体验，同时提取人体前景，增强算法程序在初始化时人体位姿检测的稳定性，考虑采用轻量级的人体检测器作为算法程序初始化人体位姿检测区域，能够更好地兼容嵌入式AI设备。采用十分轻量级的目标检测算法YOLOv4-tiny，它在1080Ti-GPU上能达到371fps的实时检测速度，同时还能保留较高的精度，同时考虑到目标应用场景并不是十分复杂，该算法能够满足实际的设计需求。YOLOv4-tiny采用优化压缩之后的CSPDarknet53作为特征提取的主干网络，使用CSPBlock模块进行主干网络中空间信息的融合，其网络结构，参考图2所示。YOLOv4-tiny采用锚点的物体位置框预测方式。算法预测的流程为：首先将输入图片的尺度统一到固定尺寸；将固定尺寸的图像分成S×S的栅格，同时锚点生成其会为每个栅格产生B个不同尺度的矩形框，最终产生S×S×B个锚点，每个栅格只负责预测物体中心点落在本栅格中的物体类别和物体；网络输出锚点的修正值再经过NMS算法过滤就得到了最终的物体检测结果，在这里只需要训练人体检测器即可。

人体目标框裁取。为了进一步优化程序代码，减少计算开销，提高实时性，本方法设计两种方式来进行人体位置检测：第一种是使用快速人体检测器进行人体的定位；第二种是使用人体位姿检测的结果反馈来进行人体定位。两种方式在程序设计中可以交替应用，就能大大提升程序的计算效率。在计算机程序初始化时使用快速人体检测器来定位人体位置，在程序运行稳定之后按照如下规则进行两种人体位置定位方式的切换：

当算法程序初始化与程序运行过程中人体位姿检测置信度低于一定阈值时，需使用快速人体检测器提供人体在视频帧中的位置区域；算法程序稳定运行过程中，人体位姿检测置信度高于阈值时，使用视频历史帧确定人体位置，此时释放人体高速检测器计算资源，提高效率，减少人体位置检测过程时延。位姿反馈定位方法|：W＝(1+λ)(max{p_i(x)}-min{p_i(x)})，H＝(1+η)(max{p_i(y)}-min{p_i(y)})，其中t＝1，2，...N，λ，η为设计参数，可以进行调节，用来调整位姿检测结果更加接近快速人体检测器的检测尺度，p是人体位姿检测结果中的人体关节点的位置。这样就得到了人体位置的包围框，同时定位出人体位置框左上角的坐标点(x₀，y₀)，

快速人体位姿检测。为了构建一个实时的智能人体运动质量系统，本方法中需要一个轻量级的、实时的人体位姿估计算法进行人体位姿的检测，然后才能完成整体的运动质量估计。本方法中采用一个基于沙漏网络结构的深度学习网络来进行人体位姿的检测，完成2D的人体位姿估计进而得到人体关节点的2D位置。

滤波器。采用轻量级的深度网络进行人体位姿检测是单帧视频图像的检测结果，考虑到算法本身存在的检测误差问题等，在本方法中采用视频帧的时序信息进行简单的修正算法的人体位姿检测结果，采用OneEurofilter。OneEurofilter是一种自适应的一阶低通滤波器，该滤波器能够依据估计出的信号的速度为采样点适应新的低通滤波器的截断频率，可以较好的追踪动态信号，同时延迟很低，能起到除去信号“抖动”的效果：其中T_e是信号采样时间间隔，f_c即是低通滤波器的截断频率，其中的参数(β，f_cmin，T_e)是该滤波器的参数值，需要按照经验设置。通常来讲(β，f_cmin)相对小一点更加有利于消除关节点的位置抖动效果。

动作质量评估。为了能够监测运动质量，本方法设计了一种进行动作比对，并且对动作质量进行打分的方式。在人体位姿的检测基础上，本方法中采用关节点位置和关节向量之间的角度进行动作相似度的比较，示例参考图3所示。

在实时的视频流中进行两种动作的对比时，首先要解决的问题是动作的对齐问题，由于本方法中设计的运动质量监测，是针对一般的实时人体运动视频帧和一段标准动作视频帧。相机在实时获取视频帧与同时计算时，会存大量不确定性的丢帧现象，所以在本方法中设计了动作采样以及对齐的方法。首先考虑到离线的标准动作视频帧是经过预处理的，丢帧的数量相对较少，同时标准视频帧的动作正好是运动动作的一个或者几个周期(尽量的短且连续)。所以先将实时在线的动作视频流作为主分支，按照下采样率γ对实时的视频帧采样，选取需要进行比对的动作视频帧，并且记录采集时间戳以对应标准动作视频帧；同时需要保留普通视频帧一个时间窗为τ内的视频帧{f_i|i＝1，2，...t，t+1，t+2，...t+n}，t时刻的视频帧即采样选取的视频帧。按照选取的时间戳选取标准动作视频帧S_t，只需要在{f_i|i＝1，2，...t，t+1，t+2，...t+n}中选择出“最相似”的一帧对比即可；这里的相似度使用归一化关节点位置之后两类视屏帧的欧式距离来定义，即：上式中的关节点位置坐标都是经过归一化操作之后的坐标。

为了消除人体形态与相机视距的影响，在进行视频帧对比之前需要对人体的位姿检测结果进行归一化操作：其中(x₀，y₀)为选择的归一化坐标原点，可以根据需要选取即可。归一化之后就可以得到每个关键点的归一化坐标，按照图3的方式进而可以计算得到关键夹角：

至此所有的对比参数量已经准备完成，接下来就是进行动作质量的评估，设计中将动作的满分设定为Ω，关节点位置误差与角度误差的分值比例为μ：v，此时两类误差各占的分数为：本方法中设计的误差评分函数表达式为：评分函数图像，参考图4所示。归一化关节点位置误差和角度误差经过评分函数的处理，得到了关节点权重Δ_i与角度权重θ_i，进而得到了总体的分值：评分函数中有(k，α，β))三个参数，这三个参数需要根据实际的数据来进行设定，关节误差和角度误差所使用的评分函数一致，但具体的参数数值并不相同。

动作自动计数。本方法也提出一种基于状态机的自动计数功能，参考图5所示。考虑到人体运动状态的周期性，设计了三种状态，分别为0、1、2；从状态0转变到状态1，需要记录一次状态的转变；从状态1转变到状态2时完成一个周期；只有经过0→1→2的状态转换过程的，记录一次运动次数，同时初始化状态机到状态0，如此累计。其中的状态转变使用关节点的位置坐标在前后三帧之间的差分来表示。

本发明实施例的一种基于人体位姿估计运动质量评估的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如以上任一所述方法的步骤。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。