一种人体位姿估计系统和方法
阅读说明：本技术 一种人体位姿估计系统和方法 (Human body pose estimation system and method ) 是由 王朋强 杜华 王语堂 岳宗 于 2021-07-12 设计创作，主要内容包括：本发明提供一种人体位姿估计系统和方法,使用一个或者多个图像采集器采集图像数据,获取其中的人体位姿,同时输出地面坐标系下的人体位姿。得到的人体姿态和位置可以用来控制机器人或数字人等,可用于虚拟现实VR、增强现实AR以及电影特效等,回归和迭代优化相结合提高精度以及迭代优化速度。本发明采用回归和迭代优化相结合的方式,大大提高人体姿态估计精度,缩短了迭代优化执行时间；同时通过跟踪可以将获取多人的人体姿态数据,保证连续性,人体姿态和人物一一对应；在仅使用一个光学成像传感器的情况下就可以计算出人体的位置信息。(The invention provides a human body pose estimation system and a human body pose estimation method. The obtained human body posture and position can be used for controlling a robot or a digital person and the like, can be used for virtual reality VR, augmented reality AR, film special effects and the like, and improves the precision and the iterative optimization speed by combining regression and iterative optimization. The method adopts a mode of combining regression and iterative optimization, greatly improves the human body posture estimation precision, and shortens the execution time of iterative optimization; meanwhile, human body posture data of multiple persons can be acquired through tracking, so that the continuity is ensured, and the human body postures correspond to the persons one by one; the position information of the human body can be calculated in the case of using only one optical imaging sensor.)
技术领域
本发明属于运动捕捉
技术领域
，具体涉及一种人体位姿估计系统和方法。背景技术
人体的动作和位置信息可应用于很多场景中，它的应用领域非常广泛。这些应用领域包括例如：影视游戏中CG人物的动作；体感游戏中用户和游戏场景中物品人物的动作交互；增强现实AR中用户和虚拟目标的交互。
运动捕捉技术是由运动捕捉系统利用外部设备来对人体动作姿态和人体位移进行捕获转换为数字数据。运动捕捉系统有多种技术实现，现在使用比较多的包括：惯性动作捕捉技术，需要人体穿戴配备惯性传感器的衣服；光学式动作捕捉技术，通过图像采集器采集数据进行处理，其往往需要人体穿戴带有反光标识点衣服，而且容易受环境光照影响。
通过图像采集器直接进行人体姿态估计技术也是其中一种技术。根据原理不同可将姿态进行估计，现在分为基于优化的姿态估计方法(Federica Bogo,Angjoo Kanazawa,Christoph Lassner,Peter Gehler,Javier Romero,and Michael J.Black.Keep itsmpl:Automatic estimation of 3d human pose and shape from a single image.InECCV,2016)和基于回归的姿态估计方法(Angjoo Kanazawa,Michael J Black,David WJacobs,and Jitendra Malik.End-to-end recovery of human shape and pose.InCVPR,2018)。但是这些方法都只能估计姿态不能计算出位置信息，并且只能输出图像中所有人体的姿态，无法区分姿态和图像中具体人物一一对应。
基于回归的姿态估计方法获取的姿态不够精确，尤其对于脸部有遮挡或者背对相机的人体姿态估计会有正反不分的情况。而基于优化的姿态估计方法往往需要多次迭代，单次估计时间过长，同时这些方法只能估计姿态不能确定位置信息。
发明内容
获得人体姿态并通过运动捕捉装置在地面坐标系中的位姿，将人体位姿变换到地面坐标系对于人体位姿数据之后的使用是非常有益的，而且通过对人体进行跟踪可以保证图像序列中同一个人物前后编号一直，同时可以把人体姿态数据和图像中人体一一对应，对于场景中有多人的情况可以很好的兼容。
本发明的目的之一是提供一种人体位姿估计方法，通过运动捕捉装置获得至少一个图像采集传感器获取的图像序列，具体包括如下步骤：
1)人物目标检测，对每帧图像进行人物检测，得到图像上人体关键点的2D特征点集和人体区域；
2)人体跟踪计算，对图像序列中的人体进行编号，保证所有图像帧中同一个人物编号一致；
3)人体运动姿态计算，利用单帧图像对人体3D模型和运动姿态进行回归计算，得到人体模型和各关节的空间姿态角；
4)人体定位计算，对检测到的人物进行空间定位计算，获取人体各关节在所述运动捕捉装置坐标系下的3D坐标；
5)自定位计算，利用采集图像传感器在空间不同视点下采集的多帧图像进行空间自定位计算，获取所述运动捕捉装置在地面坐标系中的位姿，包括3D坐标以及姿态角；
6)人体定位转换，利用所述运动捕捉装置在地面坐标系中的位姿将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
进一步，所述人体定位计算，利用已知人物的身高尺寸和所述人体运动姿态计算获取的人体3D模型和各关节的空间姿态，即可求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
进一步，将图像中检测到的人物剔除，减少对所述自定位计算的干扰。
进一步，步骤5)中提取图像场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算
进一步，步骤5)中使用所述人体关节点的2D特征点集和所述人体各关节3D坐标，进行所述自定位计算。
进一步，步骤5)中图像场景中固定布置一种或几种标志点或标记图案，提供特征信息用于所述自定位计算。
进一步，步骤5)中图像人体上相对固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于辅助求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
进一步，步骤5)中图像场景中固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于自定位计算时作为参照计算尺度因子。
进一步，步骤6)中采用所述运动捕捉装置上的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
进一步，步骤6)中采用所述运动捕捉装置上的一种或多种深度图像传感器，通过3D特征配至统一坐标系，实现自定位计算。
本发明的另一目的是提供实施上述方法的运动捕捉系统。此系统能够同时进行人物检测和人体空间位姿计算并且将人体空间位姿转换到地面坐标系中。所述的系统包括：
1)运动捕捉装置，此装置包括至少一个图像采集传感器，所述运动捕捉装置通过所述图像采集传感器提供图像；
2)人物目标检测器，用于对所述运动捕捉装置采集的图像中的人物进行检测，得到图像中人体关节点的2D特征点集和人体区域；
3)人体跟踪计算器，用对所述人物目标检测器得到的人体进行跟踪编号；
4)人体运动姿态计算器，用于对所述人体目标检测器检测到的人物进行运动姿态计算，得到人体各个关节的空间姿态角；
5)人体定位计算器，用于对所述人体目标检测器检测到的人物进行空间定位，即，计算人体各关节在所述运动捕捉装置坐标系下的3D坐标；
6)自定位计算器，用于所述运动捕捉装置自身的定位计算，即，计算所述运动捕捉装置在地面坐标系中的3D坐标以及姿态角；
7)人体定位转换器，用于将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
进一步，还包括一种用于交换数据的无线通信装置。
进一步，所述运动捕捉装置包括用于照亮环境、场景或运动捕捉目标的光源。
进一步，所述运动捕捉装置包括至少部分位于所述装置内的电子芯片处理器，所述电子芯片处理器执行如下功能的一个子集：人体运动姿态计算器，人物目标检测器，人体跟踪计算器，人体运动姿态计算器，自定位计算器，人体定位计算器，人体定位转换器。
进一步，所述运动捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
进一步，所述运动捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
本发明的有益效果：使用一个或者多个图像采集器采集图像数据，获取其中的人体位姿，同时输出地面坐标系下的人体位姿。得到的人体姿态和位置可以用来控制机器人或数字人等，可用于虚拟现实VR、增强现实AR以及电影特效等，回归和迭代优化相结合提高精度以及迭代优化速度。本发明采用回归和迭代优化相结合的方式，大大提高人体姿态估计精度，缩短了迭代优化执行时间；同时通过跟踪可以将获取多人的人体姿态数据，保证连续性，人体姿态和人物一一对应；在仅使用一个光学成像传感器的情况下就可以计算出人体的位置信息。
附图说明
图1为本发明运动捕捉系统框图。
具体实施方式
图1为本发明的运动捕捉系统1框图。
此系统包含一个运动捕捉装置2。运动捕捉装置2收集和传送带测场景的图像集(也就是帧)3到人物目标检测器4、人体运动姿态计算器10和自定位计算器11中。包含在图像中的相关信息由图像中的人物以及背景中的纹理特征产生，纹理特征可以包括一种或几种空间几何形状和尺寸已知的标志点或标记图案产生的特征，所述标记图案固定在人体或者场景中。
人物目标检测器4从每一个图像中检测人物。对每一个图像均输出人体关键点的2D特征点集5和人体区域6。这些特征点在图像中基于它们的内在特性被标识。人体关键点的2D特征点集5可以通过使用OpenPose(参阅Cao Zhe,Hidalgo Martinez Gines,SimonTomas,Wei Shih-En,Sheikh Yaser A.OpenPose:Realtime Multi-Person 2D PoseEstimation using Part Affinity Fields.[J].IEEE transactions on patternanalysis and machine intelligence,2019)获得。
人体跟踪计算器7对提取的人体关节点2D特征点集5和人体区域6进行编号，输出带编号的人体关节点2D特征点集9和人体区域8。从第一帧开始编号，对人体关节点2D特征点集5和人体区域6使用卡尔曼滤波进行预则，与相邻下一帧中对应的人体关节点2D特征点集5和人体区域6进行匹配编号，可以通过找下一帧中人体关节点2D特征点集最近的人体关节点同时使用人体区域交并比(IOU)以及长宽比之类的特征进行匹配，以此类推，对所有图像序列中的人体进行编号。人体区域8沿系统中一条路径以获取人体运动姿态，沿系统中另一条路径以辅助自定位计算器提高提取图像场景中2D特征点集的质量。
人体运动姿态计算器10利用人体区域8可以截取出图像中包含人体的图像区域，通过端到端的神经网络框架进行回归计算得到人体3D模型结果13，包括人体各关节的空间姿态角(θ)、体型(β)和人体3D模型。回归计算得到的人体模型和人体各关节空间姿态角(θ)和实际人物动作可能不精确匹配。在这种情况下可以利用提取的人体关键点的2D特征点集5(Jop)进行优化，所述运动捕获装置中的图像采集传感器参数(K)可以通过图像采集传感器厂商获得，也可以通过相机标定得到，优化目标函数为E(β,θ)＝EJ(β,θ,K,Jop)+λθEθ(θ)+λaEa(θ)+λβEβ(β)，对于各关节部分优化目标函数选取合适的权重(λθ，λβ)，其中EJ表示人体3D模型投影到2D图像上的人体关键点和人体关键点的2D特征点集5之间的误差，Eθ(θ)是关于人体姿态的先验知识用来约束人体各关节空间姿态角θ，Ea(θ)是关于膝关节肘关节的先验知识用来约束人体各关节空间姿态角θ，例如膝关节只能向后弯曲，Eβ(β)是关于形状的先验知识用来约束体型β。
人体定位计算器12提取后的人体关键点的2D特征点9和人体模型各关节3D坐标13输入人体定位计算器12，采用PnP原理求解人体坐标系到所述运动捕捉装置坐标系的变换，将人体模型各关节3D坐标转换到所述运动捕捉装置坐标系下的3D坐标15。
自定位计算器11从多帧图像中提取特征，输出所述运动捕捉装置在地面坐标系中的位姿14。这特征在图像中基于它们的内在特性被标识。利用所述人体跟踪计算器7输出的人体区域8，在图像中剔除该区域，减少对特征提取的影响。具体原理为：提取第一帧图像中的2D特征点xc，并从相邻帧中查找匹配2D特征点xr，利用对极几何约束原理通过xc和xr计算单应矩阵H和基础矩阵F，选择重投影误差比较小的作为最终的运动估计矩阵，进一步求出两帧相机之间的运动，即两帧之间相机的关系M。使用匹配的特征点xc和xr以及两帧之间的相机关系M，通过三角测量法得到特征点的深度信息，从而得到特征点的3D坐标Xi。获得特征点3D坐标点集和特征点2D坐标点集后，可以使用光束法平差(BA)算法得到初始的所述运动捕捉装置在地面坐标系中的位姿。不断重复上述过程，计算出每一帧图像对应的所述运动捕捉装置在地面坐标系中的位姿。之后利用图优化方法进行优化求精，最终输出所述运动捕捉装置在地面坐标系中的位姿。
使用人体定位转换器16将人体模型各关节3D坐标在所述运动捕捉装置坐标系下的3D坐标15转换到地面坐标系中。
根据框图中所示的通过不同的数字信号连接而彼此通信的离散部件组，对于本领域一般技术人员来说容易理解，由于一些部件是通过给定的硬件或软件系统的函数或操作而执行功能的，并且所示的许多数据通道通过在计算机操作系统或应用程序中的数据通信系统而执行功能，所以优选实施例是由硬件和软件部件的组合而构成的。因此，提供所示的结构以便有效地说明本优选实施例。
需要说明的是上述实施例对本发明的技术方案进行了详细说明。显然，本发明并不局限于所描述的实施例。基于本发明中的实施例，熟悉本技术领域的人员还可据此做出多种变化，但任何与本发明等同或相类似的变化都属于本发明保护的范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种不完整棋盘格合作图标快速特征点检测方法