阅读说明：本技术 基于人体重建的身体参数测量方法、系统、设备、芯片及介质 (Body parameter measuring method, system, equipment, chip and medium based on human body reconstruction ) 是由 姚想 张迎梁 于 2020-11-23 设计创作，主要内容包括：基于人体重建的身体参数测量方法、系统、设备、芯片及介质,包括：围绕人体采集不同视角的彩色图像；提取图像特征,得到人体模型；将人体模型进行非刚体变形,与模板模型一致；提取变形后的模板模型的顶点坐标,计算获得身体参数。本发明通过人体模板模型拟合人体模型然后进行身体腰围等各项体围参数测量的方法,可测量全身多个部位的长度、周长信息,测量速度快,精度高。(A body parameter measuring method, a system, equipment, a chip and a medium based on human body reconstruction comprise the following steps: collecting color images of different visual angles around a human body; extracting image features to obtain a human body model; performing non-rigid body deformation on the human body model, wherein the human body model is consistent with the template model; and extracting the vertex coordinates of the deformed template model, and calculating to obtain the body parameters. The invention can measure the length and circumference information of a plurality of parts of the whole body by a method of fitting the human body model by the human body template model and then measuring various body circumference parameters such as the body circumference and the like, and has high measuring speed and high precision.)

基于人体重建的身体参数测量方法、系统、设备、芯片及介质

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体地说是一种基于人体重建的身体参数测量方法、系统、设备、芯片及介质。

背景技术

身体参数测量作为服装定制行业的首要环节，其测量精度和测量操作的便捷性是重中之重。而人体作为变形量极大的非刚性体，会增加测量的难度。传统的测量方法主要是使用软皮尺手工测量，测量的精度极易受到测量者主观因素的影响(如难以准确找到测量部位，难以控制皮尺的松紧程度等)，且测量方式非常麻烦，需要经验丰富的测量人员找准被测者身体的测量部位，然后逐个位置使用软皮尺进行测量；此外，人工使用皮尺测量，不可避免的会出现测量者与被测量者肢体密切接触的情况，这会产生一些不适。实现快速又精确的非接触式身体参数测量，还能够用于医疗健康管理等领域，具有巨大的商业价值。CN201910631825.6号专利申请公开了一种多深度相机人体参数测量方法及装置，包括：采集当前对象深度图像；将深度图像融合为规则点云；拟合参数化人体模板，求解参数化人体模板的形态参数和姿态参数，使得基于上述参数变形的SMPL人体模板与所获得点云尽可能拟合；通过标准参数化人体模板定义的人体参数获取方式获取当前对象的人体参数。该方法在三维人体模型重建阶段，使用16个深度相机获取点云进行数据融合重建的方式，硬件成本高，设置复杂，应用不具有广泛性；身体参数测量阶段：使用直接提取SMPL模板模型上组成腰围等体围处的网格顶点，然后逐个计算相邻点之间的欧氏距离，求和作为腰围的方法，会在拓扑结构复杂的胸围等处带来很大的误差。原因在于，其直接提取的网格顶点不在同一个平面上，从而组成胸围的曲线并不在同一个平面上，而正常测量体围应当是在同一个平面测量，这就会使得测量的皮尺上下弯曲的围一圈，导致测量结果远大于实际结果。

发明内容

本发明为解决现有的问题，旨在提供一种基于人体重建的身体参数测量方法、系统、设备、芯片及介质。

为了达到上述目的，本发明的技术方案提供一种基于人体重建的身体参数测量方法，包括：

步骤一，相机围绕人体采集若干不同视角的彩色图像；

步骤二，通过相机的位置、姿态和内、外参矩阵提取图像特征，预测其深度信息并融合得到人体模型；

步骤三，将人体模型进行非刚体变形，使其与模板模型一致；

步骤四，提取变形后的模板模型的顶点坐标，计算获得身体参数。

进一步地，步骤一中，相机环绕人体且每隔120°拍摄一张图像。

进一步地，步骤一中，实时去除彩色图像中人像的背景，拍摄同时输出相机的内部参数和外部参数矩阵，并输入身高信息。

进一步地，采用卷积神经网络进行语义分割，即执行目标检测算法提取人所在的位置，然后再进行显著性检测，得到去除背景的人体图像。

进一步地，步骤二中，所述相机通过基于单目视觉与惯性传感器的同步定位建图方式从彩色图像中实时提取图像特征，用于估算自身位置和姿态。

进一步地，步骤二中，通过若干视角的彩色图像、相机内参矩阵和相机位姿矩阵，以及训练集中对应的高精度人体三维模型，训练神经网络模型，使得算法模型能够从任意多视角人体彩色图像中回归出三维人体模型。

进一步地，步骤三中，将模板模型、人体模型的质心重合，在提取对应点后进行最近邻点迭代优化，实现粗对齐。

进一步地，粗对齐后，优化模板模型、人体模型的形状差异，得到可用来表达人体模型在去噪点、变形后的模板模型。

进一步地，骨骼配准后进行蒙皮操作，即建立骨骼点和网格顶点的关联关系，将网格表面变形到适配当前的骨骼姿态。

进一步地，步骤四中，通过测量顶点所组成的曲线的长度，可得到身体参数。本发明还提供一种测量身体参数的系统，包括：

采集模块，围绕人体采集若干不同视角的彩色图像；

建模模块，通过相机的位置、姿态和内、外参矩阵提取图像特征，预测其深度信息并融合得到人体模型；

变形模块，将人体模型进行非刚体变形，使其与模板模型一致；

计算模块，提取变形后的模板模型的顶点坐标，计算身体参数。

进一步地，采集模块采用appleARKit平台。

进一步地，采集模块环绕人体每隔120°拍摄一张RGB图像，同时通过神经网络图像分割算法在手机端进行实时人像抠图去除背景，拍摄同时输出当前相机的内部参数和外部参数，再提醒用户输入身高信息。

进一步地，采集模块的apple ARKit基于单目视觉与惯性传感器的同步定位与地图绘制方式，从视频流获取的图像中实时提取图像特征，用于估算自身位置和姿态。

进一步地，建模模块通过将三个不同视角的去背景的彩色图像、相机内参矩阵和相机位姿矩阵参数输入事先训练好的神经网络算法模型，直接回归预测出高精度三维人体模型。

进一步地，重建模块的神经网络算法模型是利用数百个彩色相机阵列采集的500个高精度人体三维模型进行训练得到的，训练核心在于利用OpenGL将训练集的人体三维模型渲染得到三视角彩色图像、相机内参矩阵和相机位姿矩阵，以及从人体三维模型表面及其内外附近采样5000个3D点，通过相机内参矩阵和相机位姿矩阵得到图像像素点与采样的3D点之间的对应关系，训练模型使得其能够从图像预测3D点在人体三维模型内部的概率，然后重建出三维人体模型。

进一步地，变形模块计算模板模型、人体模型的质心，然后执行一次刚体变换，将质心重合到同一个点，再分别提取两者的四肢端点和头顶点作为对应点，执行最近邻点迭代算法进行刚体变换，实现粗对齐。

进一步地，粗对齐后，在模板模型需变形的关节处执行局部旋转变换矩阵，将运动链上的局部旋转变换矩阵连乘，即可得到该关节点的全局变换矩阵，通过最小化两者的对应关节点之间的欧氏距离，即可实现骨骼变形配准。

进一步地，骨骼配准后，变形模块进行蒙皮操作，骨骼点和网格顶点变换公式：

W为每个骨骼点与其周围的网格顶点的权重w；T为每个骨骼点的变换矩阵T，v_p是变换前的mesh顶点，v’_p是变换后mesh的顶点。

进一步地，网格姿态对齐后，再进行非刚体变形配准：对模板模型上的每一个顶点进行旋转平移变换，使得其上的每个顶点位置最接近人体模型上的对应点。

进一步地，计算模块通过模板模型的拓扑结构获取顶点坐标，计算身体参数。本发明提供一种测量身体参数的设备，包括：

相机，所述相机围绕人体采集若干不同视角的彩色图像；

服务器，所述相机和服务器通信连接；所述服务器包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的方法。进一步地，所述相机为带有apple ARKit平台的苹果iphone手机。

本发明提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述任一所述的方法。

本发明提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现上述任一所述的方法。

和现有技术相比，本发明通过人体模板模型拟合包含衣服褶皱等噪点信息的人体模型，然后进行身体腰围等各项体围参数测量的方法，可测量全身多个部位的长度、周长信息，测量速度快，精度高，且为全自动无接触式测量，可以广泛用于服装定制、医疗健康管理监测，市场应用前景广泛。

本发明中采用的基于ARKit采集稀疏的三视角人体图像，重建出高精度的人体三维模型，输入简单、数据采集软件对用户非常友好、人工干预少，其他数据处理与三维模型重建均由算法代码全自动完成，具备很大的应用市场。

附图说明

图1为采集彩色图像的说明图；

图2为采集彩色图像的说明图；

图3为彩色图像重建出的包含噪点的人体模型的示意图；

图4为模板模型(template mesh)的示意图；

图5为模板模型姿势拟合后的示意图；

图6为模板模型形状拟合后的示意图；

图7为测量得出结果的说明图。

具体实施方式

现结合附图对本发明作进一步地说明。

参见图1至图5，图1至图5所展示的是本发明的一个实施例，本实施例目的是测量身体参数，主要的过程为：

步骤一，用相机围绕人体采集若干不同视角的彩色图像；

步骤二，通过相机的位置、姿态和内、外参矩阵提取图像特征，预测其深度信息并融合得到人体模型；

步骤三，将人体模型进行非刚体变形，使其与模板模型一致；

步骤四，提取变形后的模板模型的顶点坐标，计算获得身体参数。

其中，所采用的设备包括：用于围绕人体采集若干不同视角的彩色图像的相机。相机优选为带有apple ARKit平台的苹果iphone手机；ARKit是苹果所推出的AR开发平台，开发人员可以使用带有ARKit工具的iPhone或iPad创建增强现实应用程序。本实施例中，ARKit实现了数据采集等功能。

服务器，所述相机和服务器通信连接；所述服务器包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述的方法。

首先，采集人体的彩色图像。并可基于上述方法的要求而开发一个iphone端的手机app，该app主要功能如下：

参见图1，可环绕人体每隔120°拍摄一张RGB图像，同时通过apple ARKit进行实时人像抠图去除背景，拍摄图像的同时输出当前相机的内部参数和外部参数，再提醒用户输入身高信息。将这些数据通过http通信协议传输到远程云端的服务器上。

其中，实现每隔120°拍摄图像的方法是：通过iPhone自带的传感器，例如三轴陀螺仪，读取该传感器获取的手机翻滚、偏航、俯仰的角度，即可实现手机每旋转120°，即提醒用户可以进行图像采集。

参见图2，为了去除背景对人体三维重建的影响，需要进行抠图。而人像抠图背景去除的方法是：采用卷积神经网络进行语义分割；首先，执行目标检测算法提取人所在的位置，然后再进行显著性检测，得到去除背景的人体图像。

其中，相机内外参矩阵获取与处理的方法是：apple ARKit能够基于单目视觉与惯性传感器的slam方式从视频流获取的图像中实时提取图像特征，来用于估算自身位置和姿态。

由于apple ARKit中的相机坐标系的定义是：y轴方向与重力方向相反，x轴方向水平向右，z轴方向满足右手法则，而后续重建中使用的opencv库中相机坐标系的定义是：水平向右、垂直向下分别为x轴y轴，z轴满足右手法则，所以先进行坐标系变换，实现坐标系统一。

其次，参见图3，三维人体重建。先渲染训练数据。由于拍摄三张图像时，相机位姿决定了其在世界坐标系中的位置，所以需要先将训练集中的500个网格,通过刚体变换，转换到该三个相机位姿的公共可见部位，然后根据阶段一获取的相机内参矩阵和位姿，得到相机投影矩阵；使用OpenGL render模块，根据该投影矩阵，即可从网格上将三维点投影到2D图像上，生成三个视角的图像。为了增加数据的多样性，提高后续三维人体重建时算法的泛化能力，本实施例还进行了数据增强工作，即分别对相机到网格的距离、相机的俯仰角、翻转角、偏航角添加高斯扰动噪声；除此以外，还对网格的大小、朝向进行了一定程度的随机扰动，并重新计算了添加噪声扰动后生成的人体图像对应的相机位姿和内参矩阵。最终，得到了由500组训练数据组成的训练集。每组数据包含：三个视角下去背景的人体彩色图片，对应的相机内参矩阵和相机之间的相对位姿，以及从网格上采样得到的网格内部和外部的3D点坐标。

再通过三个不同视角的去背景图像，以及对应的相机内参矩阵和相机位姿矩阵，可以通过visual hull算法得到一个粗糙的三维人体模型。为了得到高精度的三维人体模型，训练神经网络：首先通过卷积神经网络Hourglass提取图像特征，然后从网格上采样3D点，再根据相机位姿和内参矩阵得到的相机投影矩阵，建立起3D点与图像2D点的对应关系。在此基础上，通过多层感知机MLP预测图像像素对应的3D点是在网格的内部还是外部的概率，由于是三视角图像，每次会得到三个概率，需要将这三个概率值进行取平均，再通过有监督的方式，迭代优化预测的值与真实值之间的L2距离。再通过预测的结果和真实结果之间的交并比来判断算法学习的结果的好坏,当IOU越接近1时，表明学习结果越好。最终，算法能够很好地预测出哪些点属于人体表面的点，有了这些离散的点，通过marching cubes算法即可重建出最终的三维人体模型。再次，在得到将人体模型进行非刚体变形，使其与模板模型一致。

参见,4、图5，先执行骨骼变形配准。为了将人体模型变形到模板模型的骨架一致，需要先将人体模型和模板模型进行粗对齐，粗对齐的方法是先计算各自的质心，然后执行一次刚体变换，将两个网格的质心重合到同一个点，再分别提取人体模型和模板模型上的四肢端点和头顶点共五个点作为对应点，执行最近邻点迭代算法，进行刚体变换，实现粗对齐。

粗对齐完成后，需要进行骨骼关节点变形，将人体模型的骨骼动作变形到和模板模型相同。人体关节可以在一定范围内进行任意运动，且各个关节点之间存在级联关系，即父节点的运动会影响自身运动以及其子节点的运动。为了实现骨骼变形配准，首先已知模板模型每个关节点的3D坐标，然后在需要变形的关节处执行一个局部旋转变换矩阵，将运动链上的局部旋转变换矩阵连乘，即可得到该关节点的全局变换矩阵，通过最小化人体模型和模板模型的对应关节点之间的欧氏距离，即可实现骨骼变形配准。

骨骼配准后，需要进行蒙皮操作，即建立骨骼点和网格顶点的关联关系，将网格表明变形到适配当前的骨骼姿态。每个骨骼点会关联许多顶点，并且每一个顶点权重不一样。当骨骼点发生旋转平移变换后，其关联的网格顶点也会发生不同程度的位置变换。通过控制骨骼点的旋转向量即可控制整个网格的变形，网格顶点变换公式如下：

首先，得到模板模型骨骼点的3D坐标，并通过热扩散方程计算出每个骨骼点与其周围的mesh顶点的权重w；基本原则是距离骨骼点欧氏距离越小的权重越大，权重的范围在0-1之间。在骨骼变形配准阶段能够得到每个骨骼点的变换矩阵T，v_p是变换前的网格顶点，v’_p是变换后网格的顶点，通过此公式，即可得到姿态变换后网格上每个顶点的坐标，从而得到新的网格。

参见图6，网格的动作对齐后，再进行非刚体变形配准即可实现形状对齐。非刚体变形配准的方法是：对模板模型上的每一个顶点进行旋转平移变换，使得其上的每个顶点位置最接近人体模型上的对应点，同时整个模板模型在局部保持光滑。为了减少计算量并提高拟合的速度，本实施例采用了变形图片(deformation graph)的方法，即先在人体模型上以测地距离(geodesic distance)为度量标准，对所有顶点以固定的测地距离系数进行均匀等间隔采样，后续优化人体模型和模板模型对应点的误差时，只优化这些采样后的关键点，关键点控制的关联点只需在全局优化时保证平滑即可。

最后，参见图7，测量身体各体围的参数。由于每次重建的人体模型的拓扑结构一直在变化，但模板模型的拓扑结构不会发生变化，因此，很容易提取出臂围、腰围等需要测量的部位的顶点的ID。

由于组成腰围等部位的顶点个数非常密集，且其分布基本在同一个圆周平面上，所以可以直接计算相邻两点之间的距离，并求和，通过密集的直线段组成的多边形来近似表达腰围等即可得到高精度的测量结果。

但同样的取点方法在拓扑结构复杂的胸围等处，会带来很大的误差。原因在于其直接提取的顶点不在同一个圆周平面上，从而组成胸围的曲线并不在同一个平面上，这就会使得测量的皮尺上下弯曲的围一圈，导致测量结果远大于实际结果。本专利在测量复杂拓扑结构部位，进行插值处理，使得组成胸围的点尽量分布在一个平面内，大大提高了这些部位的测量精度。

参见图2，本发明还提供一种模型优化部署系统，包括：采集模块，围绕人体采集若干不同视角的彩色图像；

建模模块，通过相机的位置、姿态和内、外参矩阵提取图像特征，预测其深度信息并融合得到人体模型；

变形模块，将人体模型进行非刚体变形，使其与模板模型一致；

计算模块，提取变形后的模板模型的顶点坐标，计算身体参数。

作为优选，采集模块采用appleARKit平台。

作为优选，采集模块环绕人体每隔120°拍摄一张RGB图像，同时通过apple ARKit进行实时人像抠图去除背景，拍摄同时输出当前相机的内部参数和外部参数，再提醒用户输入身高信息。

作为优选，采集模块的apple ARKit基于单目视觉与惯性传感器的同步定位与地图绘制方式，从视频流获取的图像中实时提取图像特征，用于估算自身位置和姿态。

作为优选，建模模块通过三个不同视角的去背景的彩色图像、相机内参矩阵和相机位姿矩阵，通过visual hull算法得到粗糙的三维人体模型；通过卷积神经网络Hourglass提取图像特征，然后从网格上采样3D点并建立3D点与图像2D点的对应关系，通过预测深度信息获取属于人体表面的3D点，以此重建出人体模型。

作为优选，变形模块计算模板模型、人体模型的质心，然后执行一次刚体变换，将质心重合到同一个点，再分别提取两者的四肢端点和头顶点作为对应点，执行最近邻点迭代算法进行刚体变换，实现粗对齐。

作为优选，粗对齐后，在模板模型需变形的关节处执行局部旋转变换矩阵，将运动链上的局部旋转变换矩阵连乘，即可得到该关节点的全局变换矩阵，通过最小化两者的对应关节点之间的欧氏距离，即可实现骨骼变形配准。

作为优选，骨骼配准后，变形模块进行蒙皮操作，骨骼点和网格顶点变换公式：

W为每个骨骼点与其周围的网格顶点的权重w；T为每个骨骼点的变换矩阵T，v_p是变换前的mesh顶点，v’_p是变换后mesh的顶点。

作为优选，网格姿态对齐后，变形模块再进行非刚体变形配准：对模板模型上的每一个顶点进行旋转平移变换，使得其上的每个顶点位置最接近人体模型上的对应点。

作为优选，计算模块通过模板模型的拓扑结构获取顶点坐标，计算身体参数。在一些实施方式中，本实施例中涉及的存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。

在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行上述方法步骤。

本发明实施例还提供一种芯片，用于执行上述的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述方法。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明上述的方法的步骤。

例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。

本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述方法。

本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。

在本申请实施例中，所公开的系统、电子设备和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。

尤其要说明的是，本实施例不同于前述《多深度相机人体参数测量方法及装置》中直接通过优化SMPL模板模型中控制其动作和形状的参数的方法，实现SMPL模板拟合其深度相机阵列重建的人体模型的动作和形状的方法。该方法有以下两个问题会导致其SMPL模板模型拟合人体模型的效果较差：

1)SMPL模板模型与中国人的体态不是很匹配；

2)SMPL模板模型控制人体形状变化的参数只有10个，无法做到准确的改变身体形状。

当模板模型的形状无法准确的拟合原始人体模型时，会给身体参数的测量带来较大的误差，导致应用失效。

本实施例中所使用的模板模型优选在SMPL的基础上通过动画师利用MAYA软件进行手动修整，使得其更符合中国人的常见体态的平均值。

更重要的是，本实施例通过骨骼驱动的方式拟合动作，但是在形状拟合部分，是对模板模型进行了非刚体变形配准，能够将模板模型局部几何细节表面优化到同原始人体模型一致，使得模板模型能够更加准确的表达人体模型的形状，从而保证了测量的精度。

综上，本实施例可通过人体模板模型拟合包含衣服褶皱等噪点信息的人体模型，然后进行身体腰围等各项体围参数测量的方法，可测量全身多个部位的长度、周长信息，测量速度快，精度高，且为全自动无接触式测量，可以广泛用于服装定制、医疗健康管理监测，市场应用前景广泛。

本实施例中采用的基于ARKit开发的数据采集APP，并使用该APP采集稀疏的三视角人体图像，重建出高精度的人体三维模型。该人体三维重建方法输入简单、数据采集软件对用户非常友好、人工干预少，其他数据处理与三维模型重建与几何纹理贴图均由算法代码全自动完成，具备很大的应用市场。

上面结合附图及实施例描述了本发明的实施方式，实施例给出的结构并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。