阅读说明：本技术 一种基于单个深度相机的手部骨架高精度三维重建方法 (High-precision three-dimensional reconstruction method for hand skeleton based on single depth camera ) 是由 陆遥 信闫奇 朱庆堂 吕璐璐 刘小林 于 2020-02-24 设计创作，主要内容包括：本发明涉及计算机视觉和计算机图形学技术领域,更具体地,涉及一种基于单个深度相机的手部骨架高精度三维重建方法。一种基于单个深度相机的手部骨架高精度三维重建方法,利用单个深度相机多角度采集手部深度数据和RGB数据,提取RGB图像中的手部骨架关键点并映射到对应的深度数据点,将多角度采集到的精确关键点匹配,同时利用手部骨架拓扑结构校正,得到高精度的手部骨架三维模型。本发明可以解决基于视觉图像序列三维重建方法中受距离、光线以及手部自身遮挡等因素影响下精度不足的问题,能够重建出真实的高精度的手部骨架三维模型。(The invention relates to the technical field of computer vision and computer graphics, in particular to a high-precision three-dimensional reconstruction method of a hand skeleton based on a single depth camera. A hand skeleton high-precision three-dimensional reconstruction method based on a single depth camera comprises the steps of collecting hand depth data and RGB data through the single depth camera in multiple angles, extracting hand skeleton key points in RGB images and mapping the key points to corresponding depth data points, matching the accurate key points collected in multiple angles, and correcting through a hand skeleton topological structure to obtain a high-precision hand skeleton three-dimensional model. The method can solve the problem of insufficient precision under the influence of factors such as distance, light, hand self-shielding and the like in a three-dimensional reconstruction method based on the visual image sequence, and can reconstruct a real high-precision hand skeleton three-dimensional model.)

一种基于单个深度相机的手部骨架高精度三维重建方法

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，更具体地，涉及一种基于单个深度相机的手部骨架高精度三维重建方法。

背景技术

手部骨架模型在生物医学工程、物理疗法、医学诊断和康复学中都有研究。对手部骨架的三维建模不仅在疗养院、医院等场所有广泛的需求，在游戏产业、安全防护、工伤认定、军工仿真等领域也有很多应用。在运动功能评估、场景监控、生物测量学发展的推动下，对人的手部骨架进行高精度的三维重建受到广泛的重视。高精度的手部骨架三维重建一直是计算机视觉和图形学领域的热点研究问题之一。建立高精度的手部骨架三维重建模型，尤其是针对各种病变、关节缺失的手部建立精准的三维骨架模型是一项极具挑战性的任务。目前通用的手部骨架三维重建方法多是基于视觉图像序列。由于视觉感知会受到距离、光线变化以及手部自身遮挡等因素影响，导致效率和精度等性能降低，从而难以重建出真实的高精度的手部骨架三维模型。

发明内容

本发明为克服现有技术中基于视觉图像序列的手部骨架三维重建方法中，由于视觉感知会受到距离、光线变化以及手部自身遮挡等因素影响，导致效率和精度等性能降低，从而难以重建出真实的高精度的手部骨架三维模型的问题，提出一种基于单个深度相机的手部骨架高精度三维重建方法。

为解决上述技术问题，本发明采用的技术方案是：

一种基于单个深度相机的手部骨架高精度三维重建方法,包括以下步骤：

S1：标定单个深度相机的深度数据、RGB数据内部参数以及多角度的外部位置参数，利用单个深度相机多角度采集手部的深度数据和RGB数据；

S2：对各个角度采集到的手部RGB数据分割出该角度下的手部骨架关键点二维图，将二维手部骨架关键点映射到对应的深度数据中，得到该角度下的手部骨架关键点三维结构；

S3：利用步骤S1中的多角度外部位置参数，将步骤S2中的各角度下的手部骨架关键点三维结构配准到同一个三维坐标系下，得到初步手部骨架三维模型；S4：利用手部骨架拓扑结构，对步骤S3中得到的初步手部骨架三维模型进行手指中心线校正、手部整体拓扑结构校正，得到高精度的手部骨架三维模型。

优选地，所述步骤S2具体包括以下步骤：

s21：对步骤S1中得到的RGB手部图像数据使用双边滤波进行平滑去噪，得到低噪音并且保持特征的数据；

s22：使用深度学习技术训练手部关键点提取模型，分割出步骤s21中RGB图像中的手部关键点二维坐标；

s23：将步骤s22中获取手部关键点二维坐标与该RGB图像对应的深度数据对应，获得深度坐标，得到该角度下手部骨架关键点三维结构。

优选地，所述步骤S3主要包括以下步骤：

s31：分析对于各角度下提取的手部骨架关键点，选取2个或2个以上共同看到的关键点；

s32：利用步骤S1中设定的相机外部位置参数，结合步骤s31中选取的关键点，固定一个角度，将其它角度下的关键点匹配到固定的角度下的三维坐标系下，得到初步手部骨架三维模型。

优选地，所述步骤S4主要包括以下步骤：

s41：对步骤s32中得到的初步手部骨架三维模型，利用手部拓扑结构，针对手指、手掌部分关键点，将从其他角度配准过来的关键点匹配到同一个手部拓扑结构上；

s42：对步骤s41中校正后的手部骨架三维模型，利用手部拓扑结构，整体校正手部骨架三维模型，得到高精度手部骨架三维模型。

与现有技术相比，有益效果是：

本发明解决了基于视觉图像序列三维重建方法中受距离、光线以及手部自身遮挡等因素影响下精度不足的问题，能够重建出真实的高精度的手部骨架三维模型。

附图说明

图1是本发明中整体步骤流程图；

图2是本发明中单角度手部骨架关键点提取步骤流程图；

图3是本发明中多角度手部骨架关键融合步骤流程图；

图4是本发明中手部骨架拓扑结构校正步骤流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例1

如图1所示，一种基于单个深度相机的手部骨架高精度三维重建方法,包括以下步骤：

S1：标定单个深度相机的深度数据、RGB数据内部参数以及多角度的外部位置参数，利用单个深度相机多角度采集手部的深度数据和RGB数据；

S2：对各个角度采集到的手部RGB数据分割出该角度下的手部骨架关键点二维图，将二维手部骨架关键点映射到对应的深度数据中，得到该角度下的手部骨架关键点三维结构；

S3：利用步骤S1中的多角度外部位置参数，将步骤S2中的各角度下的手部骨架关键点三维结构配准到同一个三维坐标系下，得到初步手部骨架三维模型；

S4：利用手部骨架拓扑结构，对步骤S3中得到的初步手部骨架三维模型进行手指中心线校正、手部整体拓扑结构校正，得到高精度的手部骨架三维模型。

需要说明的是，在步骤S1中，深度相机采集RGB图像的时候同时采集深度图像数据，两者是完全对应的，深度图像数据就是RGB图像中的每个点到摄像头的距离。

如图2所示，步骤S2具体包括以下步骤：

s21：对步骤S1中得到的RGB手部图像数据使用双边滤波进行平滑去噪，得到低噪音并且保持特征的数据；

s22：使用深度学习技术训练手部关键点提取模型，分割出步骤s21中RGB图像中的手部关键点二维坐标；

s23：将步骤s22中获取手部关键点二维坐标与该RGB图像对应的深度数据对应，获得深度坐标，得到该角度下手部骨架关键点三维结构。

如图3所示，步骤S3主要包括以下步骤：

s31：分析对于各角度下提取的手部骨架关键点，选取2个或2个以上共同看到的关键点；

s32：利用步骤S1中设定的相机外部位置参数，结合步骤s31中选取的关键点，固定一个角度，将其它角度下的关键点匹配到固定的角度下的三维坐标系下，得到初步手部骨架三维模型。

需要说明的是，步骤s32是一个数学坐标变换，通过两个坐标系中共同的点，把其中一个坐标系中感兴趣的点变换到另一个坐标系中。

如图4所示，步骤S4主要包括以下步骤：

s41：对步骤s32中得到的初步手部骨架三维模型，利用手部拓扑结构，针对手指、手掌部分关键点，将从其他角度配准过来的关键点匹配到同一个手部拓扑结构上；

s42：对步骤s41中校正后的手部骨架三维模型，利用手部拓扑结构，整体校正手部骨架三维模型，得到高精度手部骨架三维模型。

需要说明的是，由于手指、手掌是有厚度的，单角度下的得到手部关键点其实来说是在手的皮肤表面的，固定一个角度，把其他角度分割出来的关键点融合之后得到的初步重建的手部骨架，就会出现有些关键点实际上是在手的皮肤另外一面，带来很大误差，利用手部拓扑结构，可以把初步重建的手部骨架三维模型中从其他角度匹配过来的点，校正到一个拓扑结构上，从而得到高精度手部骨架三维模型。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。