具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照图1，一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质，其方法包括：

获取用户在初始状态下所有点位的初始位置，确定每个点位的序号、名称以及相邻点位的距离，并保存初始姿态模型；

获取RGB图像信息，并捕捉RGB图像中所有点位的目标位置；

根据IK算法、点位的初始位置以及图像中所有点位的目标位置，计算初始姿态模型做出与RGB图像信息一样的动作时，初始状态下每个相邻点位的旋转角度，并驱动初始姿态模型做出与RGB图像信息一样的动作。

在本实施例中，点位包括手指点位和身体点位，手指点位的获取步骤包括：

对手部区域的RGB图像采用MobileNetV2神经网络检测手指2D关键点，获得所述手指的2D点位；

对所述位手指的2D点位采用全连接神经网络，回归获得所述手指的3D点位。

在本实施例中，采用该方法检测到手指点位数目为21个。

进一步地，身体点位的获取步骤包括：

数据采集；

构建身体点位的backbone网络模型；

在本实施例中，网络输入为256*192大小的RGB图像，输出为肢体热度图L_2d、L_3d和点位热度图H_2d、H_3d。肢体热度图是覆盖对应肢体的一块矩形区域，比如小腿的肢体热度图就是覆盖小腿范围的矩形区域，其中L_2d和L_3d有所不同，L_2d每个肢体对应1张热度图，该热度图中，肢体矩形区域范围内的值为255，范围外的值为0，L_3d每个肢体对应3张热度图，肢体矩形区域范围内的值是对应肢体的3D方向(小腿的话就是脚踝3D坐标减去膝关节3D坐标)的归一化值：x、y、z。点位热度图是覆盖对应关节点的一个二维高斯分布，高斯分布峰值所在的位置就是关节点的2D位置，每个关节点都只有1张点位热度图。网络结构中，H₂D分支为仅使用H₂D数据集监督训练的分支，H₃D分支为使用H₃D数据集监督训练的分支。

根据数据，对身体点位的backbone网络模型进行训练；

对训练好的身体点位的网络模型输入身体区域的RGB图像，获得RGB图像的身体点位。

在本实施例中，数据采集包括身体的3D数据集和2D数据集；

3D数据集包括：

搜集或者建模较为逼真的3D人物模型，构建人物3D模型数据集；

搜集人物动画数据，同时也可以使用惯性动作捕捉设备采集一批人的动画数据，构建基础动作数据集；

使用常用的渲染软件(blender、UE4、Unity等)渲染人体动画；

在实际使用场景中，遇到无法准确检测的动作时，只需要动画师手动K出相应的动画。

2D数据集包括采集人像视频，并从人像视频中选取服饰、场景和动作丰富的图像。在实际使用场景中，遇到无法准确检测出人体2D点位的情况时，可以继续搜集对应场景、服饰的人物图像，标注2D点位扩充数据集即可。

在本实施例中，3D数据集H₃D包含31个点位；2D数据集H₂D包含25个点位。其中两个数据集中的点位顺序和含义如下表：

在本实施例中，对身体点位的backbone网络模型进行训练包括：

使用backbone网络模型中的loss函数对2D数据集进行训练，获取backbone网络模型的所有权重参数；

固定所有权重参数，使用loss函数分别对2D数据集和3D数据集进行训练，直至收敛；

解开权重参数中的weights，使用loss函数E_all以及交叉监督函数E_cross进行训练，直至收敛；

其中，为网络2D输出的第n张点位热度图heatmap，为2D数据集中的真实标注的点位热度图，为网络2D输出的第n张肢体热度图，为2D数据集中真实标注的肢体热度图；为网络3D分支输出的第n张点位热度图，为3D数据集中的真实标注点位热度图，为网络3D分支输出的第n张肢体热度图，为3D数据集中真实标注的肢体热度图；H_3d^2d为3D数据集中和2D数据集的共有点位；H_2d^3d表示2D数据集中和3D数据集的共有点位。

根据IK算法、点位的初始位置以及图像中所有点位的目标位置，计算初始姿态模型做出与RGB图像信息一样的动作时，初始状态下每个相邻点位的旋转角度包括：

根据所述点位的初始位置以及所述RGB图像中所有点位的目标位置，获得所有活动关节；

根据IK算法，计算每个所述活动关节中骨骼的旋转角度，其算法包括：

将一个所述活动关节中外侧顶端的所述点位放置对应的目标位置；

将所述活动关节中其余所述点位按照公式移动到对应位置；

将所述活动关节中内侧顶端的所述点位放置到所述点位的初始位置；

将所述活动关节中其余所述点位按照公式移动到对应位置；

式中，b_x为所述活动关节中任意点位的当前位置；b_x-1为与所述b_x相邻点位的当前位置；B_x为所述活动关节中任意点位对应的所述目标位置；B_x-1为与所述B_x相邻点位对应的所述目标位置；x为自然数；

判断每个所述点位的当前位置到所述目标位置的距离是否小于阈值；

若小于，则每个所述活动关节中骨骼的旋转角度；若大于，则循环迭代上述步骤直至每个所述点位的当前位置到所述目标位置的距离小于所述阈值。

本发明实施例提供一种基于单目RGB输入的移动端实时3D人体动作捕捉的系统，包括：

初始姿态模型模块，用于获取用户在初始状态下所有点位的初始位置，确定每个点位的序号、名称以及相邻点位的距离，并保存初始姿态模型；

捕捉模块，用于获取RGB图像信息，并捕捉RGB图像中所有点位的目标位置；

驱动模块，用于根据IK算法、点位的初始位置以及图像中所有点位的目标位置，计算初始姿态模型做出与RGB图像信息一样的动作时，初始状态下每个相邻点位的旋转角度，并驱动初始姿态模型做出与RGB图像信息一样的动作。

本发明实施例提供的一种电子设备，包括至少一个处理单元以及至少一个存储单元，其中，存储单元存储有程序，当程序被处理单元执行时，使得处理单元执行上述的方法。

本发明实施例提供的一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当程序在电子设备上运行时，使得电子设备执行上述的方法。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。