阅读说明：本技术 一种基于深度相机的捕捉飞行物体的方法 (Depth camera-based flying object capturing method ) 是由 张东 谭咏雯 黄蕴 谭宇琛 张金铎 邱雨玮 于 2019-08-28 设计创作，主要内容包括：本发明公开了一种基于深度相机的捕捉飞行物体的方法,包括：步骤S1,运用深度相机获得飞行物体画面的深度图像,根据所述深度图像进行基于pcl点云库的点云三维处理,运用直通滤波和欧式聚类算法提取出该飞行物体,计算飞行物体的质点在世界坐标系下的三维坐标,并保存其三维坐标和节点；步骤S2,将飞行物体投射到三维空间中,仅考虑重力的影响,其运动轨迹为抛物线方程,引入坐标变换,将抛物线变换成xoy平面进行二元方程计算,根据每一帧进行步骤S1获得的三维坐标数据求解中抛物线的参数方程,获得飞行物体的运动轨迹。本发明只需要一台深度相机即可,并且所拟合的轨迹方程是三维坐标下的轨迹方程,能更好地描述实际的飞行过程。(The invention discloses a method for capturing flying objects based on a depth camera, which comprises the following steps: step S1, obtaining a depth image of a flying object picture by using a depth camera, carrying out point cloud three-dimensional processing based on a pcl point cloud base according to the depth image, extracting the flying object by using a direct filtering and European clustering algorithm, calculating the three-dimensional coordinates of particles of the flying object in a world coordinate system, and storing the three-dimensional coordinates and nodes; and S2, projecting the flying object into a three-dimensional space, only considering the influence of gravity, introducing coordinate transformation, transforming the parabola into an xoy plane for binary equation calculation, solving the parabolic parameter equation in the three-dimensional coordinate data obtained in the step S1 according to each frame, and obtaining the motion trail of the flying object, wherein the motion trail is a parabolic equation. The invention only needs one depth camera, and the fitted track equation is a track equation under three-dimensional coordinates, so that the actual flight process can be better described.)

一种基于深度相机的捕捉飞行物体的方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度相机的捕捉飞行物体的方法，主要应用于飞行物体的追踪或轨迹拟合。

背景技术

为了准确地预测和记录在诸如室内网球练***面的图像获取，所拟合的轨迹只能是一个平面上的轨迹方程，这显然不能更好得描述飞行物体实际的飞行轨迹。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度相机的捕捉飞行物体的方法，该技术能实现获得飞行物体在三维坐标下的飞行数据，并且拟合飞行物体在三维坐标下的飞行轨迹。

本发明的目的至少通过以下技术方案之一来实现：

一种基于深度相机的捕捉飞行物体的方法，包括：

步骤S1，运用深度相机获得飞行物体画面的深度图像，根据所述深度图像进行基于pcl点云库的点云三维处理，运用直通滤波和欧式聚类算法提取出该飞行物体，计算飞行物体的质点在世界坐标系下的三维坐标，并保存其三维坐标和节点；

步骤S2，将飞行物体投射到三维空间中，仅考虑重力的影响，其运动轨迹为抛物线方程，引入坐标变换，将抛物线变换成xoy平面进行二元方程计算，根据每一帧进行步骤S1获得的三维坐标数据求解中抛物线的参数方程，获得飞行物体的运动轨迹。

优选地，所述步骤S1包括：

步骤S11，将深度相机放置合适的拍摄位置；

步骤S12，开始获取从深度相机中每一帧的深度图像，用于进行后续的处理；

步骤S13，使用pcl点云库中的直通滤波，在三个维度上提取飞行物体范围内的区域，去除掉多余的外部区域，减少外界影响；

步骤S14，使用pcl点云库中的欧式聚类算法，先创建欧式聚类对象，设置好各个参数，进行欧式聚类滤波后，获得每一个聚类；通过对提取后的每个聚类进行条件筛选，筛选出最符合的飞行物体尺寸的唯一的聚类；如果在此过程并未能筛选出符合飞行物体尺寸的聚类，则判定为范围没出现该飞行物体，返回步骤S12继续；

步骤S15，若步骤S14中成功划分出飞行物体聚类，则开始计算该聚类的三维空间中的质点，并提取其质点的三维坐标(x_n,y_n,z_n)；

步骤S16，将步骤S15中质心的三维坐标(x_n,y_n,z_n)和该帧下的节点n保存进数组或动态链表中。

优选地，所述步骤S2包括：

步骤S21，假设飞行物体始终在某一与y轴平行的平面下运动，定义θ为平面z＝z₁与抛物线所在平面之间的角度；

步骤S22，将每个点沿着y＝y₁轴旋转θ，经过简单的计算可得每个点变换为(x′_n+x₁,y_n,z₁)，其中

步骤S23，定义经过变换后投影在z＝z₁平面下的抛物线方程含x和y的二元方程，为Y＝aX²+bX+c；然后使用最小二乘法进行曲线拟合，求解出更优的抛物线方程；

步骤S24，判断飞行物体运动是否结束，若结束则进行步骤S25，否则继续获取从深度相机中每一帧的深度图像，用于进行后续的处理；

步骤S25，将抛物线方程参数保存进文件中，求解的最优抛物线曲线与实际飞行物体飞行轨迹的对比，所拟合的曲线与实际运动轨迹重合度较高。

优选地，所述步骤S21中，x_n、z_n是最新一帧或最后一帧的x和z坐标，x₁、z₁是是第一帧的x和z坐标。

优选地，步骤S11中，所述将深度相机放置合适的拍摄位置具体指将所述深度相机放置在能拍到飞行物体整个飞行轨迹的位置并与地面垂直，从而保证相机坐标系的y轴会与飞行物体抛物线所在平面平行。

优选地，所述深度相机包括基于结构光或tof的深度相机和双目相机。

优选地，所述步骤S12中，所述从深度相机获取的深度图像是能用于pcl点云库处理的点云图像。

相对于现有技术，本发明具有如下优点和技术效果：

1.本装置的不需要两个高速CCD相机，只需要一台深度相机或双目相机即可。

2.相比于传统方法中的二维平面，本发明所拟合的轨迹方程是三维坐标下的轨迹方程，更好地描述实际的飞行过程。

3.传统照相机受光线影响较大，而基于结构光或tof的深度相机具有主动投影的特点，能够达到较高的精度，也大大扩展了适用范围。

4.运用基于pcl点云库的算法处理能简单得排除范围外的物体，使得大大减少外界也在运动的物体的影响。

附图说明

图1是根据本发明实施例的一种基于深度相机的捕捉飞行物体的方法的流程示意图。

图2是在深度图像中用欧式聚类框出飞行物体的点云示意图。

图3是本发明实施例的坐标变换示意图。

具体实施方式

为更好地理解本发明，下面结合附图对本发明的具体实施例作进一步说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供的上述捕捉飞行物体系统只需一台深度相机，所述捕捉飞行物体系统能对运动捕获相机视野内的飞行物体进行实时定位和轨迹拟合。

参见图1，为本发明实施例提供的一种基于深度相机的捕捉飞行物体的方法的流程图，其主要包括：

步骤S1，运用深度相机获得飞行物体画面的深度图像，根据对深度相机获得的深度图像进行基于pcl点云库的点云三维处理，运用直通滤波和欧式聚类等算法提取出该飞行物体，计算飞行物体的质点在世界坐标系下的三维坐标，并保存其三维坐标和节点。

所述步骤S1主要包括：

步骤S11，将深度相机放置在能看到飞行物体整个飞行轨迹的位置，并且与地面垂直，保证相机坐标系的y轴会与飞行物体抛物线所在平面平行。

步骤S12，开始获取从深度相机中每一帧的深度图像，用于进行后续的处理。所述的深度图像是能用于pcl点云库处理的点云图像。

步骤S13，使用pcl点云库中的直通滤波，在三个维度上提取飞行物体范围内的区域，去除掉多余的外部区域，减少外界影响。

步骤S14，使用pcl点云库中的欧式聚类算法，先创建欧式聚类对象，设置好各个参数，进行欧式聚类滤波后,获得每一个聚类；并通过对提取后的每个聚类进行条件筛选，筛选出最符合的飞行物体尺寸的唯一的聚类，如图2所示。如果在此过程并未能筛选出符合飞行物体尺寸的聚类，则判定为范围没出现该飞行物体，返回步骤S12继续。

步骤S15，若步骤S14中成功划分出飞行物体聚类，则开始计算该聚类的三维空间中的质点，并提取其质点的三维坐标(x_n,y_n,z_n)。

步骤S16，将步骤S15中质心的三维坐标(x_n,y_n,z_n)和该帧下的节点n保存进数组或动态链表中。

步骤S2，当我们将飞行物体投射到三维空间中时，仅仅考虑重力的影响，它的运动轨迹是抛物线方程；在这里，如何用有效的方法推导抛物线方程是关键。如图3所示，引入坐标变换，将抛物线变换成xoy平面进行二元方程计算，根据每一帧进行步骤S1获得的三维坐标数据求解中抛物线的参数方程。

步骤S2主要包括：

步骤S21，假设飞行物体始终在某一与y轴平行的平面下运动；定义，θ为平面z＝z₁与抛物线所在平面之间的角度；其中x_n、z_n是最新一帧或最后一帧的x和z坐标，x₁、z₁是是第一帧的x和z坐标。

步骤S22，将每个点沿着y＝y₁轴旋转θ，经过简单的计算可得每个点变换为(x′_n+x₁,y_n,z₁)，并保存；其中

步骤S23，定义经过变换后投影在z＝z₁平面下的抛物线方程含x和y的二元方程，为Y＝aX²+bX+c；然后使用最小二乘法进行曲线拟合，求解出更优的抛物线方程。

步骤S24，判断飞行物体运动是否结束，若结束则进行步骤S25，否则继续获取从深度相机中每一帧的深度图像，用于进行后续的处理。所述的深度图像是能用于pcl点云库处理的点云图像步骤S25，将抛物线方程参数保存进文件中。

求解的最优抛物线曲线与实际飞行物体飞行轨迹的对比，所拟合的曲线与实际运动轨迹重合度较高。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。