阅读说明：本技术 一种基于无人机以及机载设备击打红松松塔的方法及装置 (Method and device for striking Korean pine pinecone based on unmanned aerial vehicle and airborne equipment ) 是由 周文雅 李哲 吴立志 王冠珺 于 2020-07-16 设计创作，主要内容包括：本发明提供一种基于无人机以及机载设备击打红松松塔的方法及装置。本发明方法,包括：获取红松山林的高清图像；对高清图像进行处理,规划无人机的飞行路径；基于规划的飞行路径,获取红松松塔的双目图像；基于双目图像确定松塔相对于无人机的位置,进而确定松塔相对击打设备的位置偏差；消除位置偏差；对红松松塔进行击打,获取击打过程中红松松塔的双目图像,判断松塔是否被完全打掉,松塔被完全打掉后,无人机飞往下一棵红松,继续作业。本发明装置,包括：无人机以及搭载在无人机上的机载设备；机载设备包括高分相机、双目摄像头、图像处理器、击打设备以及支撑杆；本发明的技术方案能够有效击落松塔,且将人从采摘松塔的高危劳动中解放出来。(The invention provides a method and a device for striking a pine cone of Korean pine based on an unmanned aerial vehicle and airborne equipment. The method comprises the following steps: acquiring a high-definition image of a Korean pine mountain forest; processing the high-definition image, and planning a flight path of the unmanned aerial vehicle; acquiring a binocular image of the pine cone of the Korean pine based on the planned flight path; determining the position of the pine cone relative to the unmanned aerial vehicle based on the binocular image, and further determining the position deviation of the pine cone relative to the striking equipment; eliminating the position deviation; beating the pine cone of the Korean pine, acquiring a binocular image of the pine cone of the Korean pine in the beating process, judging whether the pine cone is completely beaten, and after the pine cone is completely beaten, flying the next Korean pine by the unmanned aerial vehicle to continue operation. The device of the invention comprises: the unmanned aerial vehicle comprises an unmanned aerial vehicle and airborne equipment carried on the unmanned aerial vehicle; the airborne equipment comprises a high resolution camera, a binocular camera, an image processor, striking equipment and a supporting rod; the technical scheme of the invention can effectively knock down the pine cones and release people from high-risk labor of picking the pine cones.)

一种基于无人机以及机载设备击打红松松塔的方法及装置

技术领域

本发明涉及无人机设计与应用技术领域，具体而言，尤其涉及一种基于无人机以及机载设备击打红松松塔的方法及装置。

背景技术

我国红松树木分布广泛，数量巨大。红松松塔是人们喜爱的食品，价格多年来居高不下。农民为了获得红松松塔带来的收益，于每年9月中旬至10月中旬进行松塔采摘。目前采摘红松松塔的手段是依靠人爬树，然后用长杆或叉子击打松塔。由于红松松塔全部长在树尖的位置，人必须爬到树尖附近才能击打到松塔。由于操作空间狭小、树枝形成的障碍多、树木顶部的树干较细等因素，人很难在树上稳定作业，稍有不慎就有掉下来的危险。每年因采摘松塔造成的人员伤亡事故屡见不鲜。同时，林区中树木密度高、地形复杂、地面枯枝纵横等因素导致机械作业在林区无法开展。目前国内外没有专用的装备用于采摘红松松塔，而采摘松塔又属于高危作业，存在雇不到人的问题。因此，有必要研制一种专用装备用于采摘红松松塔。

发明内容

根据上述提出的技术问题，而提供一种基于无人机以及机载设备击打红松松塔的方法及装置。本发明主要利用无人机及其机载设备采摘松塔，具有效率高、成本低、风险小等诸多优势。

本发明采用的技术手段如下：

一种基于无人机以及机载设备击打红松松塔的方法，所述方法包括：

获取红松山林的高清图像；

对所述获取的高清图像进行处理，规划无人机的飞行路径；

基于所述规划的飞行路径，获取红松松塔的双目图像；

基于所述获取的双目图像确定松塔相对于无人机的位置，进而确定松塔相对击打设备的位置偏差；

消除所述位置偏差；

对红松松塔进行击打，获取击打过程中红松松塔的双目图像，判断松塔是否被完全打掉，松塔被完全打掉后，无人机飞往下一棵红松，继续作业。

进一步地，所述对所述获取的高清图像进行处理，规划无人机的飞行路径，包括：

利用无人机携带的高分相机，通过倾斜摄影方法对任务区域内山林进行高清拍摄，并通过图像处理方法构建山林高清数字地图；

在所述高清数字地图中，以红松松叶特征或红松松塔为目标，采用人工查找或图像识别方法标记每一棵红松的地理位置和高度，形成红松树尖部位的三维位置坐标(x_n，y_n，z_n)，其中，下标n代表松树标号。

进一步地，所述基于所述规划的飞行路径，获取红松松塔的双目图像，包括：

将无人机的飞行路径信息装载在无人机飞控组件中，无人机按照规划路径循迹飞行；

当无人机到达红松顶部时，利用双目摄像头及目标识别和定位算法识别出松塔。

进一步地，所述基于所述获取的双目图像确定松塔相对于无人机的位置，进而确定松塔相对击打设备的位置偏差，包括：

确定红松松塔在无人机坐标系Oxyz中的位置(x₁，y₁，z₁)；

确定击打设备在无人机坐标系中的位置(x₂，y₂，z₂)；

确定红松松塔与击打设备间的位置偏差，为Δx＝x₁-x₂，Δy＝y₁-y₂，Δz＝z₁-z₂。

进一步地，所述消除所述位置偏差，包括：

利用所述位置偏差形成无人机悬停位置微调的控制指令，调整无人机的悬停位置，直到Δx→0，Δy→0，Δz→0时，无人机停止机动。

本发明还提供了一种基于无人机以及机载设备击打红松松塔的装置，包括无人机以及搭载在所述无人机上的机载设备；

所述无人机采用多旋翼无人机；

所述机载设备包括高分相机、双目摄像头、图像处理器、击打设备以及支撑杆；所述高分相机连接在所述无人机的云台上；所述双目摄像头连接图像处理器，所述双目摄像头和图像处理器均设置在所述无人机的机架上；所述击打设备与所述无人机之间通过支撑杆刚性连接。

进一步地，所述击打设备包括：杆式击打设备和螺旋桨叶式击打设备。

进一步地，所述双目摄像头和图像处理器与无人机相对位置保持不动。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现上述基于无人机以及机载设备击打红松松塔的方法。

较现有技术相比，本发明具有以下优点：

本发明提供的基于无人机以及机载设备击打红松松塔的方法及装置，主要利用无人机及其机载设备采摘松塔，将人从采摘松塔的高危作业中解放出来，而且也同时降低了松塔采摘的人力成本。

基于上述理由本发明可在无人机设计与应用等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的采摘红松松塔作业流程图。

图2为本发明实施例提供的基于双目摄像头实现目标定位示意图。

图3为本发明装置结构框图。

图4为本发明装置无人机结构示意图。

图5为本发明实施例提供的两种机载击打设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下结合附图对本发明实施例做进一步详述。

如图1所示，本发明提供了一种基于无人机以及机载设备击打红松松塔的方法，包括：

步骤1：获取红松山林的高清图像；对所述获取的高清图像进行处理，规划无人机的飞行路径；在本实施例中，具体的：

利用无人机携带的高分相机，通过倾斜摄影技术对任务区域内山林进行高清拍摄，并通过图像处理方法构建山林高清数字地图；

在所述高清数字地图中，以红松松叶特征或红松松塔为目标，采用人工查找或图像识别方法标记每一棵红松的地理位置和高度，形成红松树尖部位的三维位置坐标(x_n，y_n，z_n)，其中，下标n代表松树标号。再利用人工或优化方法，基于红松的分布情况规划无人机(群)飞行路径；

在本实施例中，图像处理方法及图像识别方法可以采用开源软件实现，本实施例并不限定使用为某一种具体的图像处理方法及图像识别方法。

步骤2：基于所述规划的飞行路径，获取红松松塔的双目图像；在本实施例中，具体的：

将无人机的飞行路径信息装载在无人机飞控组件中，无人机按照规划路径循迹飞行；

当无人机到达红松顶部时，利用双目摄像头及目标识别和定位算法识别出松塔。

本实施例中，路径规划算法并不限定为某一种方法，具体可采用目前已成熟的传统算法(模拟退火法、人工势场法、模糊逻辑法、禁忌搜索法)、图形学方法(Voronoi图算法、C空间法、栅格法)、智能仿生学算法(蚁群算法、神经网络算法、遗传算法)等。

步骤3：基于所述获取的双目图像确定松塔相对于无人机的位置，进而确定松塔相对击打设备的位置偏差；在本实施例中，具体的：

通过双目测距原理确定红松松塔在无人机坐标系Oxyz中的位置(x₁，y₁，z₁)；如图2所示，P为红松松塔的空间位置，其在左右眼相机成像为P_L和P_R，O_L、O_R为左右光圈，方框为相机成像平面，f为焦距，b为双目相机的基线，u_L和u_R为成像平面的坐标。根据ΔPP_LP_R和ΔPO_LO_R的相似关系，有即x₁、y₁亦可通过类似原理获得，故在此处不作赘述。

确定击打设备在无人机坐标系中的位置(x₂，y₂，z₂)；

确定红松松塔与击打设备间的位置偏差，为Δx＝x₁-x₂，Δy＝y₁-y₂，Δz＝z₁-z₂。

步骤4：消除上述位置偏差；在本实施例中，具体的：

利用上述位置偏差形成无人机悬停位置微调的控制指令，调整无人机的悬停位置，直到Δx→0，Δy→0，Δz→0时，无人机停止机动。

步骤5：对红松松塔进行击打，获取击打过程中红松松塔的双目图像，判断松塔是否被完全打掉，松塔被完全打掉后，无人机飞往下一棵红松，继续作业。

如图3所示，本发明提供了一种基于无人机以及机载设备击打红松松塔的装置，包括无人机以及搭载在所述无人机上的机载设备；如图4所示，所述无人机采用多旋翼无人机；所述机载设备包括高分相机、双目摄像头、图像处理器、击打设备以及支撑杆；所述高分相机连接在所述无人机的云台上；所述双目摄像头连接图像处理器，所述双目摄像头和图像处理器均设置在所述无人机的机架上，双目摄像头和图像处理器与无人机相对位置保持不动，所述击打设备与所述无人机之间通过支撑杆刚性连接。

具体实施时，所述击打设备优选杆式击打设备和螺旋桨叶式击打设备，

杆式击打设备如图5(a)所示，支撑杆的一端固定连接到无人机上，另一端配有电机，电机的输出轴经过减速齿轮传动后带动横杆转动；横杆的两端各固接一个“工”字型杆，这两个“工”字型杆在空间上成垂直关系。利用“工”字型击打杆，通过电机旋转使其绕着横轴转动实现击打松塔。

螺旋桨叶式击打设备如图5(b)所示，支撑杆的一端固定连接到无人机上，另一端配有电机，螺旋桨叶片在电机带动下高速旋转，从而实现对松塔的击打或切割。这种设计可以有效减少击打设备与树枝之间的缠绕。

在本实施例中，击打设备不限于上述两种，只要能够实现对红松松塔击打效果的装备均可。击打设备的安装方式不限于图3所示的竖装，也可以通过支撑杆设计为横装，甚至也可以采用伸缩支撑杆设计来调节击打设备的位置。

本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于无人机以及机载设备击打红松松塔的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。