阅读说明：本技术 一种智能农业机器人及其控制方法 (Intelligent agricultural robot and control method thereof ) 是由 林森 郭文忠 刘玉坤 文朝武 贾海遥 王少磊 徐凡 贾冬冬 李友丽 周波 陈红 于 2019-09-19 设计创作，主要内容包括：本发明提供了一种智能农业机器人及其控制方法,包括移动机构和设置在移动机构上的视觉导航机构、超声波测距传感器、控制机构、视觉机构和执行末端；视觉机构用于进行目标检测,超声波测距传感器实时检测前进方向障碍物,移动机构根据视觉导航机构和超声波测距传感器获取的数据移动；视觉机构用于对目标农作物检测；控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息并以此确定执行区域；执行末端对目标农作物相应的进行采摘、授粉、喷药或施肥。本发明是集采摘、施肥、授粉、喷药等多功能为一体的机器人,可以适应在多种类番茄的各个生长阶段,能够提高劳动生产率和作业质量,降低种植者的劳动强度,节约了人力资源。(The invention provides an intelligent agricultural robot and a control method thereof, wherein the intelligent agricultural robot comprises a moving mechanism, a visual navigation mechanism, an ultrasonic distance measuring sensor, a control mechanism, a visual mechanism and an execution tail end, wherein the visual navigation mechanism, the ultrasonic distance measuring sensor, the control mechanism, the visual mechanism and the execution tail end are arranged on the moving mechanism; the visual mechanism is used for detecting a target, the ultrasonic ranging sensor detects an obstacle in the advancing direction in real time, and the moving mechanism moves according to data acquired by the visual navigation mechanism and the ultrasonic ranging sensor; the vision mechanism is used for detecting the target crops; the control mechanism acquires three-dimensional coordinate information and crop information of the target crop through the position data and determines an execution area according to the three-dimensional coordinate information and the crop information; the tail end of the execution unit correspondingly picks, pollinates, sprays or fertilizes the target crops. The invention is a robot integrating multiple functions of picking, fertilizing, pollinating, spraying and the like, can be suitable for various growth stages of various tomatoes, can improve the labor productivity and the operation quality, reduces the labor intensity of growers, and saves human resources.)

一种智能农业机器人及其控制方法

技术领域

本发明涉及精准农业与人工智能领域，特别涉及一种智能农业机器人及其控制方法。

背景技术

随着农业信息化技术的不断发展，机器人开始在农业生产中使用，使用机器人替代农业劳动者，不但可以大幅提高劳动生产率、降低劳动力成本，在解决劳动力不足、降低工人劳动程度、提高工人劳动的舒适度和工人的劳动危险性等方面也起到重要作用，还能减少农药对土壤和水资源等自然环境的破坏，对我国农业信息化发展起到推动作用。目前农业机器人多为专业机器人，作业功能都比较单一，例如采摘机器人只能完成采摘功能、打药机器人只能进行打药操作、授粉机器人只能完成授粉操作，都没有从解决农业生产的全流程考虑，没有从种植过程的统一性方面克服作业的精准性和复杂性。

市场上对番茄的种植生产多使用人工种植，由于番茄果树多半不高，种植范围相对比较密集，番茄在成熟期时果实密度大，对番茄的种植技术要求较高，耗时耗力；随着人力成本的不断提高，种植成本进一步增加，故开发一种对番茄全生产过程进行精准作业的多功能作业机器人装置具有较大的实用价值和市场前景。

发明内容

(一)要解决的技术问题

鉴于上述技术缺陷和应用需求，本申请提出一种智能农业机器人及其控制方法，旨在解决现有农业机器人功能单一，难以在复杂环境下工作等问题。

(二)技术方案

为解决上述问题，本发明提供一种智能农业机器人，包括：移动机构和设置在所述移动机构上的视觉导航机构、超声波测距传感器、控制机构、视觉机构和执行末端；所述导航机构用于进行目标检测，所述超声波测距传感器实时检测前进方向障碍物，所述移动机构根据所述视觉导航机构和所述超声波测距传感器获取的数据移动；所述视觉机构用于对目标农作物检测，以获得目标农作物在三维空间对应的位置数据，并将所述位置数据传输给所述控制机构；所述控制机构通过所述位置数据获取所述目标农作物的三维坐标信息和农作物信息，并以此确定执行区域；所述执行末端在所述执行区域对所述目标农作物相应的进行采摘、授粉、喷药或施肥。

进一步地，所述执行末端包括：采摘装置、授粉装置、喷药装置和施肥装置；所述采摘装置、授粉装置、喷药装置和施肥装置分别与所述控制机构电连接，以分别相应的进行采摘、授粉、喷药或施肥。

进一步地，所述执行末端还包括：机械臂；所述机械臂第一端转动连接在所述控制机构上，所述机械臂的第二端设置有所述采摘装置和所述授粉装置。

进一步地，所述执行末端还包括：垂直滑台和水平滑台；所述垂直滑台设置在所述移动机构上，所述水平滑台沿竖直方向可滑动地设置在所述垂直滑台上，所述喷药装置和所述施肥装置沿水平方向可滑动地设置在所述水平滑台上。

进一步地，所述执行末端还包括：存储装置；所述存储装置包括：采摘篮和药水箱；所述采摘篮邻近所述采摘装置，设置在所述移动机构上；所述药水箱内设有施肥箱和杀虫箱，所述施肥箱与所述施肥装置连通，所述杀虫箱与所述喷药装置连通。

进一步地，所述智能农业机器人还包括：导航线；所述导航线按照预设行进路线设置，且所述导航线上设置有拐弯和停止二维码标志，所述视觉导航机构实时识别所述导航线，以保证沿着所述导航线前进。

进一步地，所述智能农业机器人还包括：旋转装置；所述旋转装置固定在所述垂直滑台上，所述视觉机构通过所述旋转装置可转动的设置在所述垂直滑台上。

为解决上述问题，本发明提供一种智能农业机器人的控制方法，所述控制方法包括如下步骤：

步骤S1：视觉机构实时进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动；

步骤S2：若视觉机构检测到当前区域内存在目标农作物，移动机构停止前行；视觉机构对当前区域内的标农作物检测，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构，控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息；

步骤S3：控制机构根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥；

步骤S4：移动机构重新根据视觉导航机构和超声波测距传感器获取的数据移动，重新开始执行步骤S2，直至所有对象处理完毕。

进一步地，步骤S3具体包括：

步骤S31：控制机构根据三维信息和农作物信息确认执行区域；

步骤S32：机械臂、垂直滑台和水平滑台将采摘装置、授粉装置、喷药装置和施肥装置移动到执行区域；

步骤S33：采摘装置、授粉装置、喷药装置和施肥装置开始作业，以分别相应的进行采摘、授粉、喷药或施肥；

步骤S34：返回继续执行步骤S31，直至将执行区域内存在的全部目标农作物进行采摘、授粉、喷药或施肥。

进一步地，视觉机构通过神经网络模型实现对目标农作物在三维空间的位置数据，神经网络模型的建立包括如下步骤：

获取目标农作物的GRB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；

用YOLO v3对标注后的第一训练集进行训练，得到所述样本的成熟度和品质等级进行分类和识别的第一神经网络模型，并获取二维训练结果；

对所述RGB彩色图像进行分割处理，获取目标检测物所在区域，再用二值化算法进行灰度处理并裁剪，获取只包含所述目标检测物及周围区域的灰度图；

将所述灰度图中与3D点云信息一一对应，随机选择对应后的点云作为第二训练集；

用PointNet网络对所述二维训练结果和所述第二训练集进行训练，得到所述样本的番茄的大小、位姿、坐标、质量、品质等级和成熟度进行分类和识别的第二神经网络模型。

(三)有益效果

本发明提供一种智能农业机器人及其控制方法，本发明提供的智能农业机器人是集采摘、施肥、授粉、喷药等多功能为一体的机器人，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智能农业机器人的主视图；

图2是本发明实施例提供的智能农业机器人的斜视图；

图3是本发明实施例提供的智能农业机器人的工作流程图；

图4是本发明实施例提供的智能农业机器人的功能架构图；

其中，1、视觉机构；2、采摘装置；3、授粉装置；4、喷药装置；5、施肥装置；6、机械臂；7、采摘篮；8、超声波测距传感器；9、移动机构；10、垂直滑台；12、水平滑台；13、药水箱；14、控制机构；15、旋转装置；16、视觉导航机构；17、导航线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种智能农业机器人，该智能农业机器人可以在复杂环境下完成农作物的采摘、授粉、喷药、施肥等功能，可以改善番茄种植过程中作业条件，提升作业效率。如图1和图2所示，该智能农业机器人包括：移动机构9和设置在移动机构9上的视觉导航机构16、超声波测距传感器8、控制机构14、视觉机构1和执行末端。

本实施例中，视觉机构1用于进行目标检测，超声波测距传感器8实时检测前进方向障碍物，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动。视觉机构1用于对目标农作物检测，以获得目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14。控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息，并以此确定执行区域。执行末端在执行区域对目标农作物相应的进行采摘、授粉、喷药或施肥。

其中，控制机构14为机器人进行作业的核心控制器，配置包括I7-4700MQ2.4GCPU、8G DDR3L内存、500G硬盘等。控制机构14安装机器人整套控制系统，包含视觉系统、机器人控制系统、避障系统、导航系统等。超声波测距传感器8用于机器人行走定位、壁障功能，本发明的提供的智能农业机器人包含六个超声波测距传感器8，安装在智能农业机器人四周，保证智能农业机器人安全作业，避免撞到栽培作物或障碍物。

本实施例中，视觉机构1可选用3D视觉相机。该智能农业机器人在工作过程中，如图3所示，开启后智能农业机器人进入初始化状态，视觉机构1实时进行目标检测，超声波测距传感器8实时检测前进方向障碍物，若检测到不存在障碍，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动，智能农业机器人开始运动。此时若3D视觉相机检测到当前区域内存在作业对象，即目标农作物，移动机构9停止前行，机器人停止前行。3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。控制机构14根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。作业完成后，执行机构恢复至初始位姿。判断所有对象是否作业完成，若3D视觉相机再次测到当前区域内存在目标农作物并执行后续操作，直至所有对象处理完毕。若3D视觉相机测到当前区域内已不存在目标农作物，则智能农业机器人停止作业，智能农业机器人进入下一个位置，移动机构9重新根据视觉导航机构16和超声波测距传感器8获取的数据移动。

本发明实施例提供一种智能农业机器人，该智能农业机器人是集采摘、施肥、授粉、喷药等多功能为一体的机器人，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。

在根据本发明的一实施例中，如图1和图2所示，执行末端包括：采摘装置2、授粉装置3、喷药装置4和施肥装置5。采摘装置2、授粉装置3、喷药装置4和施肥装置5分别与控制机构14电连接，以分别相应的进行采摘、授粉、喷药或施肥。授粉装置3包含一个振动棒和一个小气泵，在3D视觉摄像机的引导下机械臂6将授粉装置3送到需授粉番茄花附近，由振动棒或小气泵完成授粉功能。

为便于智能农业机器人进行对应的操作，该执行末端还可设置机械臂6。由机械臂6在3D视觉摄像机的引导下完成采摘和授粉功能。机械臂6的第一端转动连接在控制机构14上，机械臂6的第二端设置有采摘装置2和授粉装置3。采摘装置2可选用机械手。机械臂6由六个运动关节和六个旋转轴组合实现全方位定点操作功能，主要根据控制机构14发出的相关功能指令进行采摘操作精准定位，其工作定位数据由视觉机构1，即3D视觉相机获得。六轴协同机械臂6第六关节处与采摘装置2和授粉装置3相连，将采摘装置2、授粉装置3定位到种植对象附近以实现精准采摘和授粉工作。

本实施例中，执行末端还包括：垂直滑台10和水平滑台12。垂直滑台10设置在移动机构9上，水平滑台12沿竖直方向可滑动地设置在垂直滑台10上，喷药装置4和施肥装置5沿水平方向可滑动地设置在水平滑台12上。当开始执行喷药和施肥功能时，首先水平滑台12上的将喷药装置4和施肥装置5缓慢向两侧展开到预定位置，然后水平滑台12沿着垂直滑台10做上下循环移动，同时打开喷药/喷肥阀门，进行作物全方位施肥喷药。

为配合喷药装置4和施肥装置5，还可增设存储装置。存储装置包括：采摘篮7和药水箱13。采摘篮7邻近采摘装置2，设置在移动机构9上。药水箱13内设有施肥箱和杀虫箱，施肥箱与施肥装置5连通，杀虫箱与喷药装置4连通。

为简化导航过程，可增设导航线17，导航线17按照预设行进路线设置，在导航线17上设置有拐弯和停止二维码标志，视觉导航机构16实时识别导航线17，机器人遇到相应标志后执行相关的动作，以保证智能农业机器人沿着导航线17前进。

此外，该智能农业机器人还包括：旋转装置15。旋转装置15固定在垂直滑台10上，3D视觉相机通过旋转装置15可转动的设置在垂直滑台10上。旋转装置15具有360°度全方位视角，实现机器人作业过程360°无死角识别。利用3D视觉相机与自带固定光源相互协调，在测试阶段利用标定板标定其空间位置维度，以获得操作对象在三维空间中的具***置，将其位置数据传输给控制机构14，驱动六轴协同机械臂6与水平滑台12完成精准作业。

执行末端在工作工程中，需要通过3D视觉相机来进行工作，如图4所示，3D视觉相机检测当前区域内是否存在作业对象，例如果实是否成熟，是否存在花粉，是否存在病虫害，是否需要施肥等条件来判断。当确认存在作业对象后，智能农业机器人停止前行。机械臂6、垂直滑台10和水平滑台12移动到作业区。3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。控制机构14根据三维坐标信息和农作物信息确定执行区域，执行末端对应的结构在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。

本发明实施例提供一种智能农业机器人的控制方法，该智能农业机器人具体的结构请参阅上述图1至图2相关的文字描述，在此不再赘述。

控制方法包括如下步骤：

步骤S1：视觉机构实时进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动。

步骤S2：若视觉机构检测到当前区域内存在目标农作物，移动机构停止前行；视觉机构对当前区域内的标农作物检测，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构，控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息。

步骤S3：控制机构根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。

步骤S4：移动机构重新根据视觉导航机构和超声波测距传感器获取的数据移动，重新开始执行步骤S2，直至所有对象处理完毕。

其中，步骤S3的步骤具体包括：

步骤S31：控制机构根据三维信息和农作物信息确认执行区域。

步骤S32：机械臂、垂直滑台和水平滑台将采摘装置、授粉装置、喷药装置和施肥装置移动到执行区域。

步骤S33：采摘装置、授粉装置、喷药装置和施肥装置开始作业，以分别相应的进行采摘、授粉、喷药或施肥。

步骤S34：返回继续执行步骤S31，直至将执行区域内存在的全部目标农作物进行采摘、授粉、喷药或施肥。

具体地，该智能机器人在工作过程中，功能实现步骤，如图3和图4。

第一步：该智能农业机器人在工作过程中，开启后智能农业机器人进入初始化状态，视觉机构1实时进行目标检测，超声波测距传感器8实时检测前进方向障碍物，若检测到不存在障碍，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动，智能农业机器人开始运动。若检测存在障碍，则停止前进并触发报警系统。

第二步：此时若3D视觉相机检测到当前区域内存在作业对象，即目标农作物，移动机构9停止前行，机器人停止前行。

第三步：3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。如果目标是番茄会识别出番茄的成熟度、重量、大小信息。

第四步：机械臂6、垂直滑台10和水平滑台12等结构根据目标的三维坐标信息对路径规划，将移动到有效作业区域。3D视觉相机对作业对象的实时校准检测下移动至精准作业点。

第五步：控制机构14根据三维坐标信息和农作物信息确定执行区域，采摘装置、授粉装置、喷药装置和施肥装置等装置进行相应的工作，在执行区域按照从上到下的优先顺序对目标农作物进行相应的采摘、授粉、喷药或施肥。

第六步：作业完成后，执行机构恢复至初始位姿。判断所有对象是否作业完成，若3D视觉相机再次测到当前区域内存在目标农作物并执行后续操作，直至所有对象处理完毕。即重复上述步骤四和步骤五，将3D视觉相机所在范围内检测到的所有作业对象进行分析和相应作业。

第七步：若3D视觉相机测到当前区域内已不存在目标农作物，则智能农业机器人停止作业，智能农业机器人进入下一个位置，移动机构9重新根据视觉导航机构16和超声波测距传感器8获取的数据移动，继续重复以上所有步骤。

进一步的，为简化整个过程，该智能农业机器人针对喷药和施肥，配置好了操作简单的全方位自动喷药施肥方式，功能实现步骤如下：

第一步：开启“全方位自动喷药/施肥”功能按钮。

第二步：机器人沿着导航线17运动到番茄行间。

第三步：水平滑台12上的将喷药装置4和施肥装置5缓慢向两侧展开到预定位置。

第四步：水平滑台12沿着垂直滑台10做上下循环移动，同时打开喷药/喷肥阀门，进行作物全方位施肥喷药。

第五步：机器人开始沿着导航线17向前行走，完成一行作业后转到下一行，完成整个作业区的喷药施肥。

第五步：返回固定位置。

本实施例中，视觉机构通过神经网络模型实现对目标农作物在三维空间的位置数据，具体地，智能农业机器人为实现番茄的采摘、授粉、喷药、施肥操作，其核心模块为基于2D和3D结合的非结构环境下作业目标识别定位神经网络模型，模型的方法实现流程具体如下：

获取目标农作物的GRB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；

用YOLO v3对标注后的第一训练集进行训练，得到所述样本的成熟度和品质等级进行分类和识别的第一神经网络模型，并获取二维训练结果；

对所述RGB彩色图像进行分割处理，获取目标检测物所在区域，再用二值化算法进行灰度处理并裁剪，获取只包含所述目标检测物及周围区域的灰度图；

将所述灰度图中与3D点云信息一一对应，随机选择对应后的点云作为第二训练集；

用PointNet网络对所述二维训练结果和所述第二训练集进行训练，得到所述样本的番茄的大小、位姿、坐标、质量、品质等级和成熟度进行分类和识别的第二神经网络模型。

综上所述，本发明提供一种智能农业机器人及其控制方法，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。而且该机器人是集多种机器人功能于一体，解决了现代化番茄种植过程中多种机器人同时作业的情况，减少了设备的数量，大大节约了种植成本和种植空间。此外，该控制方法采用基于2D和3D结合的神经网络模型，有效解决了非结构环境下作业目标识别定位问题，模型可高效、精准判断作物的位姿、坐标、成熟度、重量、大小等信息，并自动完成作业过程。与传统农业机器人视觉相比，大大提高了农业非结构环境下识别效率和定位精度。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。