阅读说明：本技术 一种新型基于机器视觉和卷积神经网络算法的前胡除草机 (Novel peucedanum praeruptorum weeding machine based on machine vision and convolutional neural network algorithm ) 是由 曹成茂 王二锐 李琼 罗坤 彭美乐 周润东 孙燕 方梁菲 于 2020-07-24 设计创作，主要内容包括：本发明涉及一种新型基于机器视觉和卷积神经网络算法的前胡除草机,包括运动控制系统、图像处理目标检测系统、DELTA机械臂、除草机构。运动控制系统,用于控制机器人运动,转向与调速；图像处理系统,摄像头采集实时图像信息传递给处理器进行图像识别,采用TENSORFLOW特征提取目标检测的卷积神经网络进行前胡与杂草的检测、分类和定位,根据条播的前胡中心位置信息,通过最小二乘法拟合路径进行田间路径规划导航,TENSORFLOW特征提取目标检测算法标定杂草坐标信息,配合DELTA三轴机械臂、除草机构实现将杂草除去。该前胡除草机结构紧凑,布局合理、坚固耐用,工作效率高,节约劳力,实用性强,适合农作物株间除草。(The invention relates to a novel peucedanum praeruptorum dunn weeder based on machine vision and a convolutional neural network algorithm, which comprises a motion control system, an image processing target detection system, a DELTA mechanical arm and a weeding mechanism. The motion control system is used for controlling the robot to move, turn and regulate the speed; in the image processing system, a camera acquires real-time image information and transmits the real-time image information to a processor for image recognition, a convolutional neural network for detecting the TENSOFLOW characteristic extraction target is adopted for detecting, classifying and positioning the peucedanum and the weeds, a path is fitted by a least square method for planning and navigating the field path according to the center position information of the peucedanum for drilling, a TENSOFLOW characteristic extraction target detection algorithm calibrates the coordinate information of the weeds, and the weeds are removed by matching with a DELTA triaxial mechanical arm and a weeding mechanism. The peucedanum praeruptorum weeding machine is compact in structure, reasonable in layout, firm, durable, high in working efficiency, labor-saving, strong in practicability and suitable for weeding among crop plants.)

一种新型基于机器视觉和卷积神经网络算法的前胡除草机

技术领域

本发明涉及一种前胡田间除草机，具体为一种新型基于机器视觉和卷积神经网络算法的前胡除草机。

背景技术

前胡一种中药材，具有降气化痰，散风清热的功效，其根茎入药。根茎类中药材在种植过程中不能使用除草剂、化肥与农药，否则影响其品质与药效，甚至起相反作用。加之劳动力成本上升，用工难、用工贵，难以规模化生产，严重制约药农增收。人工除草耗时耗力，工作效率也十分低下，且每年人工除草所需的费用高。针对目前前胡种植的关键环节解决“无机可用”问题。

传统机械式除草主要针对农作物行间除草，除草误差较大，不能有效去除杂草，株间杂草也不能有效地除去，因此前胡除草依旧是个大问题。前胡除草也具有一特点，除草作业主要集中在前胡幼苗期，当幼苗成长之后杂草便不会影响其生长，完成幼苗期除草即可。

卷积神经网络在目标检测中优势明显。随着人工智能技术的发展，机器人越来越多地被设计和应用于农业科学领域。所以本发明设计了一种基于卷积神经网络深度学习算法的前胡除草机，采用基于目标检测的深度学习算法，除草结构采用四轮式车架结构，除草方式采用机械式除草。

发明内容

本发明提出了一种基于机器视觉技术和神经网络算法目标定位算法的除草机，采用卷积神经网络目标检测算法识别区分前胡与杂草，从而有效地提高识别精度。通过串口通信将杂草的位置信息传递给执行机构控制，采用反应快速的Delta并联机械臂满足工况反应快速的要求，保证整机执行精度在±1mm、整体准确度≥90％。

为解决上述问题，本发明采用以下技术方案来实现：

一种新型基于机器视觉和卷积神经网络算法的前胡除草机，所述前胡除草机包括有运动控制系统、图像处理目标检测系统、除草机构三大部分，还包括有用于充放电的电池，电池采用锂电池，电量大，续航时间长；所述运动控制系统包括有机架、减震装置、车轮、无刷直流电机、STM32运动控制器、ZM6615直流无刷驱动器和霍尔传感器；每个车轮的支撑架都安装有减震装置，无刷直流电机作为移动动力输出，通过ZM6615直流无刷驱动器与STM32运动控制器电气连接；所述图像处理目标检测系统包括有电气柜、工业摄像头和工业计算机；所述电气柜内集成电气设备电机驱动电路、图像处理硬件、MCU单片机，所述图像处理目标检测系统基于TENSORFLOW深度学***台和除草刀具；所述DELTA机械臂安装在机架的正下方，机械臂电机采用三个57步进电机，且互成120°，电机输出扭矩2.2N/M，机械主动臂与减速器轴相连，机械主动臂与机械从动臂与动平台皆通过球铰链相连，除草电机安装在动平台上，除草刀具安装在除草电机的轴上。

进一步地，所述STM32运动控制器采用STM32F407VET6微控制器内部设置有STM32F407VET6单片机，接受工控机传递的杂草位置信息，通过HBS57闭环驱动器与STM32运动控制器电气连接。

进一步地，四个所述车轮分别装有一套独立的减振装置，车轮的驱动电机采用无刷直流电机，使用编码器构成闭环反馈系统，实时监测电机转速用来控制车速以配合除草机构完成除草，且四个所述车轮各安装一个无刷直流电机，转向时可应用差速和差逆转向，差逆转向可实现原地转向。

进一步地，所述机械臂采用三轴并联DELTA机械臂，其优点在于运动速度快，响应快，灵活性，精度高稳定性好，可实现多种复杂运动；57步进电机与机械主动臂通过减速比10:1的减速器相连提高输出扭矩，机械主动臂采用铝合金制成，机械从动臂采用高强度炭纤维管制成，机械主动臂与机械从动臂通过球铰链相连。

进一步地，所述除草刀具采用自磨刃，安装在DELTA机械臂的动平台上，随着DELTA机械臂的运动时刻改变位置，自磨刃的除草刀具高速旋转用来切断杂草。

进一步地，所述图像处理目标检测系统的机器视觉采用高清的工业摄像头，获取实时图像信息采，并运用TENSORFLOW框架卷积神经网络YOLOV4目标检测算法识别杂草并将结果传递给执行机构，实现除草功能；卷积神经网络采用特征提取的目标检测卷积网络算法，主干特征提取网络采用CSPDACKNET53，使用SPP和PANET结构加强特征提取能力，MOSAIC数据增强、CIOU作为LOSS回归以及MISH激活函数；输入图像为416×416×3RGB三通道彩色图片，输出检测目标的像素坐标值、得分和分类。

进一步地，所述图像处理目标检测系统采用目标检测深度学习算法将检测的条播的前胡中心坐标检测出来并采用最小二乘法拟合出车道线；在机器人的运动过程中，若出现一侧缺失苗数量较小时，路径拟合不会受到影响；当有一侧缺失苗数量较多时，可以根据另一侧的植株来规划路径，从而实现除草机的自主导航，在条播的前胡植株间行走。

进一步地，所述图像处理目标检测系统将工业摄像头采集的图像实时传输到工业计算机后，用经过训练的模型工业计算机拟合理想路径，然后工业计算机通过USB转串口方式将规划的路径发送至STM32运动控制器；STM32运动控制器发送脉冲调制(PWM)脉冲信号对ZM6615直流无刷驱动器的信号控制端，用于驱动前胡除草机的两个前轮，前胡除草机实现自主运动；当前胡除草机走偏时，调整前胡除草机两侧的无刷直流电机旋转速度以调整运动方向，同时，霍尔传感器将无刷直流电机旋转速度转换成脉冲信号传输到STM32运动控制器进行精确的转向控制；控制过程所示无刷直流电机与STM32运动控制器通过ZM6615直流无刷驱动器相连，STM32运动控制器输出PWM脉冲信号通过电机驱动电路进行速度控制和在田间行走的控制，实现前进、转弯及调速。

进一步地，所述图像处理目标检测系统采用深度学习算法检测出杂草的位置，通过多次卷积，池化以及残差边的堆叠，上采样堆叠；经过深度网络特征提取后采用非极大抑制选择出最大得分的预测框，最后输出杂草的位置坐标；通过标定板标定实际位置坐标与像素坐标的具体关系，确定图中坐标点的实际位置。

进一步地，所述图像处理目标检测系统将工业摄像头采集的图像实时传输到工业计算机后，用经过训练的模型由工业计算机目标检测，标记出预测框的杂草以及得分情况；通过标定计算出实际杂草的空间坐标，然后工业计算机通过USB转TTL串口方式将杂草位置信息发送至DELTA机械臂的控制器-STM32运动控制器；STM32运动控制器通过接送的杂草位置信息运算得出控制DELTA机械臂的关节节点使用57步进电机旋转的角度来实现除草机构的移位运动。DELTA机械臂的运动采用空间插补算法实现空间任意移动轨迹，为避免跨区除草时误除前胡和解决机构振动的问题而采用为ADEPT MOTION门形运动路径。

与现有技术相比较，本发明的有益效果如下：本发明提供了新型除草机器人，相比于现有技术，本发明采用四轮式车底盘加装减震装置以适应地形地除草；本发明使用机器视觉、数字图像技术有效地识别区分杂草和农作物，避免了误伤农作物；动力由直流电机输出通过传送装置与履带主动轮相连，除草机械结构采用三轴并联轴机械臂安装机械刀具用来切割杂草，本发明实用性强，应用快速便捷。

附图说明

图1为新型基于机器视觉和卷积神经网络算法的前胡除草机的整体结构示意图。

图2为新型基于机器视觉和卷积神经网络算法的前胡除草机的车架结构示意图。

图3为新型基于机器视觉和卷积神经网络算法的前胡除草机的除草机构中Delta机械臂的结构示意图。

图4为新型基于机器视觉和卷积神经网络算法的前胡除草机的目标检测系统流程图。

图5为新型基于机器视觉和卷积神经网络算法的前胡除草机的工作流程图。

附图标记说明：1-机架、11-减震装置、12-车轮、13-无刷直流电机、2-电气柜、3-工业摄像头、4-DELTA机械臂、41-57步进电机、42-机械主动臂、43-球铰链、44-机械从动臂、45-除草电机、46-动平台、47-除草刀具。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种新型基于机器视觉和卷积神经网络算法的前胡除草机，其前胡除草机包括有运动控制系统、图像处理目标检测系统、除草机构三大部分，还包括有用于充放电的电池；运动控制系统包括有机架1、减震装置11、车轮12、无刷直流电机13、STM32运动控制器、ZM6615直流无刷驱动器和霍尔传感器；每个车轮12的支撑架都安装有减震装置11，无刷直流电机13作为移动动力输出，通过ZM6615直流无刷驱动器与STM32运动控制器电气连接；图像处理目标检测系统包括有电气柜2、工业摄像头3和工业计算机；电气柜2内集成电气设备电机驱动电路、图像处理硬件、MCU单片机，图像处理目标检测系统基于TENSORFLOW深度学***台46和除草刀具47；DELTA机械臂4安装在机架1的正下方，机械臂电机采用三个57步进电机41，且互成120°，电机输出扭矩2.2N/M，机械主动臂42与减速器轴相连，机械主动臂42与机械从动臂44与动平台46皆通过球铰链43相连，除草电机45安装在动平台46上，除草刀具47安装在除草电机45的轴上。

如图2所示，STM32运动控制器采用STM32F407VET6微控制器内部设置有STM32F407VET6单片机，接受工控机传递的杂草位置信息，通过HBS57闭环驱动器与STM32运动控制器电气连接；四个车轮12分别装有一套独立的减振装置11，车轮12的驱动电机采用无刷直流电机13，使用编码器构成闭环反馈系统，实时监测电机转速用来控制车速以配合除草机构完成除草，且四个车轮12各安装一个无刷直流电机13，转向时可应用差速和差逆转向，差逆转向可实现原地转向。

如图3所示，57步进电机41与机械主动臂42通过减速比10:1的减速器相连提高输出扭矩，机械主动臂42采用铝合金制成，机械从动臂44采用高强度炭纤维管制成，机械主动臂42与机械从动臂44通过球铰链43相连，除草刀具47采用自磨刃，安装在DELTA机械臂4的动平台46上，随着DELTA机械臂4的运动时刻改变位置，自磨刃的除草刀具47高速旋转用来切断杂草；图像处理目标检测系统的机器视觉采用高清的工业摄像头3，获取实时图像信息采，并运用TENSORFLOW框架卷积神经网络YOLOV4目标检测算法识别杂草并将结果传递给执行机构，实现除草功能；

卷积神经网络采用特征提取的目标检测卷积网络算法，主干特征提取网络采用CSPDACKNET53，使用SPP和PANET结构加强特征提取能力，MOSAIC数据增强、CIOU作为LOSS回归以及MISH激活函数；输入图像为416×416×3RGB三通道彩色图片，输出检测目标的像素坐标值、得分和分类；

图像处理目标检测系统采用目标检测深度学习算法将检测的条播的前胡中心坐标检测出来并采用最小二乘法拟合出车道线；在机器人的运动过程中，若出现一侧缺失苗数量较小时，路径拟合不会受到影响；当有一侧缺失苗数量较多时，可以根据另一侧的植株来规划路径，从而实现除草机的自主导航，在条播的前胡植株间行走。

图像处理目标检测系统将工业摄像头3采集的图像实时传输到工业计算机后，用经过训练的模型工业计算机拟合理想路径，然后工业计算机通过USB转串口方式将规划的路径发送至STM32运动控制器；STM32运动控制器发送脉冲调制(PWM)脉冲信号对ZM6615直流无刷驱动器的信号控制端，用于驱动前胡除草机的两个前轮，前胡除草机实现自主运动；当前胡除草机走偏时，调整前胡除草机两侧的无刷直流电机13旋转速度以调整运动方向，同时，霍尔传感器将无刷直流电机13旋转速度转换成脉冲信号传输到STM32运动控制器进行精确的转向控制；控制过程所示无刷直流电机13与STM32运动控制器通过ZM6615直流无刷驱动器相连，STM32运动控制器输出PWM脉冲信号通过电机驱动电路进行速度控制和在田间行走的控制，实现前进、转弯及调速。

如图4、5所示，图像处理目标检测系统采用深度学习算法检测出杂草的位置，通过多次卷积，池化以及残差边的堆叠，上采样堆叠；经过深度网络特征提取后采用非极大抑制选择出最大得分的预测框，最后输出杂草的位置坐标；通过标定板标定实际位置坐标与像素坐标的具体关系，确定图中坐标点的实际位置。

如图4、5所示，图像处理目标检测系统将工业摄像头3采集的图像实时传输到工业计算机后，用经过训练的模型由工业计算机目标检测，标记出预测框的杂草以及得分情况；通过标定计算出实际杂草的空间坐标，然后工业计算机通过USB转TTL串口方式将杂草位置信息发送至DELTA机械臂4的控制器-STM32运动控制器；STM32运动控制器通过接送的杂草位置信息运算得出控制DELTA机械臂4的关节节点使用57步进电机41旋转的角度来实现除草机构的移位运动。DELTA机械臂4的运动采用空间插补算法实现空间任意移动轨迹，为避免跨区除草时误除前胡和解决机构振动的问题而采用为ADEPT MOTION门形运动路径。

如图4、5所示，前胡除草机的工作流程图，当除草机在条播的前胡种植地上电时系统开始工作，工业摄像头实时采集农田视频信息传递到工业计算机里，经过计算机处理获得每一帧图像，系统将图片处理成416×416大小像素图片后，然后输入到基于TENSORFLOW的目标检测深度学习框架内，进行预测分类和定位，通过像素坐标与现实中物理坐标标定，从而得到前胡、杂草在地面的实际中心坐标。工业计算机根据前胡的中心坐标通过最小二乘法拟合出行走路线图并通过USB转串口的方式发送到STM32F407VET6运动控制器中，然后STM32F407VET6运动控制器输出PWM脉冲信息控制机器运动。同时工业计算机把杂草的位置坐标发送到DELTA机械臂4的STM32FF407VET6控制器，接下来，DELTA机械臂4的STM32FF407VET6控制器控制三个57步进电机41使DELTA机械臂4到达杂草位置，实现除草功能。

以上所述的仅是本发明的优选实施方式，应当指出，对于本发明所属技术领域的技术人员来说，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，还会做出若干变化和改进，这些变化和改进都要落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。