阅读说明：本技术 一种卸粮口定位系统及定位方法和联合收获机 (Grain unloading opening positioning system and positioning method and combine harvester ) 是由 徐立章 严玉奇 孙贻新 李耀明 于 2019-08-28 设计创作，主要内容包括：本发明公开了一种卸粮口定位系统及定位方法和联合收获机,用于联合收获机高位卸粮时卸粮口的自动定位,包括承载视觉定位系统的卸粮系统和视觉自动定位系统；本发明利用RGB-D相机采集彩色图像和深度图像,经DSP图像处理器进行图像处理,再通过现场可编程逻辑门阵列FPGA进行控制,最后驱动执行机构,不仅可以实现卸粮口自动定位至粮车车厢中间位置,还可以实现在粮车车厢内已有粮食的情况下将卸粮口定位至粮食较少的位置。(The invention discloses a positioning system and a positioning method for a grain unloading port and a combined harvester, which are used for automatically positioning the grain unloading port when the combined harvester unloads grains at a high position, and comprise a grain unloading system bearing a visual positioning system and the visual automatic positioning system; the invention utilizes the RGB-D camera to collect color images and depth images, carries out image processing through the DSP image processor, controls through the field programmable gate array FPGA, and finally drives the actuating mechanism, thereby not only realizing that the grain unloading port is automatically positioned to the middle position of the carriage of the grain car, but also realizing that the grain unloading port is positioned to the position with less grains under the condition of existing grains in the carriage of the grain car.)

一种卸粮口定位系统及定位方法和联合收获机

技术领域

本发明属于农业机械自动化领域，具体地涉及联合收获机高位卸粮的卸粮口定位系统及定位方法。

背景技术

随着我国农业现代化的发展，联合收获机在作业过程中越来越多的采用高位卸粮，即通过绞龙粮筒将联合收获机粮箱内的粮食输送到专门运输粮食的粮车车厢内。但国内联合收获机卸粮过程大多是由收割机驾驶员手动操作完成，通过肉眼观察来确定卸粮口是否对准粮车车厢，驾驶员需要一边观察卸粮口位置，一边手动操纵手柄调整卸粮口，这样会增加驾驶员操作难度，降低工作效率。

发明内容

本发明的目的是提供一种联合收获机高位卸粮的卸粮口定位系统及定位方法，以解决目前我国联合收获机高位卸粮时的问题，减轻驾驶员的劳动强度，提高收获作业的工作效率。

本发明通过以下技术方案来实现上述目的：

一种卸粮口定位方法，控制器将液压缸提升水平粮筒至设定的初始角度，RGB-D相机采集粮车车厢的图像，由图像处理器获取粮车车厢四面轮廓以及四面轮廓深度最小值，控制器由车厢四面轮廓及其深度最小值调整竖直粮筒和水平粮筒，直至将卸粮口定位至粮车车厢中间位置，控制器判断粮车车厢内是否有粮食，若有则将卸粮口定位至车厢中粮食表面最低点的位置卸粮，如果没有粮食，则直接进行卸粮。

进一步，所述四面轮廓深度最小值包括车头轮廓深度最小值a、车尾轮廓深度最小值b、车左侧轮廓深度最小值c和车右侧轮廓深度最小值d。

进一步，所述卸粮口定位至粮车车厢中间位置的具体过程为：

步骤1)，判断|a-b|≤e1是否成立，若|a-b|≤e1，卸粮口处于粮车车厢前后方向中间位置，电机停止运行，执行步骤2)；若|a-b|＞e1时，执行步骤4)；

步骤2)，判断|c-d|≤e2是否成立，若|c-d|≤e2，卸粮口处于粮车车厢左右方向中间位置，液压缸停止运行，执行步骤3)；若|c-d|＞e2时，执行步骤5)；

步骤3)，继续判断|a-b|≤e1是否成立，若|a-b|≤e1，卸粮口定位至粮车车厢中间位置，否则执行步骤4)；

步骤4)，判断a与b的大小，当a＜b时，电机正转，使卸粮口靠近粮车车厢后方；当a≥b时，电机反转，使卸粮口靠近粮车车厢前方；

步骤5)，判断c与d的大小，当c＞d时，液压缸提升水平粮筒，使卸粮口距竖直粮筒圆心的距离减小；当c≤d时，液压缸降低水平粮筒，使卸粮口距竖直粮筒圆心的距离增大；

其中，e1、e2分别为粮车车厢中间位置纵向范围和横向范围。

进一步，所述粮车车厢的图像包括彩色图像和深度图像。

进一步，所述卸粮口定位至粮车中粮食表面最低点的位置的具体过程为：图像处理器将深度图像生成车内粮食的三维点云，由三维点云特征判断出凹点，进而判断凹点与粮车车厢四面轮廓最小垂直距离是否小于设定最小值h，若小于h，则将凹点移至h处，此处为新的凹点，若不小于h，则不改变凹点的位置；根据确定的凹点和卸粮口在世界坐标系中的位置，控制器控制竖直粮筒和水平粮筒，使卸粮口定位至粮车车厢内粮食较少的位置。

进一步，所述获取粮车车厢四面轮廓以及四面轮廓深度最小值的具体过程为：RGB-D相机采集粮车车厢的彩色图像和深度图像，并发送给图像处理器，图像处理器根据彩色图像识别粮车车厢四面轮廓，由粮车车厢四面轮廓在深度图像中检测出四面轮廓深度最小值。

一种卸粮口定位系统，包括卸粮系统和视觉自动定位系统，所述视觉自动定位系统通过控制器实现卸粮口自动定位，所述卸粮系统完成除卸粮口定位以外的全部卸粮任务。

上述技术方案中，所述卸粮系统包括粮箱、竖直粮筒和水平粮筒，所述竖直粮筒和水平粮筒通过转接粮筒固连；所述竖直粮筒位于粮箱一侧，且竖直粮筒下端设有齿轮组，齿轮组中的小齿轮与电机键连接；所述水平粮筒通过支架支撑在粮箱上方，水平粮筒和转接粮筒分别与液压缸两端固连；所述水平粮筒末端设有卸粮口。

上述技术方案中，所述视觉自动定位系统包括信号连接的RGB-D相机、图像处理器和控制器，所述RGB-D相机安装于水平粮筒末端靠下的位置，所述RGB-D相机包括红外线发射器、彩色摄像头和红外线接收器。

上述技术方案中，所述控制器由车厢四面轮廓及其深度最小值调整竖直粮筒和水平粮筒，直至将卸粮口定位至粮车中间位置。

一种联合收获机，包括上述卸粮口定位系统。

与现有技术相比，本发明的有益效果在于：

(1)本发明提出的基于视觉的卸粮口自动定位系统使用RGB-D相机获得彩色图像和深度图像，采用DSP+FPGA处理图像，可实现卸粮口的快速定位。

(2)本发明提出的基于视觉的卸粮口自动定位系统及定位方法不仅可以通过检测粮车车厢四面轮廓以及粮车车厢四面轮廓深度值，将卸粮口自动定位到粮车车厢中间位置，而且当粮车车厢内已有粮食时，还可以根据深度图像信息生成粮车内粮食的三维点云将卸粮口自动定位到粮车车厢内粮食较少的位置。

附图说明

图1是本发明卸粮口定位系统结构示意图；

图2是本发明卸粮口定位原理示意图；

图3是本发明RGB-D相机安装位置示意图，图3(a)是主视图，图3(b)是仰视图；

图4是本发明卸粮口定位流程图；

图5是本发明图像处理流程图；

图6是本发明卸粮口定位至粮车车厢中间位置的流程图；

图7是本发明卸粮口定位至粮车内粮食较少位置的过程示意图。

其中，1-电机，2-齿轮组，3-粮箱，4-竖直粮筒，5-液压缸，6-水平粮筒，7-支架，8-卸粮口，9-RGB-D相机，901-红外线发射器，902-彩色摄像头，903-红外线接收器。

具体实施方式

下面结合附图对本发明作进一步说明，但是本发明的保护范围并不限于此。

实施例1

本发明基于视觉的卸粮口自动定位系统，用于联合收获机高位卸粮时卸粮口自动对准粮车车厢内适当位置，包括承载视觉定位系统的卸粮系统和视觉自动定位系统，卸粮系统用于完成除卸粮口定位以外的全部卸粮任务，视觉自动定位系统用于确定粮车车厢位置实现卸粮口自动定位。

如图1所示，承载视觉定位系统的卸粮系统位于联合收获机的侧后方，包括电机1、齿轮组2、粮箱3、竖直粮筒4、液压缸5、水平粮筒6、支架7、卸粮口8，齿轮组2包括大齿轮和小齿轮。电机1通过支架用螺栓固定安装在粮箱3侧壁下端，电机1与小齿轮键连接，小齿轮与大齿轮相互啮合，大齿轮与竖直粮筒4同心，且齿轮组2焊接在竖直粮筒4下端，竖直粮筒4位于粮箱3侧边，水平粮筒6与竖直粮筒4通过一段较短的转接粮筒连接，液压缸5位于水平粮筒6和转接粮筒上，液压缸5两端分别与水平粮筒6和转接粮筒固连，水平粮筒6在不工作的时候通过支架7支撑在粮箱3上方，支架7焊接于粮箱3上方，卸粮口8位于水平粮筒6末端朝下。粮箱3用于暂存所收获的粮食，电机1用于驱动齿轮2带动竖直粮筒4转动，液压缸5用于实现水平粮筒6的升降。

如图2所示，视觉自动定位系统包括RGB-D相机9、图像处理器和控制器，RGB-D相机9位于水平粮筒6末端，图像处理器和控制器位于联合收获机驾驶室内。图像处理器采用DSP数字信号处理器，控制器采用FPGA现场可编程门阵列控制，DSP+FPGA可实现实时在线快速图像处理。RGB-D相机9实时采集粮车车厢图像经DSP处理后，得到粮车车厢四面轮廓以及四面轮廓的深度最小值，FPGA根据图像处理信号控制继电器，驱动电机1通过齿轮2的传动使竖直粮筒4转动，驱动电磁阀通过液压缸5的伸缩使水平粮筒6转动。

如图3(a)所示，RGB-D相机9安装于水平粮筒6末端靠下的位置，以防止卸粮口遮挡相机的视野；如图3(b)所示，RGB-D相机9包括设置在一条直线上的三个摄像头：红外线发射器901、彩色摄像头902、红外线接收器903，其中红外线接收器903为深度摄像头，可以拍摄深度图像。

如图4所示，卸粮口自动定位方法包括如下步骤：

S1：卸粮口定位系统初始化，向控制器输入设定水平粮筒6提升的初始角度、粮车车厢中间位置纵向范围e1和粮车车厢中间位置纵向范围e2、粮食凹点距粮车四面轮廓最小垂直距离h；

S2：控制器检测手自切换按钮值判断是否进行手动操作，若不手动操作则进行下一步，否则结束；

S3：控制器通过电磁阀驱动液压缸5伸长，液压缸5提升水平粮筒6至设定的初始角度；

S4：RGB-D相机9采集粮车车厢的图像，图像处理器接收图像并进行处理，获取粮车车厢四面轮廓以及四面轮廓深度最小值；

S5：根据四面轮廓以及四面轮廓的深度最小值，控制器通过继电器带动电机1转动，电机1通过齿轮2带动竖直粮筒4转动，或者控制器通过电磁阀驱动液压缸5伸缩，使水平粮筒6的升高或降低；通过控制竖直粮筒4和水平粮筒6将卸粮口8定位至粮车中间位置；

S6：由粮车车厢的图像，控制器判断粮车车厢内是否有粮食，若有则进入S7，若无则进入S8；

S7：将卸粮口8定位至粮车中粮食较少位置(粮食表面最低点的位置)；

S8：控制器通过驱动器驱动粮筒绞龙的输送电机运行，输粮绞龙输送粮食，开始卸粮。

如图5所示，所述S4中的图像处理的具体过程如下：

S4.1：彩色摄像头902对粮车车厢进行彩色图像采集，红外线发射器901和红外线接收器903采集粮车车厢的深度图像，图像处理器读取原始图像(包括彩色图像和深度图像)；

S4.2：图像处理器进行原始图像预处理，突出粮车车厢四面轮廓，去除原始图像中与粮车车厢四面轮廓不相干的背景；

S4.3：粮车车厢四面轮廓的识别

首先过滤彩色图像中的噪声，然后进行一阶或二阶运算求出梯度最大值或二阶导的零点，最后选择适当的阙值识别出粮车车厢四面轮廓；

S4.4：四面轮廓深度最小值的提取

图像处理器由粮车车厢四面轮廓在深度图像中检测出粮车车厢前、后、左、右四面轮廓的深度最小值a、b、c、d，并发送给控制器。在电机1带动竖直粮筒4转动过程中，前面轮廓最小值a先减小后增大，后面轮廓最小值b先增大后减小。

如图6、7所示，所述S5中将卸粮口定位至粮车中间位置的具体过程如下：

S5.1：识别粮车车厢四面轮廓，同时控制器不断获取粮车前面轮廓深度最小值a、后面轮廓深度最小值b、左面轮廓深度最小值c和右面轮廓深度最小值d；

S5.2：判断前面轮廓深度最小值a与后面轮廓的深度最小值b之差的绝对值是否小于等于设定参数e1，当|a-b|≤e1时，认为卸粮口8处于粮车前后方向中间位置，即图7中阴影部分上下边界之内，此时控制器通过驱动器使电机1停止运行，执行S5.3；当|a-b|＞e1时，执行S5.5；

S5.3：判断左面轮廓深度最小值c与右面轮廓深度最小值d之差的绝对值是否小于等于设定参数e2时，当|c-d|≤e2时，认为卸粮口8处于粮车左右方向中间位置，即图7中阴影部分左右边界之内，此时使液压缸5停止运行，执行S5.4；当|c-d|＞e2时，执行S5.6；

S5.4：继续判断前轮面廓最小值a与后面轮廓最小值b之差的绝对值是否小于等于e1，若是，则认为卸粮口8定位至粮车中间位置，否则执行S5.5；

S5.5：判断前轮面廓最小值a是否小于后面轮廓最小值b，当a＜b时，电机1正转使卸粮口8靠近粮车车厢后方；当a≥b时，电机1反转使卸粮口8靠近粮车车厢前方；

S5.6：判断左轮廓深度最小值c是否小于右轮廓深度最小值d，当c＞d时，需使俯视图中卸粮口8距竖直粮筒4圆心的距离减小，液压缸5伸长以提升水平粮筒6；当c≤d时，需使俯视图中卸粮口8距竖直粮筒4圆心的距离增大，液压缸5缩短以降低水平粮筒6。

如图7所示，所述S7中将卸粮口定位至粮车内粮食较少位置的具体过程如下：

当卸粮口8在俯视图中处于粮车中间位置时，即图中阴影部分内，根据彩色摄像头902所采集的彩色图像信息，判断粮车内是否已有粮食，若粮车内无粮食，则开启输粮绞龙开始卸粮；若粮车内已有粮食，则根据红外线发射器901和红外线接收器903所采集的深度图像信息由图像处理器生成粮车内粮食的三维点云，根据三维点云特征判断出凹点(即相对凸点粮食更少的地方)，进而判断凹点与粮车车厢四面轮廓最小垂直距离是否小于设定最小值h，若小于设定最小值h，则将凹点沿距离粮车最近轮廓垂直方向移至设定最小值h处，将此处视为新的凹点；若不小于设定最小值，则不改变凹点位置。此步可确保定位后卸粮口位于图中虚线内部，防止卸粮时将粮食卸到粮车车厢外部。确定凹点位置后，控制器根据卸粮口8及凹点所处世界坐标系中的位置，计算水平粮筒6提升的高度和竖直粮筒4转动的角度，驱动液压缸5和电机1，将卸粮口8调至凹点位置，即卸粮口8定位至粮车内粮食较少的位置。

实施例2

一种联合收获机，包括实施例1中的基于视觉的卸粮口自动定位系统，该基于视觉的卸粮口自动定位系统的结构及有益效果如实施例1所述，在此不再赘述。

所述实例为本发明的优选的实施方式，但本发明并不限于上述实施方式。在不背离本发明的实质内容的前提下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。