一种基于激光雷达和相机融合的垃圾桶检测抓取方法
阅读说明：本技术 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 (Garbage can detecting and grabbing method based on fusion of laser radar and camera ) 是由 郑宇宏 曾庆喜 于 2021-07-27 设计创作，主要内容包括：本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法,基于垃圾转运车上的新增设备,通过云台上承载的激光测距雷达与第一图像捕获装置,通过网络训练下的图像特征识别分类方式,实现对垃圾桶的粗定位,并据此移动机械臂前端至垃圾桶预设范围内,然后通过所设机械臂前端上的第二图像捕获装置,伴随机械臂前端向着垃圾桶上把手方向的移动,以图片分析方法实时针对把手实现精定位,始终将把手置于所捕获图像的中心位置,直至机械臂前端上的抓手抓住垃圾桶上的把手,整个方法根据动作发生依次应用不同定位方式,实现最终针对把手的自动识别与抓握,整个过程实现了无人化,且效率高。(The invention relates to a garbage can detecting and grabbing method based on fusion of a laser radar and a camera, which is based on newly added equipment on a garbage transfer truck, realizes coarse positioning of a garbage can through a laser ranging radar and a first image capturing device which are borne on a holder and an image feature recognition and classification mode under network training, moves the front end of a mechanical arm to a preset range of the garbage can according to the coarse positioning, then realizes fine positioning of the handle in real time through a picture analysis method along with the movement of the front end of the mechanical arm to the direction of the handle on the garbage can through a second image capturing device arranged on the front end of the mechanical arm, always places the handle at the central position of a captured image until a gripper on the front end of the mechanical arm grips the handle on the garbage can, and the whole method sequentially applies different positioning modes according to the action to realize the final automatic recognition and grabbing of the handle, thereby realizing unmanned operation in the whole process, and the efficiency is high.)
技术领域
本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法，属于计算机视觉、人工智能和自动化技术领域。
背景技术
垃圾桶作为目前主要的收集和存贮垃圾的容器，对其的收集基本由垃圾车完成，具体包括通过人工倾倒和通过挂桶式垃圾车倾倒两种方式。挂桶垃圾车虽然能够自动将垃圾桶内垃圾倒入车体内，但是仍然需要人工将垃圾桶放置到车体侧的固定位置，与人工倾倒的方式相比，虽然避免了倾倒过程中的接触，但是却没有避免搬运过程中的接触，仍然存在一定的人工成本和安全隐患。
发明内容
本发明所要解决的技术问题是提供一种基于激光雷达和相机融合的垃圾桶检测抓取方法，以计算机视觉、传感器数据融合、深度学习等技术为基础，实现对垃圾桶上把手的自动检测、定位与抓取。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持；
其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色；
步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B；
步骤B.根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C；
步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D；
步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。
作为本发明的一种优选技术方案：所述步骤A中，实时针对第一图像捕获装置所捕获图像，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域；
步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2；
步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3；
步骤A3.由各个目标网格图像的组合，构成垃圾桶图像区域，即识别获得所获捕获图像中的垃圾桶图像区域。
作为本发明的一种优选技术方案：所述步骤A2中，按如下步骤i至步骤ii，实现垃圾桶图像识别模型的获得；
步骤i.收集预设第一数量、分别均包含垃圾桶图像的各个预设尺寸的样本图片，以及预设第二数量、分别不包含垃圾桶图像的各个预设尺寸的样本图片，共同构成样本图片集，然后进入步骤ii；
步骤ii.根据样本图片集中各样本图片分别所对应预设各特征类型的特征值，以及各样本图片分别所对应其是否包含垃圾桶图像的分类，以样本图像为输入，样本图像对应其是否包含垃圾桶图像的分类为输出，结合预设损失函数，针对yolov3网络模型进行训练，获得垃圾桶图像识别模型。
作为本发明的一种优选技术方案：所述步骤D中，针对机械臂前端上第二图像捕获装置实时所捕获图像，按如下步骤D-1至步骤D-2，实现对所捕获图像中垃圾桶上把手的识别；
步骤D-1.针对所捕获图像进行灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；
步骤D-2.按预设用于区别把手的灰度阈值T，针对灰度图像进行二值化处理，获得灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-3，执行所述步骤D-2获得灰度二值化图像之后，进入步骤D-3；
步骤D-3.应用中值滤波中的三阶滤波器，针对灰度二值化图像进行处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D-3中，应用中值滤波中的三阶滤波器，分别针对灰度二值化图像中的各个像素，基于横坐标偏移量k＝-1、1的全部取值，以及纵坐标偏移量l＝-1、1的全部取值，按如下公式：
Gray(i,j)＝med[{Gray(i-k,j-l)}]
进行像素处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，其中，Gray(i,j)表示图像中坐标(i,j)的像素经上述像素处理后的灰度值，(i-k,j-l)表示图像中以坐标(i,j)为中心3*3尺寸范围内的像素坐标，{Gray(i-k,j-l)}表示图像中以坐标(i,j) 为中心3*3尺寸范围内各坐标像素灰度值的集合，med[·]表示中位值函数。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-4，执行所述步骤D-3更新灰度二值化图像之后，进入步骤D-4；
步骤D-4.根据形态学处理理念，通过三次膨胀操作对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中垃圾桶上把手的内部联通，并实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-5，执行所述步骤D-4实现灰度二值化图像中垃圾桶上把手内部联通后，进入步骤D-5；
步骤D-5.首先选择Canny算子对内部联通后的垃圾桶上把手进行边缘检测，接着根据垃圾桶上把手边缘，使用累计概率霍夫变换提取把手图形边缘的直线，获得两根长直线和两根短直线，然后计算四根直线的交点，即获得垃圾桶上把手的四角顶点的坐标，最后计算获得把手的姿态、以及其质心位于图像中的位置信息，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D-1中，分别针对所捕获图像中的各个像素，按如下公式：
Gray(i,j)＝(r(i,j)*0.3+g(i,j)*0.59+b(i,j)*0.11)/3
执行像素灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；其中，i表示图像中像素的横坐标，j表示图像中像素的纵坐标，r(i,j)表示图像中像素对应RGB的R色，g(i,j)表示图像中像素对应RGB的G色，b(i,j)表示图像中像素对应RGB的B色， Gray(i,j)表示图像中坐标(i,j)的像素的灰度值。
作为本发明的一种优选技术方案：所述第二图像捕获装置设置于所述机械臂前端上抓手的内部。
本发明所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明所设计一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。
附图说明
图1是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法的总体方案示意图；
图2是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法的样机示意图；
图3是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中的yolov3网络训练流程图；
图4是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中粗定位系统的安装位置示意图；
图5是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中粗定位系统的算法流程图；
图6是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中精定位系统的安装位置示意图；
图7是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中精定位系统的算法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于激光雷达和相机融合的垃圾桶检测抓取方法，如图1和图2所示，基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持。
其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；具体应用中，第二图像捕获装置设置于所述机械臂前端上抓手的内部，第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色。
步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B。
实际应用当中，上述步骤A中，实时针对第一图像捕获装置所捕获图像，如图5所示，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域。
步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2。
步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3。
对于步骤A2中的垃圾桶图像识别模型，如图3所示，具体设计按如下步骤i至步骤ii，实现垃圾桶图像识别模型的获得。
步骤i.收集预设第一数量、分别均包含垃圾桶图像的各个预设尺寸的样本图片，以及预设第二数量、分别不包含垃圾桶图像的各个预设尺寸的样本图片，共同构成样本图片集，然后进入步骤ii。
步骤ii.根据样本图片集中各样本图片分别所对应预设各特征类型的特征值，以及各样本图片分别所对应其是否包含垃圾桶图像的分类，以样本图像为输入，样本图像对应其是否包含垃圾桶图像的分类为输出，结合预设损失函数，针对yolov3网络模型进行训练，获得垃圾桶图像识别模型。
步骤A3.由各个目标网格图像的组合，构成垃圾桶图像区域，即识别获得所获捕获图像中的垃圾桶图像区域。
上述即通过云台上激光测距雷达与第一图像捕获装置实现了对垃圾桶位置识别的粗定位，具体来说激光测距雷达应用单线激光雷达，第一图像捕获装置应用单目相机，单目相机作为图像处理的核心元件，用于进行垃圾桶的检测，单线激光雷达的定位精度在1mm以内，价格相对便宜，定位性能优异，但是其定位只能适用于一个平面，因此加入一个云台对单线激光雷达和单线激光雷达进行姿态的调整，确保目标位于激光雷达的定位平面内，如此将单线激光雷达+单目相机的组合识别定位系统放置于车体前顶部以避免车体行驶过程中溅起的泥沙对其的影响，如图4所示。
步骤B.如图5所示，根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C。
具体在检测到垃圾桶位置信息后，通过其位置信息调整云台的位置，如检测到垃圾桶位于图片的左上方，就移动云台向左上方移动，并实时进行检测获得垃圾桶更新过后的位置信息，直至垃圾桶位于图像的中心位置，到达激光测距雷达的测距平面内进行测距，并根据云台的姿态来解算垃圾桶相对于车体的方向，这样就能获得垃圾桶的距离和方位信息。
步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，如图6所示，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D。
步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。
实际应用中，如图7所示，上述步骤D中，针对机械臂前端上第二图像捕获装置实时所捕获图像，按如下步骤D-1至步骤D-5，实现对所捕获图像中垃圾桶上把手的识别。
步骤D-1.分别针对所捕获图像中的各个像素，按如下公式：
Gray(i,j)＝(r(i,j)*0.3+g(i,j)*0.59+b(i,j)*0.11)/3
执行像素灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；其中，i表示图像中像素的横坐标，j表示图像中像素的纵坐标，r(i,j)表示图像中像素对应RGB的R色，g(i,j)表示图像中像素对应RGB的G色，b(i,j)表示图像中像素对应RGB的B色， Gray(i,j)表示图像中坐标(i,j)的像素的灰度值。
步骤D-2.根据预设用于区别把手的灰度阈值T，按如下公式：
针对灰度图像进行二值化处理，获得灰度二值化图像，然后进入步骤D-3。
步骤D-3.应用中值滤波中的三阶滤波器，分别针对灰度二值化图像中的各个像素，基于横坐标偏移量k＝-1、1的全部取值，以及纵坐标偏移量l＝-1、1的全部取值，按如下公式：
Gray(i,j)＝med[{Gray(i-k,j-l)}]
进行像素处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，然后进入步骤D-4，其中，Gray(i,j)表示图像中坐标(i,j)的像素经上述像素处理后的灰度值，(i-k,j-l)表示图像中以坐标(i,j)为中心3*3尺寸范围内的像素坐标，{Gray(i-k,j-l)}表示图像中以坐标(i,j)为中心3*3尺寸范围内各坐标像素灰度值的集合，med[·]表示中位值函数。
步骤D-4.根据形态学处理理念，通过三次膨胀操作对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中垃圾桶上把手的内部联通，然后进入步骤D-5。
步骤D-5.首先选择Canny算子对内部联通后的垃圾桶上把手进行边缘检测，接着根据垃圾桶上把手边缘，使用累计概率霍夫变换提取把手图形边缘的直线，获得两根长直线和两根短直线，然后计算四根直线的交点，即获得垃圾桶上把手的四角顶点的坐标，最后计算获得把手的姿态、以及其质心位于图像中的位置信息，实现对所捕获图像中垃圾桶上把手的识别。
上述技术方案所设计基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种无线控制的侧挂环卫电动车