阅读说明：本技术 基于视觉检测的机械手辅助上下料和避障检测系统及方法 (Manipulator-assisted feeding and discharging and obstacle avoidance detection system and method based on visual detection ) 是由 付泽民 吴力杰 赵志繁 石博文 乔涛涛 熊鹏鹏 余奇 王志进 于 2019-09-27 设计创作，主要内容包括：本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统及方法,包括送料系统,视觉检测装置和控制终端；送料系统为上料和下料一组机械手,上料机械手负责将物料送至压力机,下料机械手负责将折弯的板料从压力机下取出并码放在指定位置；视觉检测装置包括升降台、视觉传感器、数据处理单元,该装置主要负责对工作台的环境进行视觉扫描,经数据处理单元处理将信号传输给控制终端；所述控制终端包括控制台和显示器,通过无线收发模块与视觉检测装置相连,可以将视觉传感器检测到的图像直观显示出来,同时将控制指令传输给上料和下料机械手,帮助其及时识别障碍物以完成上料和下料作业,具备远程终端操控功能。(The invention discloses a manipulator-assisted feeding and discharging and obstacle avoidance detection system and method based on visual detection, and the system comprises a feeding system, a visual detection device and a control terminal, wherein the feeding system comprises groups of feeding and discharging manipulators, the feeding manipulator is responsible for feeding materials to a press, the discharging manipulator is responsible for taking out bent plates from the press and stacking the bent plates at an appointed position, the visual detection device comprises a lifting table, a visual sensor and a data processing unit, the device is mainly responsible for visually scanning the environment of the workbench and transmitting signals to the control terminal through processing of the data processing unit, the control terminal comprises a control table and a display, the control terminal is connected with the visual detection device through a wireless transceiving module, images detected by the visual sensor can be visually displayed, control instructions are transmitted to the feeding manipulator and the discharging manipulator, obstacles are helped to be timely recognized to complete feeding and discharging operations, and the system has a remote terminal control function.)

基于视觉检测的机械手辅助上下料和避障检测系统及方法

技术领域

本发明涉及机械手智能折弯作业领域，特别涉及基于视觉检测的机械手辅助上下料和避障检测系统及方法。

背景技术

在金属板材成形领域，板材的安全上料问题一直是一个避不开的话题，早期的板材成形制造领域，都是依靠人工将板材搬运到压力机或者压力机的上料口完成板材的上料，但是对于这种大型机器而言，近距离的接触会对工作人员造成巨大的威胁，稍有不慎就会操作人员产生人身伤害，随着技术的发展，工业机器人开始代替人们从事这些安全风险较大的工作，早期的机械手在代替人们上料的过程中不能像人类这样多感官协调工作，因而存在会与板材或周围环境碰撞的隐患，甚至造成人身伤害事故，随着现代传感器技术的发展，机械手的灵活性问题可以有更好的解决思路。

发明内容

为了克服现有技术中的不足，本发明提供基于视觉检测的机械手辅助上下料和避障检测系统及方法，解决现有技术中通过人工进行上下料及避障所产生的安全问题。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统，包括送料系统、视觉检测装置和控制终端，其中：

所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：

所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；

所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；

所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；

所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；

所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；

所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；

所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：

所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；

所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；

所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；

所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；

所述控制终端包括控制台和第三无线通讯装置，其中：

所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；

所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。

进一步的，所述控制终端还包括显示器，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器检测到的原始环境图像/视频。

进一步的，所述控制终端还包括报警器，所述报警器与所述控制台相连，用于当检测到工作区内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。

优选的，所述视觉传感器为双目视觉相机，用于通过对工作区环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。

优选的，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。

本发明还公开了基于视觉检测的机械手辅助上下料及避障检测方法，利用上述所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：

步骤1：根据工作区环境给上下料机械手预设基本移动路径；

步骤2：激活视觉检测装置使其处于工作模式；

步骤3：当移动路径中不存在未知障碍物时，视觉传感器辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器采集障碍物空间及速度信息并制定新的路径；

步骤4：当路径规划成功时，视觉传感器辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；

步骤5：单纯避障成功后重新规划路径，视觉传感器辅助机械手进行板材的精准上下料。

进一步的，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器全程监控整个工作区。

进一步的，步骤3中，移动路径中不存在未知障碍物时，当待加工板材即将送至压力机工作区范围时，视觉传感器会扫描压力机工作区的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材与压力机上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手从而使得机械手更加精准的完成上料过程。

进一步的，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。

进一步的，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

本发明基于视觉检测的机械手辅助上下料和避障检测系统，将视觉检测整合进来，用于工作区全场的环境障碍物扫描以及辅助机械手的精准送料，利用无线通讯实现系统间的联系与控制，方便操作人员在安全区域内远程通过控制终端实时观测设备运行状态，并保有对设备的紧急控制权。该系统有效克服了现有技术中通过人工进行上下料及避障的安全性问题，具有安全性高、智能化程度高、结构简单、操作方便、适应性好等特点，易于市场推广应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明基于视觉检测的机械手辅助上下料和避障检测系统中机械手辅助安全上料系统工作场景图；

图2是本发明基于视觉检测的机械手辅助上下料和避障检测系统中上下料机械手结构示意图；

图3是本发明基于视觉检测的机械手辅助上下料和避障检测系统中视觉检测装置的结构示意图；

图4是本发明基于视觉检测的机械手辅助上下料和避障检测方法的具体工作流程示意图。

【主要符号说明】

1-压力机；

2-上料机械手控制柜；

3-上料机械手；

4-下料机械手控制柜；

5-下料机械手；

6-工作区；

7-视觉检测装置；

71-视觉传感器；

72-升降台；

8-加工后板材；

9-待加工板材；

10-控制终端。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

如图1-3所示，本发明公开了基于视觉检测的机械手辅助上下料和避障检测系统，包括送料系统(未图示)、视觉检测装置7和控制终端10，其中：

所述送料系统包括上料机械手控制柜2、上料机械手3、下料机械手控制柜4、下料机械手5和第一无线通讯装置(未图示)，其中：

所述上料机械手控制柜2设置在工作区6内，用于通过控制所述上料机械手3从而实现对待加工板材9的搬运；

所述上料机械手3设置在所述上料机械手控制柜2的上方，并与所述上料机械手控制柜2固定连接，用于将位于工作区6内的待加工板材9传送至压力机1；9

所述下料机械手控制柜4设置在工作区6内，用于通过控制所述下料机械手5从而实现对加工后板材8的码放；

所述下料机械手5设置在所述下料机械手控制柜4的上方，并与所述下料机械手控制柜4固定连接，用于将折弯的加工后板材8从压力机1下取出并码放到工作区6内的指定位置；

所述上料机械手3和下料机械手5的末端均安装有距离传感器(未图示)，用于检测所述上料机械手3和/或下料机械手5与工作区6内的障碍物之间的距离；

所述第一无线通讯装置分别内置于所述上料机械手控制柜2和下料机械手控制柜4中，用以接收所述控制终端10传送的第一控制指令、第二控制指令和/或第三控制指令；

所述视觉检测装置7包括视觉传感器71、升降台72、数据处理单元(未图示)以及第二无线通讯装置(未图示)，如图3，其中：

所述升降台72设置于工作区6内，用于带动所述视觉传感器71进行上升或下降；

所述视觉传感器71设置于所述升降台72的顶部，并位于所述上料机械手3和下料机械手5相对的一侧，用于对工作区6内的环境进行视觉扫描得到原始环境图像/视频；本实施例中，所述视觉传感器71为双目视觉相机，用于通过对工作区6环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。

所述数据处理单元内置于所述升降台72内部，并与所述视觉传感器71、第二无线通讯装置电性连接，用于对所述视觉传感器71检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；

所述第二无线通讯装置内置于所述升降台72内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端10无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端10；

所述控制终端10包括控制台(未图示)和第三无线通讯装置(未图示)，其中：

所述控制台设置于工作区6外，用于当检测到工作区6内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材9与压力机1上料口的相对位置从而形成第一控制指令或快递确定加工后板材8与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区6内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；

所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手3和/或下料机械手5从而完成避障。

进一步的，所述控制终端10还包括显示器(未图示)，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器71检测到的原始环境图像/视频。

进一步的，所述控制终端10还包括报警器(未图示)，所述报警器与所述控制台相连，用于当检测到工作区6内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。

优选的，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。

实施例二

如图4所示，本发明还公开了基于视觉检测的机械手辅助上下料及避障检测方法，利用上述所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：

步骤1：根据工作区环境给上下料机械手预设基本移动路径；

步骤2：激活视觉检测装置7使其处于工作模式；

步骤3：当移动路径中不存在未知障碍物时，视觉传感器71辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器71采集障碍物空间及速度信息并制定新的路径；

步骤4：当路径规划成功时，视觉传感器71辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；

步骤5：单纯避障成功后重新规划路径，视觉传感器71辅助机械手进行板材的精准上下料。

进一步的，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器71全程监控整个工作区6。

进一步的，步骤3中，移动路径中不存在未知障碍物时，当待加工板材9即将送至压力机1工作区6范围时，视觉传感器71会扫描压力机1工作区6的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材9与压力机1上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手3从而使得机械手更加精准的完成上料过程。

进一步的，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器71检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。

进一步的，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。

具体工作原理：

在正常的工作模式下，视觉传感器71也可以启动工作模式，事实上，在工作环境中已经明确了物料(板材)、目标以及静止障碍物的位置时，则可以确定上下料机械手大致的移动轨迹，在未遇到移动障碍物的条件下，上下料机械手按照预设的程序可以完成物料的搬运并将物料移动到压力机1的工作区6，当物料即将送至压力机1工作区6范围时，视觉传感器71会扫描压力机1工作区6的图像/视频信息，经过数据处理单元的处理，快速确定物料与压力机1上料口的相对位置，并通过无线信号传输将指令传送到上料机械手控制柜2，由控制柜向机械手传达指令，使得机械手更加精准的完成上料过程。

如果在板材搬运的过程中存在移动障碍物时，视觉传感器71则需要在辅助上料的基础上增加避障功能，在机械手吸附板材移动的过程中，视觉传感器71需要全程监控整个工作区6，当检测到工作区6内存在移动障碍物时，则需要根据视觉传感器71捕获的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测，划定所预测的该轨迹以及周围的一部分空间范围为危险区域，保证该系统有一定的容错空间。视觉传感器71将处理计算后的数据信息传递给控制台，控制台一方面迅速的给机械手修改移动轨迹以完成障碍物的躲避，另一方实时的将计算结果显示在显示器上。该系统针对移动障碍物的移动速度会设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发系统的报警系统，同时系统则将放弃原来的路径，单纯的进行障碍物躲避，此过程需要借助安装在机械臂末端的距离传感器获得与障碍物的距离信息，并设置一个极限安全距离，由控制器完成对机械手向着安全距离延长线的反方运动，两者距离越小，需要控制机械手移动避障的速度越快，类似于一种斥力效应，尽可能保证两者不会碰撞。

以上为整个机械手上料过程，下料的原理与此类似，为上料的逆过程，原理完全一致，此处不做赘述。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。