基于tof相机的栈板位姿确定方法、装置及计算机可读存储介质
阅读说明：本技术 基于tof相机的栈板位姿确定方法、装置及计算机可读存储介质 (Method, apparatus and computer readable storage medium are determined based on the pallet pose of TOF camera ) 是由 赵军 陈佳搏 胡继文 宋利伟 于 2019-08-15 设计创作，主要内容包括：基于TOF相机的栈板位姿确定方法、装置及计算机可读存储介质,所述基于TOF相机的栈板位姿确定方法包括：获取TOF相机拍摄的深度图、点云数据；基于深度图确定待检测区域；选取第一区域进行地面拟合,确定地面区域；根据所述地面区域和点云数据,基于第一预设阈值确定栈板前端面的位置；采用物体连通域检测方法,获取所述待检测区域内所有的物体连通域区块；根据第二预设阈值筛选出实际的所述栈板的连通域区块；对所述实际的而所述栈板的连通域区块进行搜索,搜索第一线段；对所述第一线段进行拟合,计算出所述第一线段的空间位置；根据所述第一线段的空间位置确定栈板位姿。利用TOF相机解决目前的自动识别的场景复杂问题,抗干扰性强,本发明方法计算简单,使用方便,准确率高。(Determine that method, apparatus and computer readable storage medium, the pallet pose based on TOF camera determine that method includes: the depth map for obtaining TOF camera shooting, point cloud data based on the pallet pose of TOF camera；Area to be tested is determined based on depth map；It chooses first area and carries out ground fitting, determine ground region；According to the ground region and point cloud data, the position of pallet front end face is determined based on the first preset threshold；Area detecting method is connected to using object, obtains object connected domain block all in the area to be tested；The connected domain block of the actual pallet is filtered out according to the second preset threshold；The connected domain block of the pallet is scanned for, the first line segment is searched for；First line segment is fitted, the spatial position of first line segment is calculated；Pallet pose is determined according to the spatial position of first line segment.The scene challenge of current automatic identification, strong interference immunity are solved using TOF camera, the method for the present invention calculates simple, easy to use, accuracy rate height.)
技术领域
本发明涉及物体检测领域，尤其涉及一种基于TOF相机的栈板位姿确定方法、装置及计算机可读存储介质。
背景技术
目前工业场景下，常采用搬运装置配合栈板或者托盘进行货物的搬运；为了提高整体效率，搬运装置的智能化逐渐普及，在于栈板或者托盘进行配合的过程中，搬运装置均需要先对栈板进行识别才能够安全、准确、平稳的与栈板或者托盘进配合。
目前的搬运装置上一般设置了单目或者双目相机进行识别，但该方法对于环境比较敏感；还有是专门设计栈板前端面为平面的栈板，通过识别栈板前端平面进行识别定位；此外还有一些利用在栈板的固定位置附上标签，进行识别定位，但是这样做的成本很高，并且栈板的寿命也是有限的。
也就是说，现有工业场景下，栈板的识别率需要保障，但目前没有通用和成熟的技术能够实现栈板的识别，能够确定栈板的位姿以便后续其他工作的开展。
发明内容
本发明的目的在于提供一种基于TOF相机的栈板位姿确定方法、装置及计算机可读存储介质，以及提供一种路径规划方法，以解决现有技术中栈板的识别率需要保障，但目前没有通用和成熟的技术能够实现栈板的识别，能够确定栈板的位姿以便后续其他工作的开展的问题。
如上构思，本发明所采用的技术方案是：
一种基于TOF相机的栈板位姿确定方法，包括：
获取TOF相机拍摄的深度图、点云数据；
基于深度图确定待检测区域；
选取第一区域进行地面拟合，确定地面区域；
根据所述地面区域和点云数据，基于第一预设阈值确定栈板前端面的位置；
采用物体连通域检测方法，获取所述待检测区域内所有的物体连通域区块；
根据第二预设阈值筛选出实际的所述栈板的连通域区块；
对所述实际的所述栈板的连通域区块进行搜索，搜索第一线段；
对所述第一线段进行拟合，计算出所述第一线段的空间位置；
根据所述第一线段的空间位置确定栈板位姿。
进一步地，所述待检测区域范围大于所述栈板成像范围。
进一步地，所述选取第一区域进行地面拟合，确定地面区域包括：
选取位于所述待检测区域下方的特定区域作为所述第一区域，并以所述第一区域进行地面的拟合；
利用所述第一区域拟合出第二区域，所述第二区域也为地面区域的一部分。
进一步地，所述根据所述地面区域和点云数据，基于第一预设阈值确定栈板前端面的位置包括：
基于所述待检测区域和所述第二区域获得地面以上的点云数据；
满足第一预设阈值的点云数据即为所述栈板的点云数据，且确定所述栈板的前端面位置。
进一步地，所述第一预设阈值设置为所述栈板的宽度。
进一步地，所述根据第二预设阈值筛选出实际的所述栈板的连通域区块包括：
将获取到的所述待检测区域内所有的物体连通域区块的尺寸大小与所述第二预设阈值进行比较筛选出实际的所述栈板的连通域。
进一步地，所述根据所述第一线段的空间位置确定栈板位姿包括：
确定所述第一线段上至少一点的空间直线，所述第一线段与所述至少一点的空间直线的夹角即为所述栈板相对于相机的角度。
本发明还提供一种路径规划方法，包括：
如以上任一项所述的基于TOF相机的栈板位姿确定方法；
确定所述栈板的坐标；
进行路径规划。
本发明还提供一种基于TOF相机的栈板位姿确定装置，包括：
获取模块，所述获取模块获取TOF相机拍摄的深度图、点云数据；
计算模块，所述计算模块计算出所述地面区域，计算所述栈板前端面的位置，计算所述待检测区域内所有的物体连通域区块，计算所述实际的所述占比那的连通域区块，计算所述第一线段，计算所述第一线段的空间位置，计算所述栈板位姿，所述计算模块获取所述获取模块的信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器读取时，执行如以上任一项所述的基于TOF相机的栈板位姿确定方法。
本发明的有益效果：
本发明所述基于TOF相机的栈板位姿确定方法利用TOF相机解决目前的自动识别的场景复杂问题，由于TOF相机能够获取包含栈板场景下的三维点云数据，获取的三维点云数据不受到光线等外界环境的影响，抗干扰性较强。由获取的三维点云数据进行分析，识别栈板，从而获取栈板的位置和姿态。本发明方法计算简单，使用方便，准确率高。
本发明所述路径规划方法由于采用所述基于TOF相机的栈板位姿确定方法能够准确的获取到所述栈板的位置进行路径规划，有助于实现搬运装置的控制，实现搬运装置与栈板准确、安全、平稳的配合。
附图说明
图1为本发明所述基于TOF相机的栈板位姿确定方法的流程图；
图2为本发明所述路径规划方法的流程图；
图3为本发明所述基于TOF相机的栈板位姿确定装置的结构框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。
TOF相机安装在搬运装置上，能够拍摄栈板的位置，搬运装置可以是AGV叉车或者其他具有与栈板配合的机构的搬运装置。
参考图1，本发明提供了基于TOF相机的栈板位姿确定方法，包括：
获取TOF相机拍摄的深度图、点云数据；
基于深度图确定待检测区域；
选取第一区域进行地面拟合，确定地面区域；
根据所述地面区域和点云数据，基于第一预设阈值确定栈板前端面的位置；
采用物体连通域检测方法，获取所述待检测区域内所有的物体连通域区块；
根据第二预设阈值筛选出实际的所述栈板的连通域区块；
对所述实际的所述栈板的连通域区块进行搜索，搜索第一线段；
对所述第一线段进行拟合，计算出所述第一线段的空间位置；
根据所述第一线段的空间位置确定栈板位姿。
所述获取TOF相机拍摄的深度图、点云数据是指，在搬运装置工作的工程中，TOF相机可以实时获取到拍摄范围内的深度图、三维点云数据。在需要对栈板位姿进行确定的场景中，搬运装置优选停留在能够拍全栈板的位置处，更为优选地，当位于该位置时，栈板位于TOF相机的相机视场的中心区域块位置，简而言之，优选TOF相机的成像范围中，栈板成像数据位于范围中部。
所述基于深度图确定待检测区域是指，选取深度图范围中的一部分范围走位待检测区域。优选地，所述待检测区域范围包含所述栈板成像范围，避免栈板成像范围不在待检测区域范围内，导致检测失败。待检测区域的选取与栈板的尺寸大小相关，并且，也与搬运装置到栈板的距离相关，可以根据实际情况进行选取。
经过上述步骤，将TOF相机成像的深度图和三维点云数据的范围进一步缩小了，且，缩小后的深度图和三维点云数据更接近栈板的深度图和三维点云数据。
所述选取第一区域进行地面拟合，确定地面区域包括：
选取位于所述待检测区域下方的特定区域作为所述第一区域，并以所述第一区域进行地面的拟合；
利用所述第一区域拟合出第二区域，所述第二区域也为地面区域的一部分。
这一步骤的主要作用在于拟合出深度图和三维数据中地面数据，也就是确定哪一部分是地面，将地面与栈板、其他物体区分开。一般选取待检测区域下方的特定区域作为第一区域，在一实施例中，搬运装置为AGV叉车，TOF拍摄的深度图中，选择两根叉牙中间的区域作为第一区域，因为我们可知这一部分特定区域一定是地面区域，在程序中可以对该区域进行预先设置，后续进行栈板位姿确定时，第一区域均选取两根叉牙中间的特定区域。在其他实施例中，当然也可以选择其他的特定区域。可理解的是，这里的下方主要是指深度图中的一个方向关系，并发明所述方案不限于字面上的“下方”意义，只要该第一区域为地面区域即可，因为地面区域的三维点云数据具有一定的特点，比如深度相等，因此，可以据此拟合出待检测区域范围内的第二区域，所述第二区域也为地面区域。可理解的是，这里的第二区域可能位于深度图中待检测区域的上下左右各个方向。
经过上述动作，将待检测区域内的地面成像区域和栈板成像区域、其他区域进行了划分。
所述根据所述地面区域和点云数据，基于第一预设阈值确定栈板前端面的位置包括：
基于所述待检测区域和所述第二区域获得地面以上的点云数据；
满足第一预设阈值的点云数据即为所述栈板的点云数据，且确定所述栈板的前端面位置。
在前序动作中将地面成像区域和栈板成像区域、其他区域进行了划分之后，可以从待检测区域内的所有点云数据中得到地面区域以外的点云数据，此时，这些点云数据包括栈板的点云数据，或者包括栈板和货物的点云数据。一般而言，在工业场景下，取货或者卸货位置处放置了栈板，栈板的周围不会有除栈板、货物以外的其他物体，如若有，也可以通过对三维点云数据进行处理筛选除属于栈板和货物的三维点云数据。
在过滤掉待检测区域中的地面区域的点云数据后，为了进一步获得栈板的点云数据，确定栈板的前端面，可以提前预设第一预设阈值，第一预设阈值根据实际情况进行设置，优选设置为栈板的宽度，也就是栈板的前端面的宽度，在获取到的除地面区域的点云数据以外的点云数据中，当点云数据之间的关系满足第一预设阈值，则可以基本确定前端面的点云数据，也就确定了栈板的前端面。
所述采用物体连通域检测方法，获取所述待检测区域内所有的物体连通域区块是指，将筛选出的待检测区域范围内除地面区域外的点云数据采用物体连通域检测方法进行处理，得到待检测区域内所有的物体连通域区块。
所述根据第二预设阈值筛选出实际的所述栈板的连通域区块包括：
将获取到的所述待检测区域内所有的物体连通域区块的尺寸大小与所述第二预设阈值进行比较筛选出实际的所述栈板的连通域。
第二预设阈值可以为多个阈值，优选采用栈板的前端面的尺寸大小、以及包括栈板的长度，这样就能够进一步筛选出实际的栈板的连通域区块，这样根据连通域的尺寸情况可以得到仅有的栈板连通域，排除掉其他物体，进一步完成后缩小了栈板的点云范围，这样处理还能够过滤掉货物对栈板检测的干扰。
对所述实际的所述栈板的连通域区块进行搜索，搜索第一线段，是指，对上述步骤中确定的实际的栈板的连通域区块进行处理，搜索第一线段，这里的第一线段可以根据实际情况进行设置，主要选择原因在于方便检测且与栈板位姿相关性高，优选地，第一线段选择了栈板前端面上距离栈板的脚距离为0且长度与栈板宽度相等的线段，第一线段的下方即为栈板的叉孔；搜索的方式可以是从上到下进行线段搜索，当从上到下的下一条不再是线段时而是叉孔时确定当前这条是第一线段；在实施例中，搜索时，连通域区块表现为二值图，栈板数值表现为111，而叉孔位置数值表现为000，这样一旦出现000就可以知道上一条线段即为第一线段。
对所述第一线段进行拟合，计算出所述第一线段的空间位置，优选根据第一线段通过空间直线RANSAC拟合计算出深度所在的空间直线，也就是通过深度图隐射拟合确定第一线段的空间直线。至此获得了实际栈板的第一线段的位置，根据预先的坐标系等设置，可以知道栈板的位姿。
所述根据所述第一线段的空间位置确定栈板位姿还包括：
确定所述第一线段上至少一点的空间直线，所述第一线段与所述至少一点的空间直线的夹角即为所述栈板相对于相机的角度。
可以采用上述的同样的方法计算出第一线段上所有点的空间直线，也就是确定过第一线段的所有点的直线的空间位置，因为至少需要两个点才能够确定一条直线，因此，优选同样的防范计算出第一线段上的过所有点且与设置的坐标系的X轴或者Y 轴相垂直的直线的空间直线，利用两个直线计算出来的夹角即为栈板前端面相对于相机坐标系下的姿态。
可理解的是，栈板的位姿根据不同的坐标系设置或其他人为设置不同，但栈板本身在空间的位置是相同的，因此，坐标系的不同设置对栈板的位姿的定义设置不同并不影响本发明所述方法的应用。
本发明所述基于TOF相机的栈板位姿确定方法利用ToF相机解决目前的自动识别的场景复杂问题，由于tof相机能够获取包含栈板场景下的三维点云数据，获取的三维点云数据不受到光线等外界环境的影响，抗干扰性较强。由获取的三维点云数据进行分析，识别栈板，从而获取栈板的位置和姿态。
本发明另一方面还提供了一种路径规划方法，包括：
获取TOF相机拍摄的深度图、点云数据；
基于深度图确定待检测区域；
选取第一区域进行地面拟合，确定地面区域；
根据所述地面区域和点云数据，基于第一预设阈值确定栈板前端面的位置；
采用物体连通域检测方法，获取所述待检测区域内所有的物体连通域区块；
根据第二预设阈值筛选出实际的所述栈板的连通域区块；
对所述实际的而所述栈板的连通域区块进行搜索，搜索第一线段；
对所述第一线段进行拟合，计算出所述第一线段的空间位置；
根据所述第一线段的空间位置确定栈板位姿；
确定所述栈板的坐标；
进行路径规划。
通过上述方案确定了栈板的位姿，也就是确定了栈板的第一线段的实际空间位置后，可以通过在第一线段的中部区域选取一个第二待检测区域，通过搜索的方式找到栈板中间脚的位置，左右搜索顺序即可，可获取到栈板的中间脚的区域范围；当优选定义的栈板的坐标为栈板中间脚的坐标时，通过将中间脚上的所有点的坐标平均值进行计算，即可得到栈板的坐标。
然后进行路径规划，导航搬运装置前往栈板进行工作。
本发明所述路径规划方法由于采用所述基于TOF相机的栈板位姿确定方法能够准确的获取到所述栈板的位置进行路径规划，有助于实现搬运装置的控制，实现搬运装置与栈板准确、安全、平稳的配合。
本发明另一方面还提供了一种基于TOF相机的栈板位姿确定装置，包括：
获取模块，所述获取模块获取TOF相机拍摄的深度图、点云数据；
计算模块，所述计算模块计算出所述地面区域，计算所述栈板前端面的位置，计算所述待检测区域内所有的物体连通域区块，计算所述实际的所述占比那的连通域区块，计算所述第一线段，计算所述第一线段的空间位置，计算所述栈板位姿，所述计算模块获取所述获取模块的信息。
本发明另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器读取时，执行如上文所述的基于TOF相机的栈板位姿确定方法。
以上实施方式只是阐述了本发明的基本原理和特性，本发明不受上述实施方式限制，在不脱离本发明精神和范围的前提下，本发明还有各种变化和改变，这些变化和改变都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。