阅读说明：本技术 通用障碍物检测方法、装置与自动驾驶系统 (General obstacle detection method and device and automatic driving system ) 是由 杨焕星 赵帅领 马海军 王鹏 刘树明 俞鸿魁 于 2018-07-02 设计创作，主要内容包括：本发明提供了一种通用障碍物检测方法、装置与自动驾驶系统,所述检测方法,包括：获取左目图像与右目图像,所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的,所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；根据所述左目图像或所述右目图像,确定通用障碍物的下边界；根据所述左目图像、所述右目图像和所述下边界,确定所述通用障碍物的上边界；根据所述下边界与所述上边界,在最终效果图中利用棒状像素标示通用障碍物。本发明能够使得所分割出的边界准确性更佳。(The invention provides a general obstacle detection method, a general obstacle detection device and an automatic driving system, wherein the detection method comprises the following steps: acquiring a left eye image and a right eye image, wherein the left eye image is acquired according to a picture acquired by a left camera of a binocular vision system, and the right eye image is acquired according to a picture acquired by a right camera of the binocular vision system; determining a lower boundary of a general barrier according to the left eye image or the right eye image; determining an upper boundary of the general barrier according to the left eye image, the right eye image and the lower boundary; and marking a universal barrier by using rod-shaped pixels in the final effect picture according to the lower boundary and the upper boundary. The invention can ensure that the accuracy of the divided boundary is better.)

通用障碍物检测方法、装置与自动驾驶系统

技术领域

本发明涉及驾驶辅助与自动驾驶领域，尤其涉一种通用障碍物检测方法、装置与自动驾驶系统。

背景技术

驾驶辅助系统，可以理解为能够协助驾驶员完成道路上驾驶的系统，自动驾驶系统，可以理解为能够自动在道路上进行驾驶的系统，其中，可以通过通用障碍物检测方法与装置对道路上的通用障碍物进行检测，通用障碍物可以包括：行人、车辆、栏杆、指示牌等。

现有的相关技术中，可以利用双目视觉系统的两个摄像头分别采集图片，得到相应的视差图，再根据其中的像素信息，在视差图中分割出通用障碍物的边界。

然而，若通用障碍物的背景较为复杂，例如为建筑物，其视差图中背景部分的像素会对边界的分割造成干扰，从而导致分割出的边界准确性不佳。

发明内容

本发明提供一种通用障碍物检测方法、装置与自动驾驶系统，以解决分割出的边界准确性不佳的问题。

根据本发明的第一方面，提供了一种通用障碍物检测方法，包括：

获取左目图像与右目图像；所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的；所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；

根据所述左目图像或所述右目图像，确定通用障碍物的下边界；

根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界；

根据所述下边界与所述上边界，在最终效果图中利用棒状像素标示通用障碍物。

可选的，所述根据所述左目图像或所述右目图像，确定通用障碍物的下边界，包括：

利用第一神经网络计算出所述左目图像或所述右目图像可行驶区域；

根据所述可行驶区域，确定所述障碍物的下边界。

可选的，所述第一神经网络为道路分割神经网络。

可选的，所述根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界，包括：

根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界；

利用第二神经网络确定所述通用障碍物的第二上边界；

根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界。

可选的，所述第二神经网络为语义分割神经网络。

可选的，所述根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界，包括：

在所述视差图中确定所述下边界的各点为基准像素点，并计算所述基准像素点的视差值；

逐列遍历所述视差图中除所述基准像素点以外的第一像素点，并计算所述第一像素点的视差值；

根据所述第一像素点的视差值，以及所述基准像素点的视差值，确定所述第一上边界。

可选的，所述根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界，包括：

比较所述第一上边界中各第一位置点的高度以及所述第二上边界中与所述各第一位置点对应的各第二位置点的高度；

若第一位置点的高度和与其对应的第二位置点的高度不同，则根据第一位置点的高度和与其对应的第二位置点的高度，确定所述上边界中目标位置点的高度；

其中，所述目标位置点的高度不同于所述第一位置点的高度和所述第二位置点的高度；

若第一位置点的高度和与其对应的第二位置点的高度相同，则确定所述上边界中目标位置点的高度为所述第一位置点的高度或所述第二位置点的高度。

可选的，所述根据第一位置点的高度和与其对应的第二位置点的高度，确定所述上边界中目标位置点的高度，包括：

计算第一位置点的高度和与其对应的第二位置点的高度的平均值；

确定所述上边界中对应的目标位置点的高度为所述平均值。

根据本发明的第二方面，提供了一种基于双目视觉的通用障碍物检测装置，包括：

传感模块，用于获取左目图像与右目图像；所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的；所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；

下边界处理模块，用于根据所述左目图像或所述右目图像，确定通用障碍物的下边界；

上边界处理模块，用于根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界；

第一标示模块，用于根据所述下边界与所述上边界，在最终效果图中利用棒状像素标示通用障碍物。

可选的，所述下边界处理模块，包括：

可行驶区域处理单元，用于利用第一神经网络计算出所述左目图像或所述右目图像中的可行驶区域；

下边界确定单元，用于根据所述可行驶区域，确定所述障碍物的下边界。

可选的，所述第一神经网络为道路分割神经网络。

可选的，所述上边界处理模块，包括：

第一上边界处理单元，用于根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界；

第二上边界处理单元，用于利用经训练的第二神经网络确定所述通用障碍物的第二上边界；

上边界处理单元，用于根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界。

可选的，所述第二神经网络为语义分割神经网络。

可选的，所述第一上边界处理单元，包括：

基准像素点处理子单元，用于在所述视差图中确定所述下边界的各点为基准像素点，并计算所述基准像素点的视差值；

第一像素点处理子单元，用于逐列遍历所述视差图中除所述基准像素点以外的第一像素点，并计算所述第一像素点的视差值；

第一上边界确定子单元，用于根据所述第一像素点的视差值，以及所述基准像素点的视差值，确定所述第一上边界。

可选的，所述上边界处理模块，包括：

比较单元，用于比较所述第一上边界中各第一位置点的高度以及所述第二上边界中与所述各第一位置点对应的第二位置点的高度；

第一高度单元，用于若第一位置点的高度和与其对应的第二位置点的高度不同，则根据第一位置点的高度和与其对应的第二位置点的高度，确定所述上边界中目标位置点的高度；

其中，所述目标位置点的高度不同于所述第一位置点的高度和所述第二位置点的高度；

第二高度单元，用于若第一位置点的高度和与其对应的第二位置点的高度相同，则确定所述上边界中目标位置点的高度为所述第一位置点的高度或所述第二位置点的高度。

可选的，所述第一高度单元单元，包括：

平均值计算子单元，用于计算对应的第一位置点的高度和第二位置点的高度的平均值；

高度确定子单元，用于确定所述上边界中对应的目标位置点的高度为所述平均值。

根据本发明的第三方面，提供了一种自动驾驶系统，包括：

本发明第二方面及其可选方案所涉及的基于双目视觉的通用障碍物检测装置，

还包括显示模块，用于显示出通用障碍物；

控制模块，用于根据所显示出的通用障碍物，控制车辆行驶。

根据本发明的第四方面，提供了一种电子终端，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行第一方面及第一方面各种可能涉及的方法。

根据本发明的第五方面，提供了一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现第一方面及第一方面各种可能涉及的方法。

本发明提供的通用障碍物检测方法、装置与自动驾驶系统，通过根据所述左目图像或所述右目图像，确定通用障碍物的下边界，实现了下边界的确定，还通过根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界，实现了上边界的确定，由于上边界的确定易受背景部分干扰，本发明针对于上边界采用了区别于下边界的确定方式，进而通过区别的处理为提高边界分割的准确性提供了基础。

同时，本发明中上边界的确定方式不仅考虑到了左目图像与右目图像，还进一步结合了受背景部分干扰相对较小的下边界，故而，能够使得所分割出的边界准确性更佳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于双目视觉的通用障碍物检测方法的流程示意图；

图2是本发明另一实施例中基于双目视觉的通用障碍物检测方法的流程示意图；

图3是图2中步骤S22的流程示意图；

图4是图2中步骤S231的流程示意图；

图5是图4中步骤S2313的流程示意图；

图6是本发明一评价图的图像示意图；

图7是本发明一代价图的图像示意图；

图8是图2中步骤S233的流程示意图；

图9是图8中步骤S2333的流程示意图；

图10是本发明一最终效果图的图像示意图；

图11是本发明一实施例中基于双目视觉的通用障碍物检测装置的结构示意图；

图12是图11中下边界处理模块的结构示意图；

图13是图11中上边界处理模块的结构示意图；

图14是本发明一实施例中自动驾驶系统的结构示意图；

图15是本发明一电子终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明及其可选方案提供的通用障碍物检测方法与装置，可应用于服务器、智能终端等任意可对车辆驾驶进行辅助的场景，其中的智能终端可以为车载终端、手机终端、平板电脑、计算机等等，本发明及其可选方案可应用于利用双目视觉(Stereo Vision)系统对通用障碍物进行检测。双目视觉系统可为智能终端中内置的，也可为外置的，其安装于车辆。

双目视觉系统，可以理解为包括两个位置相对固定的摄像头，分别为左边摄像头与右边摄像头，在实施过程中，两个摄像头可在同一时刻触发进行拍摄，分别得到两张图片，左边摄像头拍摄到的图片可用以得到左目图像，右边摄像头拍摄到的图片可用以得到右目图像，其中，左边摄像头所拍摄的图片可直接作为左目图像，右边摄像头所拍摄的图片可直接作为右目图像。左目图像和右目图像，可理解为双目图片。在该两张图像基础上进行的所有计算机视觉领域内的应用，均可理解为双目视觉的实现。

通过双目视觉的实现，可以得到真实世界中点的三维坐标，即点3D坐标信息，其也可理解为立体视觉。双目视觉得到的不是全3D信息，只是物理真实世界中摄像头采集到的那些点的3D信息，全3D信息在三维坐标系中旋转都会有每个点的详细三维信息，摄像头拍摄到的图片是真实物理世界经过投影变换(Projectvie Transform)之后在投影空间里面投射后的信息，投影变换时摄像头的光心作为投影变换的射线的出发点，物理世界中点沿此射线投射在摄像头的投影面上，投影空间的线在投影面上变为点，投影空间射线连接成的面在投影面上变为线。

投影变换的一种方式为透视变换(Perspective Transform)，透视变换可理解为投影变换的子集，投影变换在代数上由一个矩阵决定，此矩阵为单应矩阵(Homography)。物理世界信息经由投影变换后，实际上就是物理世界点三维坐标的齐次坐标乘以单应矩阵之后得到摄像头坐标系的齐次坐标。现实世界中很多不同的点经过摄像头投影面都会与光心相连，这些不同的点在投影面上都会变成一个点，现实世界这些不同的点在欧式几何上都是不同的，但在投影几何(Projective Geometry)上以齐次坐标的形式表现出来都是等价的，由此投影变换后多个点变为一个点。

本发明及其可选方案所检测的通用障碍物(General Obstacle)，可以为领域内通常理解的障碍物，例如车、行人等可根据其对应的语义分类，从而被表征和识别的，也可以为不具有对应的语义分类，从而难以被表征和识别的，例如未在网络模型中定义的动物，或者凸起在道路上无实际意义的凸起结构等等。可见，本发明及其可选方案的应用，不依赖于对事物的语义分类，可以无需建立网络模型。故而，其可包括语义分割网络的模型可识别的障碍物，也可包括无法识别的障碍物。

图1是本发明一基于双目视觉的通用障碍物检测方法的流程示意图。

请参考图1，基于双目视觉的通用障碍物检测方法，包括：

S11：获取左目图像与右目图像。

所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的；所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；左目图像可以直接采用左边摄像头采集的图片，也可以为对左边摄像头采集的图片进行处理后得到的图像；右目图像可以直接采用右边摄像头采集的图片，也可以为对右边摄像头采集的图片进行处理后得到的图像。其中的处理，可以为对所采集的图片的矫正。

S12：根据所述左目图像或所述右目图像，确定通用障碍物的下边界。

由于通用障碍物的下边界通常为可行驶的道路，其特征较为简单，故而，领域内任意实现边界确定的方案均可适用于步骤S12的实现。同时，因其较为简单，左目图像和右目图像任意之一均可得到较为准确的下边界。

S13：根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界。

S14：根据所述下边界与所述上边界，在最终效果图中利用棒状像素标示通用障碍物。

棒状像素，可以参考以下描述理解：图像上最小的单位是像素，比较大的单位是一个个语义上的物体，或者区域，棒状像素可理解为将相邻的像素列联合在一起后得到的，通常是3列或5列或7列联合在一起所形成竖棒状的条形像素列。棒状像素是双目视觉中通用通用障碍物常用的表示方法。

本实施例提供的基于双目视觉的通用障碍物检测方法，通过根据所述左目图像或所述右目图像，确定通用障碍物的下边界，实现了下边界的确定，还通过根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界，实现了上边界的确定，由于上边界的确定易受背景部分干扰，本发明针对于上边界采用了区别于下边界的确定方式，进而通过区别的处理为提高边界分割的准确性提供了基础。

同时，本实施例中上边界的确定方式不仅考虑到了左目图像与右目图像，还进一步结合了受背景部分干扰相对较小的下边界，故而，能够使得所分割出的边界准确性更佳。

图2是本发明另一实施例中基于双目视觉的通用障碍物检测方法的流程示意图。

请参考图2，基于双目视觉的通用障碍物检测方法，包括：

S21：获取左目图像与右目图像。

所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的；所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；左目图像可以直接采用左边摄像头采集的图片，也可以为对左边摄像头采集的图片进行处理后得到的图像；右目图像可以直接采用右边摄像头采集的图片，也可以为对右边摄像头采集的图片进行处理后得到的图像。其中的处理，可以为对所采集的图片的矫正。

对于左目图像与右目图像，可对应得到双目参数，其具体可包括左目投影矩阵与右目投影矩阵，根据两个投影矩阵，可得到反投影矩阵，其可理解为将二维图像中的点投影至三维空间的矩阵，利用反投影矩阵，可对应计算得到各像素点的三维坐标(X，Y，Z)。

S22：根据所述左目图像或所述右目图像，确定通用障碍物的下边界。

由于通用障碍物的下边界通常为可行驶的道路，其特征较为简单，故而，领域内任意实现边界确定的方案均可适用于步骤S12的实现。同时，因其较为简单，左目图像和右目图像任意之一均可得到较为准确的下边界。

图3是图2中步骤S22的流程示意图。

请参考图3，步骤S22，可以包括：

S221：利用第一神经网络计算出所述左目图像或所述右目图像可行驶区域。

可行驶区域(Free Space)，可以理解为图像所示范围内任意车或机器可以行驶的区域，狭义上的可行驶区域可以指车按照交通规则可以行驶的区域，广义上可包括车道、车道周边草地、安全岛等紧急情况一切可以行驶的地方。

第一神经网络可以为道路分割神经网络。具体实施过程中，可以采用全卷积的道路分割网络实施步骤S221的过程，也可采用其他神经网络来实现步骤S221的过程。例如，可使用TensorFlow系统实现的KittiSeg神经网络，也可以使用Caffe系统实现的FCN全卷积神经网络，也可以使用全卷积端到端的FCIS实例分割模型所建立的神经网络等等。再例如采用开源的卷积神经网络(MC-CNN)来实现。

在其他可选方案中，也可利用视差图，进而根据几何原理，利用几何方式得到该可行驶区域。例如可以采用SGBM(semi-global block matching)算法。

然而，利用几何方式进行计算具有以下不足之处：

首先，对于复杂的路面，例如道路一面相对另一面发生了偏斜，上坡道路，下坡道路，具有一定曲率，在V视差图中这些曲面都无法映射为直线，同时，由于很多通用障碍物的堆叠，形成的直线很模糊且有很多毛刺，常用的霍夫变换根本无法识别这么复杂毛刺线段堆叠的情况。可见，利用视差图确定下边界无法适应较为复杂的路面情况。

其次，视差图的质量高低依赖双目立体匹配算法，立体匹配算法对强光、暗光、弱纹理等均无法匹配，这将导致视差图所检测的可行驶区域不够准确，易产生误识别。

再次，针对类似的对象，例如自身车道与逆行车道，视差图中难以进行精细的区分，例如：安全岛或者路边草地比道路面高几厘米，在视差图上仅能进行模糊的识别，识别的精确度不佳。

可见，本申请利用经训练的第一神经网络，因其不受限于视差图，可有效克服以上诸不足。

S222：根据第一神经网络计算出可行驶区域，确定所述障碍物的下边界。

可行驶区域的轮廓，其可包括通用障碍物相关边界，也可包括其他部分，从中可提取所述下边界。

S23：根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界。

请参考图2，步骤S23，包括：

S231：根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界。

视差图(Disparity Image)，其原理可以理解为：物理世界点投射在左边摄像头和右边摄像头上是两个点，摄像头采集的图片经过校准之后分别得到矫正之后的左目图像与右目图像，投射点在矫正后左目图像上的像素位置为(x1,y1)，在校正后右目图像上像素点的位置为(x2,y2)，根据极线几何约束y1＝y2，像素差x1-x2就叫视差，所有像素点的视差组成的图像构成视差图。

可见，利用视差图所确定的边界，可以理解为利用几何原理及几何方式确定的边界，侧重于物体之间的位置关系等几何属性。相对于利用例如语义分割神经网络的第二神经网络确定的边界，几何方式可适用的场景更多样，从而能够满足各种通用障碍物的检测需求，普适性较佳。同时，因其基于几何原理进行检测，可以使得检测结果相对稳定，即针对同一视差图，可得到稳定的检测结果。

图4是图2中步骤S231的流程示意图。

请参考图4，步骤S231，可以包括：

S2311：在所述视差图中确定所述下边界的各点为基准像素点，并计算所述基准像素点的视差值。

基准像素点，可以理解为通用障碍物下侧边缘的像素点。因下边界已确定，所以基准像素点可根据下边界的位置确定。

S2312：逐列遍历所述视差图中除所述基准像素点以外的第一像素点，并计算所述第一像素点的视差值。其中第一像素点为视差图中除基准像素点以外的所有的像素点。

S2313：根据所述第一像素点的视差值，以及所述基准像素点的视差值，确定所述第一上边界。

图5是图4中步骤S2313的流程示意图。图6是本发明一评价图的图像示意图。图7是本发明一代价图的图像示意图。

请参考图5，并结合图6与图7，步骤S2313，可以包括：

S23131：根据各列中的其余像素点与该列中基准像素点的视差值，对所述像素点进行评分。

具体可以理解为：比较其余像素点的视差值与基准像素点的视差值之间的差距，若其差值越高，或越低，其对应的评分越高。

S23132：根据各列中各像素点的评分，得到所述视差图对应的评价图(VoteImage)。

所述评价图中的各像素点的灰度用于表征对应像素点的评分。具体可以为评分越高，灰度越白。同时，为了将评分与灰度对应，可对评分进行归一化处理，图6可具体理解为归一化后确定的评价图。

S23133：逐列遍历所述评价图中的各像素点，得到对应的用于确定上边界的代价图(CostImage)。

所述代价图中像素点的灰度用于表征对应像素点的评分相对于该列中所有像素点的评分的权重。

由于代价图中像素点的灰度用于表征对应像素点的评分相对于该列中其他所有像素点的评分的权重。本实施方式针对评价图，可计算对应像素点的评分相对于该列中其他所有像素点的评分的累积总和的占比，从而确定代价图。请参考图7所示的代价图，其中颜色最深的黑色曲线可以理解为通用障碍物的第一上边界。

S232：利用第二神经网络确定所述通用障碍物的第二上边界。

第二神经网络，可以为经训练的语义分割神经网络，可以理解为：对于语义分割神经网络，对其输入大量的通用障碍物训练数据，例如大量图片，以及人工对其中通用障碍物上边界的标注数据，再例如大量图片，以及基于像素信息对图片中通用障碍物的分析数据等等；通过训练数据的深度学习，经训练的语义分割神经网络可在图片中分割出通用障碍物。

语义分割神经网络的检测，侧重于视觉上下文的内容，其可与步骤S231的几何方式产生互补，从而使得上边界可兼顾几何属性与视觉上下文的内容。

此外，语义分割神经网络的检测，在识别是否为通用障碍物的基础上，还可进一步识别通用障碍物的细分类型等信息，从而丰富了检测到的信息，还可提高了检测的精细度。

具体实施过程中，语义分割神经网络可以采用基于全卷积网络FCN的语义分割网络实现步骤S232的过程。

S233：根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界。

对于仅采用语义分割神经网络进行检测的方案，由于其所能够分割的边界，受限于其所受训练的数据范围，若通用障碍物的类型未在训练数据中记录，则利用语义分割神经网络分割得到的边界会无法识别，或难以识别，从而导致识别结果不准确。故而，本实施例，相对于仅采用语义分割神经网络进行检测的方案，可具有普适性较佳，以及针对未训练的通用障碍物，有效提高了检测准确率的效果。

对于仅采用几何方式进行检测的方案，在背景较为复杂的情况下，其视差图中区分通用障碍物与背景可能有困能，从而导致所检测的上边界可能不准确，同时，由于视差图的质量会受到环境光、通用障碍物纹理等影响，若视差图的质量较差，会影响上边界的监测，从而导致所检测的上边界不准确，故而，语义分割神经网络的引入，以及根据第一上边界与第二上边界得到上边界，相对于仅采用几何方式进行检测的方案，可有效提高检测准确率。

图8是图2中步骤S233的流程示意图。

请参考图8，步骤S233，可以包括：

S2331：比较所述第一上边界中各第一位置点的高度以及所述第二上边界中各第二位置点的高度。

其中，第一位置点和第二位置点的对应关系，可以为均对应于最终效果图的同一列图像。例如：第一上边界中的一个第一位置点所处位置为最终效果图的第十列图像对应的位置，则对应的一个第二位置点所处位置也为最终效果图的第十列图像对应的位置，在对应于同一列图像的基础上，其第一位置点与第二位置点可对应于不同行，即处于不同的高度。

最终效果图，可以理解为经过几何方法和语义分割神经网络融合后的图像。

S2332：第一位置点的高度和与其对应的第二位置点的高度是否不同。

若是，即高度不同，则实施步骤S2333：根据第一位置点的高度和预期对应的第二位置点的高度，确定所述上边界中目标位置点的高度。

其中，所述目标位置点的高度不同于所述第一位置点的高度和所述第二位置点的高度，故而，目标位置点的高度可以为兼顾第一上边界与第二上边界得到的。

图9是图8中步骤S2333的流程示意图。

请参考图9，步骤S2333，可以包括：

S23331：计算第一位置点的高度和与其对应的第二位置点的高度的平均值。

S23332：确定所述上边界中对应的目标位置点的高度为所述平均值。

若否，即高度一致，则实施步骤S2334：根据第一位置点的高度和与其对应的第二位置点的高度，确定所述上边界中目标位置点的高度。

S24：根据所述下边界与所述上边界，在最终效果图中利用棒状像素标示通用障碍物。

本实施例提供的通用障碍物检测方法，通过根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界；以及利用例如语义分割神经网络的第二神经网络确定所述通用障碍物的第二上边界；分别实现了利用视图差的几何方式确定上边界，以及利用深度学习的神经网络方式确定上边界，本发明还根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界，由于深度学习的神经网络方式可提供较高的识别准确性，相较于仅利用视差图的几何方式，本实施例中的上边界的准确性较高。

图10是本发明一最终效果图的图像示意图。

请参考图10，其对各通用障碍物以棒状像素的方式进行了标识。

棒状像素，可以参考以下描述理解：图像上最小的单位是像素，比较大的单位是一个个语义上的物体，或者区域，棒状像素可理解为将相邻的像素列联合在一起后得到的，通常是3列或5列或7列联合在一起所形成竖棒状的条形像素列。棒状像素是双目视觉中通用通用障碍物常用的表示方法。

其中一种实施方式中，可先确定下边界，然后确定上边界，最后再利用棒状像素进行标示。

在其他可选实施例方案中，也可先在图上标示出棒状像素，再根据第一上边界、第二上边界、下边界对棒状像素进行调整。其处理结果也可满足以上步骤S24。

综上可见，本实施例提供的基于双目视觉的通用障碍物检测方法，通过根据所述左目图像或所述右目图像，确定通用障碍物的下边界，实现了下边界的确定，还通过根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界，实现了上边界的确定，由于上边界的确定易受背景部分干扰，本发明针对于上边界采用了区别于下边界的确定方式，进而通过区别的处理为提高边界分割的准确性提供了基础。

同时，本实施例中上边界的确定方式不仅考虑到了左目图像与右目图像，还进一步结合了受背景部分干扰相对较小的下边界，故而，能够使得所分割出的边界准确性更佳。

图11是本发明一实施例中基于双目视觉的通用障碍物检测装置的结构示意图。

请参考图11，通用障碍物检测装置30，包括：

传感模块31，用于获取左目图像与右目图像；所述左目图像为根据双目视觉系统的左边摄像头采集的图片得到的；所述右目图像为根据所述双目视觉系统的右边摄像头采集的图片得到的；其中一种实施方式中，传感模块可包含所述左边摄像头和所述右边摄像头，另一实施方式中，传感模块也可分别与所述左边摄像头和所述右边摄像头连接；再一实施方式中，传感模块也可与一图像处理装置连接，所述图像处理装置分别连接所述左目摄像头和所述右目摄像头。任意能获取到左目图像和右目图像的方案，均不脱离本发明的描述；

下边界处理模块32，用于根据所述左目图像或所述右目图像，确定通用障碍物的下边界；

上边界处理模块33，用于根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界；

第一标示模块34，用于根据所述下边界与所述上边界，在最终效果图中利用棒状像素标示通用障碍物。

图12是图11中下边界处理模块的结构示意图。

请参考图12，所述下边界处理模块32，包括：

可行驶区域处理单元321，用于利用第一神经网络计算出所述左目图像或所述右目图像可行驶区域；

下边界确定单元322，用于根据第一神经网络计算出可行驶区域，确定所述障碍物的下边界。

可选的，所述第一神经网络为道路分割神经网络。

图13是图11中上边界处理模块的结构示意图。

可选的，所述上边界处理模块33，包括：

第一上边界处理单元331，用于根据所述左目图像与所述右目图像的视差图，以及所确定的所述通用障碍物的下边界，确定所述通用障碍物的第一上边界；

第二上边界处理单元332，用于利用经训练的第二神经网络确定所述通用障碍物的第二上边界；

上边界处理单元333，用于根据所述第一上边界和所述第二上边界，确定所述通用障碍物的上边界。

可选的，所述第二神经网络为语义分割神经网络。

可选的，所述第一上边界处理单元331，包括：

基准像素点处理子单元3311，用于在所述视差图中确定所述下边界对应的基准像素点，并计算所述基准像素点的视差值；

其余像素点处理子单元3312，用于逐列遍历所述视差图中除所述基准像素点以外的其余像素点，并计算所述其余像素点的视差值；

第一上边界确定子单元3313，用于根据所述其余像素点的视差值，以及所述基准像素点的视差值，确定所述第一上边界。

可选的，所述上边界处理模块333，包括：

比较单元3331，用于比较所述第一上边界中各第一位置点的高度以及所述第二上边界中与所述各第一位置点对应的第二位置点的高度；

第一高度单元3332，用于若第一位置点的高度和与其对应的第二位置点的高度不同，则根据第一位置点的高度和与其对应的第二位置点的高度，确定所述上边界中目标位置点的高度；

其中，所述目标位置点的高度不同于所述第一位置点的高度和所述第二位置点的高度；

第二高度单元3333，用于若第一位置点的高度和与其对应的第二位置点的高度相同，则确定所述上边界中目标位置点的高度为所述第一位置点的高度或所述第二位置点的高度。

可选的，所述第一高度单元单元3332，包括：

平均值计算子单元33321，用于计算对应的第一位置点的高度和第二位置点的高度的平均值；

高度确定子单元33322，用于确定所述上边界中对应的目标位置点的高度为所述平均值。

本实施例提供的基于双目视觉的通用障碍物检测装置，通过根据所述左目图像或所述右目图像，确定通用障碍物的下边界，实现了下边界的确定，还通过根据所述左目图像、所述右目图像和所述下边界，确定所述通用障碍物的上边界，实现了上边界的确定，由于上边界的确定易受背景部分干扰，本发明针对于上边界采用了区别于下边界的确定方式，进而通过区别的处理为提高边界分割的准确性提供了基础。

同时，本实施例中上边界的确定方式不仅考虑到了左目图像与右目图像，还进一步结合了受背景部分干扰相对较小的下边界，故而，能够使得所分割出的边界准确性更佳。

图14是本发明一实施例中自动驾驶系统的结构示意图。

请参考图14，自动驾驶系统400，包括：

图11至图13所示实施例所涉及的基于双目视觉的通用障碍物检测装置30；

还包括显示模块41，用于显示出所述通用障碍物；

控制模块42，用于根据所显示出的通用障碍物，控制车辆行驶。

本实施例还提供了一种自动驾驶方法，包括：

利用图1至图10所示实施例所涉及的基于双目视觉的通用障碍物检测方法标示出通用障碍物；

根据所标示出的通用障碍物，控制车辆行驶。

本实施例还提供了另一种自动驾驶系统，包括：

第二标示模块，用于利用第一方面及其可选方案涉及的基于双目视觉的通用障碍物检测方法标示出通用障碍物；

行驶模块，用于根据所标示出的通用障碍物，控制车辆行驶。

图15是本发明一电子终端的结构示意图。

请参考图15，该电子终端50包括：处理器51以及存储器52；其中

存储器52，用于存储计算机程序，该存储器还可以是flash(闪存)。

处理器51，用于执行存储器存储的执行指令，以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。

当所述存储器52是独立于处理器51之外的器件时，所述发送设备50还可以包括：

总线53，用于连接所述存储器52和处理器31。

本实施例还提供一种可读存储介质，可读存储介质中存储有执行指令，当电子终端的至少一个处理器执行该执行指令时，电子终端执行上述的各种实施方式提供的方法。

本实施例还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子终端的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子终端实施上述的各种实施方式提供的方法。

在上述电子终端的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。