一种基于卷积神经网络的车道线检测方法

文档序号:191453 发布日期:2021-11-02 浏览:20次 >En<

阅读说明:本技术 一种基于卷积神经网络的车道线检测方法 (Lane line detection method based on convolutional neural network ) 是由 孔斌 张露 王灿 于 2021-07-27 设计创作,主要内容包括:本发明提供了一种基于卷积神经网络的车道线检测方法,包括,编码过程,通过卷积神经网络提取车道线的特征信息;解码过程,对编码后的图片进行反卷积操作,并通过反卷积层获取车道线位置特征分割图和车道线实例信息特征分割图;车道线融合,将车道线位置特征分割图和车道线实例信息特征分割图进行融合,基于逻辑与操作保留在两张分割图中均被认为属于车道线的像素点,删除其他像素点,完成车道线的提取。本发明的优点在于:通过卷积神经网络自动完成图片的编码和解码处理,实现图片像素特征的提取,然后基于反卷积层分别提取车道线的不同特征,并对不同特征提取的车道线进行与操作,提高识别精度,而且提取不同特征是同步进行的,保证响应速度。(The invention provides a lane line detection method based on a convolutional neural network, which comprises the steps of extracting characteristic information of a lane line through the convolutional neural network in a coding process; in the decoding process, the encoded picture is subjected to deconvolution operation, and a lane line position characteristic segmentation graph and a lane line example information characteristic segmentation graph are obtained through a deconvolution layer; and (3) lane line fusion, namely fusing the lane line position characteristic segmentation graph and the lane line example information characteristic segmentation graph, reserving pixel points which are regarded as belonging to the lane lines in the two segmentation graphs based on logic and operation, deleting other pixel points, and finishing the extraction of the lane lines. The invention has the advantages that: the image coding and decoding processing is automatically completed through the convolutional neural network, the extraction of image pixel characteristics is realized, then different characteristics of lane lines are respectively extracted based on the deconvolution layer, and the lane lines extracted by the different characteristics are subjected to AND operation, so that the identification precision is improved, the extraction of the different characteristics is synchronously performed, and the response speed is ensured.)

一种基于卷积神经网络的车道线检测方法

技术领域

本发明涉及车道检测技术领域,尤其涉及一种基于卷积神经网络的车道线检测方法。

背景技术

车道线是交通系统中道路划分区域的标志,是车辆有序行驶的保证。正确的车道线的检测与分类能够使自动驾驶汽车对自己的位置与状态有进一步的决策与判断,保证车辆以安全的状态行驶。因此,快速、准确的车道线检测算法可以提升车道线保持、车道偏离报警等功能的准确性,对提高自动驾驶汽车的安全具有重要的意义。由于车道线标志的种类繁多,车辆拥挤造成车道线标志区域被遮挡,车道线可能有腐蚀磨损的情况,以及天气等因素都能给车道线检测任务带来不小的挑战。

公开号为CN108009524A的发明专利申请公开了一种基于全卷积神经网络的车道线检测方法,通过构建车道线检测网络、确定特征图中车道线的概率,实现车道线的提取与检测,然而该方法通过单一的特征检测进行车道线的识别,准确率相对较低,无法满足使用要求。

发明内容

本发明所要解决的技术问题在于提供一种能够快速准确的识别车道线的方法。

本发明是通过以下技术方案解决上述技术问题的:一种基于卷积神经网络的车道线检测方法,包括,

S1:编码过程,通过卷积神经网络提取车道线的特征信息,方法为,

S101,使用核函数为3,步长为2的卷积层处理图片;

S102,使用密集模块和降维模块处理图片,并重复m次,提取特征信息;

所述密集模块通过其子单元提升图片的通道数,并将原始图片的通道数与子单元输出的通道数连接;所述降维模块对输入其的图片进行降维减少通道数;

S2:解码过程,使用反卷积层和密集模块处理编码后的图片,并重复m次,对最后一次密集模块输出的图片,分别输入到两个反卷积层中,分别获取车道线位置特征分割图和车道线实例信息特征分割图;

S3:车道线融合,将车道线位置特征分割图和车道线实例信息特征分割图进行融合,基于逻辑与操作保留在两张分割图中均被认为属于车道线的像素点,删除其他像素点,完成车道线的提取。

本发明通过卷积神经网络自动完成图片的编码和解码处理,实现图片像素特征的提取,然后基于反卷积层分别提取车道线位置特征和车道线实例信息特征,从而通过不同的途径分别提取车道线,并对不同特征提取的车道线进行逻辑与操作,提高识别精度,而且提取不同特征是同步进行的,不会增加算法的执行时间,保证响应速度。

优选的,所述密集模块处理图片的方法为,

对于高为H、宽为W、通道数为C的输入图片,通过密集模块的第一个子单元将通道数调整为N,其中N为预设的常数;

将输入图片与子单元的输出结果并联跳跃,得到通道数为C+N的中间值;

将中间图片输入第二个子单元中,将通道数调整为N;

将输入图片、中间图片和第二个子单元的调整结果并联跳跃,得到通道数为C+C+N+N的结果并输出。

优选的,所述子单元首先使用核函数为1、步长为1,通道数为4*N的卷积层将输入图像的通道数调整为4*N;然后通经过核函数为3,步长为1,通道数为N的卷积层将通道数调整为N。

优选的,所述降维模块处理图片的方法为:

对于高为H、宽为W、通道数为C的输入图片,使用核函数为1、步长为1,降维比率为r的卷积层将图片的通道数从C降至C/r;

使用核函数为a、步长为b的池化层将图片的尺寸从H×W×(C/r)降至(H/a)×(W/b)×(C/r)。

优选的,解码过程中,两个所述反卷积层分别为embeddable分支和instance分支;所述embeddable分支处理获得车道线位置特征分割图,instance分支处理获得车道线实例信息特征分割图;其中instance分支的训练样本中,对背景标注为0,并从1开始顺序标注车道线的ID;embeddable分支的训练样本中,以预设的间隔标注不同车道线的灰度值。

优选的,还包括将编码过程和解码过程中通过密集模块处理后尺寸和通道数相同的图片进行融合的步骤,

依次将解码过程的第i个密集模块的结果与编码过程第m+1-i个密集模块的结果的数值相加,其中i=[1,2,···,m]。

优选的,解码过程在使用密集模块处理之前使用的反卷积层和两个分支使用的反卷积层的核函数为3,步长为2。

优选的,所述instance分支的loss函数为

其中,n为像素的数量,yi为第i个像素的ID,即所述的车道线类别,ωi为第i个像素的权重,通过反卷积层能够直接获得权重,piy为第i个像素属于yi类别的预测概率,使用softmax函数计算,

其中,siy表示第i个像素属于类别y的概率,m表示总的类别数,即车道线总数。

优选的,所述embeddable分支的loss函数为

其中,N为车道线的数量,Mi表示属于车道线i的像素的数量,μi表示车道线i的像素的平均值,pik表示车道线i的第k个像素,||x||表示欧几里得距离。

优选的,对instance分支和embeddable分支的结果进行逻辑与融合后,还包括计算最终的loss函数的步骤,方法为,

ltotal=lins+lembeddable

优选的,所述embeddable分支还包括对像素点进行聚类的步骤,通过k-means算法将像素点聚类到不同的车道上。

本发明提供的基于卷积神经网络的车道线检测方法的优点在于:通过卷积神经网络自动完成图片的编码和解码处理,实现图片像素特征的提取,然后基于反卷积层分别提取车道线位置特征和车道线实例信息特征,从而通过不同的途径分别提取车道线,并对不同特征提取的车道线进行逻辑与操作,提高识别精度,而且提取不同特征是同步进行的,不会增加算法的执行时间,保证响应速度。

通过密集模块将上一个子单元的特征与下一个子单元的特征进行连接,能够在进行测试时利用多层信息,增强类别信息的监督作用,且这种密集性的连接可以产生正则化的效果,减少网络的过拟合。

子单元先增加维数然后再降低维数的方式既能降维减少计算量,又能融合各个通道的特征。

通过降维模块处理数据,减少通道数,以提高算法运行速度,同时保留最具代表性的特征,提高识别精度。

将编码过程和解码过程的数据进行融合,使最后的结果即有全局信息又能够保留住局部的细节信息,提高识别精度。

附图说明

图1为本发明的实施例提供的局域卷积神经网络的车道线识别方法的流程图;

图2为本发明的实施例提供的局域卷积神经网络的车道线识别方法的密集模块的流程图;

图3为本发明的实施例提供的局域卷积神经网络的车道线识别方法的子单元的流程图;

图4为本发明的实施例提供的局域卷积神经网络的车道线识别方法的降维模块的流程图;

图5为本发明的实施例提供的局域卷积神经网络的车道线识别方法的instance分支的训练样本示意图;

图6为本发明的实施例提供的局域卷积神经网络的车道线识别方法的embeddable分支的训练样本示意图;

图7为本发明的实施例提供的局域卷积神经网络的车道线识别方法的识别结果与真实结果和输入图像的比对图;

图8为本发明的实施例提供的局域卷积神经网络的车道线识别方法的识别结果与输入图像的叠加比对图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本实施例提供了一种基于卷积神经网络的车道线检测方法,包括,

S1:编码过程,通过卷积神经网络提取车道线的特征信息,方法为,

S101,使用核函数为3,步长为2的卷积层处理图片;

S102,使用密集模块和降维模块处理图片,并重复m次,提取特征信息;

所述密集模块通过其子单元提升图片的通道数,并将原始图片的通道数与子单元输出的通道数连接;所述降维模块对输入其的图片进行降维减少通道数;

S2:解码过程,使用反卷积层和密集模块处理编码后的图片,并重复m次,对最后一次密集模块输出的图片,分别输入到两个反卷积层中,分别获取车道线位置特征分割图和车道线实例信息特征分割图;

S3:车道线融合,将车道线位置特征分割图和车道线实例信息特征分割图进行融合,基于逻辑与操作保留在两张分割图中均被认为属于车道线的像素点,删除其他像素点,完成车道线的提取。

本实施例通过卷积神经网络自动完成图片的编码和解码处理,实现图片像素特征的提取,然后基于反卷积层分别提取车道线位置特征和车道线实例信息特征,从而通过不同的途径分别提取车道线,并对不同特征提取的车道线进行逻辑与操作,提高识别精度,而且提取不同特征是同步进行的,不会增加算法的执行时间,保证响应速度。

参考图2,所述密集模块处理图片的方法为,

对于高为H、宽为W、通道数为C的输入图片,使用第一个子单元将图片的通道数调整为N,其中N为预设的常数,本实施中子单元的通道数预设为N=20;

将输入图片与子单元的输出结果进行并联跳跃操作,得到通道数为C+N的中间值;

将中间值再次输入第二个子单元中,子单元将通道数再次调整到N;

再次将输入图片、中间值和第二个子单元的调整结果执行并联跳跃操作,得到通道数为C+C+N+N的结果并输出。

密集模块将上一个子单元的特征与下一个子单元的特征进行连接,能够在进行测试时利用多层信息,增强类别信息的监督作用,且这种密集性的连接可以产生正则化的效果,减少网络的过拟合。

参考图3,所述子单元对图片进行处理的步骤为,

首先使用核函数为1、步长为1、通道数为4*N的卷积层将输入图像的通道数调整到4*N,将结果通过正则化函数和激活函数调整后,再输入到核函数为3、步长为1、通道数为N的卷积层中,将通道数调整为N,然后再通过正则化函数和激活函数调整后即可将参数为H×W×C的输入图片处理成参数为H×W×N的输出图片。

子单元通过1×1的卷积提升通道数,以获得更多的特征;再通过3×3的卷积融合各个通道的特征,并由此降低通道数,这种先增加维数然后再降低维数的方式既能降维减少计算量,又能融合各个通道的特征。

通过密集模块操作后,会导致维度的增加,影响算法的运行速度,而降维模块既用于解决这一问题,参考图4,所述降维模块处理图片的方法为:

对于高为H、宽为W、通道数为C的输入图片,使用核函数为1、步长为1,降维比率为r的卷积层将图片的通道数从C降至C/r;

使用核函数为a、步长为b的池化层将图片的尺寸从H×W×(C/r)降至(H/a)×(W/b)×(C/r)。本实施例中a=2,b=2。

本实施例使用的降维模块,除了使用1×1的卷积层降低图片维度,还同时使用了2×2的池化层降低图片的尺寸,使用降维模块处理后,不仅能够减少通道数,还能保留最具代表性的特征。

再参考图1,反卷积层操作后,会导致特征图较小,损失很多细节,本实施例中还包括将编码过程和解码过程中通过密集模块处理后尺寸和通道数相同的图片进行融合的步骤,具体的,依次将解码过程的第i个密集模块的结果与编码过程第m+1-i个密集模块的结果的数值相加,其中i=[1,2,···,m]。

本实施例中,m=3,则编码过程和解码过程融合的具体方法为:

将编码过程的第一个密集模块的结果与解码过程第三个密集模块的结果的数值相加,

将编码过程的第二个密集模块的结果与解码过程第二个密集模块的结果的数值相加,

将编码过程的第三个密集模块的结果与解码过程第一个密集模块的结果的数值相加。

从而使最后的结果即有全局信息又能够保留住局部的细节信息,提高识别精度。

对最后一次密集模块输出的图片,分别输入到两个反卷积层中,解码过程使用的3个反卷积层和两个分支所使用的反卷积层的核函数为3,步长为2。

两个反卷积层分别为embeddable分支和instance分支;参考图5,instance分支的训练样本中,对背景标注为0,并从1开始顺序(从左到右或从右到左)标注车道线的ID;参考图6,embeddable分支的训练样本中,以预设的间隔标注不同车道线的灰度值,即以标注值作为车道线的灰度值,形成不同灰度值的多个车道线。

在训练完成后,即可通过embeddable分支处理后的车道线位置特征分布图,使用instance分支处理获得车道线实例信息特征分割图;从而通过两个分支分别获得车道线的识别结果,通过两个结果进行互补,更准确的区别不同的车道线。本实施例中,embeddable分支对应的反卷积层的通道数为4,instance分支对应的反卷积层的通道数为6,加上背景特征,最多可识别5条车道线,完全能够满足用户需求。

所述instance分支的loss函数为

其中,n为像素的数量,yi为第i个像素的ID,即所述的车道线类别,ωi为第i个像素的权重,通过反卷积层能够直接获得权重,piy为第i个像素属于yi类别的预测概率,使用softmax函数计算,

其中,siy表示第i个像素属于类别y的概率,m表示总的类别数,即车道线总数。

所述embeddable分支的loss函数为

其中,N为车道线的数量,本实施例中N=5,Mi表示属于车道线i的像素的数量,μi表示车道线i的像素的平均值,pik表示车道线i的第k个像素,||x||表示欧几里得距离。

最终还需要将instance分支和embeddable分支的结果进行逻辑与融合,同时需要将两个分支的loss函数加和处理,以评价算法质量,即最终的loss函数值为,

ltotal=lins+lembeddable

另外,在进行逻辑与融合前,对于embeddable分支识别的结果,还需要进行聚类划分到不同的车道线,本实施例中直接调用k-means算法进行聚类即可。

将本实施例提供的车道线检测方法定义为LLNet,与现有技术中的其他车道线检测方法进行比较,结果如下:

Methods 准确率 错检率 漏检率 运行时间
BiseNet 0.960 0.025 0.011 33.764
BiseNet-V2 0.961 0.023 0.009 19.709
ERFNet 0.962 0.022 0.010 29.501
Cascaded CNN 0.952 0.119 0.062 16.969
Line-CNN 0.938 0.041 0.019 68.000
PolyLaneNet 0.934 0.094 0.093 8.696
LaneDraw 0.928 - - 28.571
LaneNet 0.964 0.078 0.024 19
LLNet 0.962 0.019 0.007 10.285

从以上数据能够看出,本实施例提供过的方法在错检率和漏检率方面都具有明显的优势,而在准确率上也达到了现有技术中的最高水平,同时在算法运行时间上,单张图片处理时间约为10.285ms,能够迅速响应,适合智能驾驶场景下的实时车道线检测;因此相对于其他现有技术来说具有明显的技术优势。

图7为本实施例提供的车道检测方法与真实结果的对比示意图,从图中能够看出,本实施例中最终输出的车道线识别结果与真实结果即为接近,能够满足车道识别、车道偏离预警、自动驾驶等车辆安全功能的需求。

图8进一步展示了不同场景下本实施例识别的效果,通过与原始图像进行叠加,能够明显看出本实施例与原始图像基本能够完全重合,取得较好的检测结果。

以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于Mask-Rcnn识别鱼类生长检测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!