阅读说明：本技术 一种基于360度环视摄像头的车位尺寸识别系统及方法 (Parking space size identification system and method based on 360-degree all-round-looking camera ) 是由 马世典 江中旭 方伟锋 李玥 于 2019-09-18 设计创作，主要内容包括：本发明公开了一种基于360度环视摄像头的车位尺寸识别系统及方法,该系统包括中央控制器、图像采集模块、图像处理控制器、无线传输控制器和数据库。搭载该系统的智能汽车进行自动泊车时,通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位的图像。经过图像处理控制器进行图像处理后,分别获取空闲泊车位的长宽比和车位中车辆与车位的长宽比,并通过图像处理控制器的识别匹配技术,将拍摄到该车辆的图像与数据库中的车辆信息分析匹配,智能识别出该车辆的品牌型号,获取该车辆的外部尺寸(长度与宽度),然后通过简单的比例换算从而得到泊车位的尺寸(宽度及深度)。该系统适用性强、识别率高,能大大提高泊车时的车位尺寸识别精度。(The invention discloses a parking space size recognition system and method based on a 360-degree all-around camera. When the intelligent automobile carrying the system is used for automatic parking, images of idle parking spaces and parking spaces for parking vehicles are shot through the 360-degree all-round camera. After image processing is carried out by the image processing controller, the length-width ratio of an idle parking space and the length-width ratio of a vehicle and a parking space in the parking space are respectively obtained, the shot image of the vehicle is analyzed and matched with vehicle information in the database through the identification matching technology of the image processing controller, the brand model of the vehicle is intelligently identified, the external size (length and width) of the vehicle is obtained, and then the size (width and depth) of the parking space is obtained through simple proportional conversion. The system has strong applicability and high recognition rate, and can greatly improve the recognition precision of the parking space size when parking.)

一种基于360度环视摄像头的车位尺寸识别系统及方法

技术领域

本发明属于自动泊车领域，具体涉及一种基于视觉的车位尺寸识别系统与方法。

背景技术

随着城市的发展，城市用地规划愈加严谨，泊车位也越来狭窄，为寻求高效的泊车方案，减轻驾驶员的疲劳，自动泊车系统应运而生，其中基于超声波雷达的泊车系统是车位识别技术中主流的技术方案，但由于超声波雷达超声波散射角大，方向性较差，在测量较远距离的目标时，其回波信号会比较的弱，影响测量精度，因此不能得到泊车位准确的尺寸信息。

此外，还能通过摄像头技术实现车位识别，能够通过车载的摄像头拍摄的车位照片实现车位线的识别，但并不能获取车位的尺寸。

发明内容

针对上述情况中超声波雷达和摄像头不能准确得到泊车位尺寸的问题，本发明提供一种基于360度环视摄像头的车位尺寸识别系统及方法，以提高车位尺寸识别的精度。

为了实现上述目的，本发明具体技术方案如下：

一种基于360度环视摄像头的车位尺寸识别系统，包括中央控制器，以及与中央控制器相连的图像采集模块、图像处理控制器、无线传输控制器；

所述中央控制器负责控制和监测图像采集模块和图像处理控制器的运行，并通过无线传输控制器实现数据库与图像处理控制器的信息传输；

所述图像采集模块负责车辆周围图像信息的采集工作，包括依次相连的照明设备、图像采集控制器、360度环视摄像头、图像存储器；所述照明设备包括光传感器和LED灯；

该系统还包括数据库，数据库具有联网功能，中央控制器能通过无线控制器控制数据库进行联网数据更新，数据库中有完备的各种车辆图像以及这些车辆对应的型号尺寸信息；

装备该系统的智能汽车来到停车场或在路边排列整齐的停车位附近开始寻找车位时，通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位图像，在对拍摄图像处理后，分别获取车位的长宽比以及车位中车辆与车位的长宽比，同时，通过图像识别技术，将拍摄到的车位中车辆的图像信息与数据库中车辆的图像信息分析对比，识别出该车辆的品牌型号，获取该车辆的外部尺寸，从而通过比例换算得到车位的尺寸。

进一步，360度环视摄像头是安装于汽车前、后、左及右侧的多个摄像头组件，摄像头为广角摄像头，能对车辆四周环境图像实时采集。

进一步，所述图像采集模块负责对车辆周围信息的采集，其中，图像采集控制器控制360度环视摄像头拍摄开始与停止，并将拍摄的图像或影像传输给图像存储器。

进一步，所述照明设备是在泊车环境光线昏暗时，如夜间泊车环境或地下停车场照明不足环境，光传感器根据光线强弱，给采集控制器发送信号，并由采集控制器控制LED的亮和灭。光传感器和LED灯安装于车身四侧，能有效辅助360度环视摄像头工作。

进一步，所述图像处理控制器负责对图像信息的处理与识别，通过图像处理控制器实现了对采集图像的畸变矫正、鸟瞰变换、图像的拼接、图像的预处理和图像的识别。

进一步，所述无线传输控制器负责中央控制器与数据库的信息交互，通过编译好的通信协议，实现无线数据传输。

本发明的一种基于360度环视摄像头的车位尺寸识别方法，技术方案包括以下步骤：

步骤1)智能汽车在寻找车位时，驾驶员启动该系统，光传感器采集周围光照强度信息，并发送给采集控制器，若泊车环境光线昏暗，则采集控制器控制车身周围的LED灯开启，辅助照明；

步骤2)采集控制器控制360度环视摄像头拍摄车辆周围环境图像，并将采集到的图像信息编号和存放至图像存储器中；

步骤3)中央控制器控制图像处理控制器从图像存储器中调取图像信息，图像处理控制器对这些图像信息进行识别与处理，首先识别出泊车位区域的图像，然后进一步识别出空闲泊车位图像和停放车辆的泊车位图像；

步骤4)通过处理空闲泊车位的图像，获取泊车位的长宽比例为S；通过停放车辆的泊车位图像，获取车位长度与车辆长度的比例为T1，或车位宽度与车辆宽度的比例为T2，并将该车位的车辆图像分割出来；

步骤5)中央控制器控制无线传输控制器将数据库中的车辆图像发送给图像处理控制器，图像处理控制器将分割出来的车辆图像与数据库中车辆图像进行匹配，匹配成功后得到该车辆的尺寸信息，车辆长度为l，宽度为w；

步骤6)中央控制器计算车位长度为L＝T1×l,宽度为

或车位长度为L＝T2×w×S,宽度为W＝T2×w。

进一步，所述步骤3)中：

识别出空闲泊车位图像的方法步骤为：图像处理控制器从图像存储器中提取360度环视摄像头拍摄的图片，并对图片进行编号对应，即同一时间四个摄像头拍摄的图片为一组，然后进行图像处理，包括步骤：

步骤3.1.对这些图像进行畸变矫正：通过张正友标定法对360环视摄像头进行标定，获取摄像头的内参和外参，然后对图像进行畸变矫正；

步骤3.2.对图像进行鸟瞰变换处理，鸟瞰变换可以通过逆透视变换算法实现，透视变换的通用变换公式[x′，y′，w′]为：

其中(u，v)为原始的图像像素坐标，

为变换后的图像像素坐标，

为透视变换矩阵；

步骤3.3.对处理后的图像进行裁剪拼接，形成一幅完整的360环视图像；

步骤3.4.对图像进行预处理，包括滤波去噪和图像灰度化处理步骤，采用均值滤波的方法，消除图像中的尖锐噪声，图像f(i，j)通过均值滤波算法进行平滑去噪后得到图像g(x，y)，其方程为：

其中M为该模板中包含当前像素在内的像素总个数，i，j为像素坐标；模板算子一般为m×m；

图像灰度的计算公式如下：

F(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)

彩色图像中所有的像素点都经过上式转变后，R(x，y)、G(x，y)、B(x，y)彩色图像即转变为灰度图像；

步骤3.5.识别图像中矩形区域，具体过程如下：

对图像进行canny边缘检测，并提取图像的轮廓，通过Hough变换识别矩形，然后提取矩形区域轮廓并计算轮廓的面积，舍去途中不符合车位面积的矩形区域；

步骤3.6.识别车位角，具体包括如下：

通过寻找凸包得到矩形区域的四个点，即车位角的坐标，矩形区域内四个车位角坐标符合车位的长宽比，则认为是有效的车位，并得到车位的长宽比例为S；

识别停放车辆的泊车位图像的方法步骤为：图像处理控制器从图像存储器中提取出的图片进行复制，分别为A组和B组图片，并分别编号，然后进行图像处理，具体包括如下步骤：

A组图像：

通过获得的摄像头内外参数对图像进行畸变矫正；

对图像进行预处理，包括对图像均值滤波去噪消除图像中的尖锐噪声，对图像伽马变换增强图像的细节；

编辑车辆的正负样本，训练识别车辆的SVM分类器，通过SVM分类器识别出车辆，将该区域作为感兴趣区域；

通过canny边缘检测提取感兴趣区域的轮廓，通过调节阈值，提取该车辆轮廓；

编辑车位角的正负样本，训练识别车位角的SVM分类器，通过SVM分类器识别出车位角；

根据车位角所在区域，确定该车辆是否在泊车位区域内，若在泊车位区域内，则通过语义分割，将泊车位中的车辆与周围的背景分割开来；

通过神经网络方法，将分割出来的该车辆图像与数据库中的车辆图像进行识别匹配，得到该车辆的型号，然后获取其尺寸信息，得到该车辆长度为l宽度为w；

B组图像：

将B组中编号对应A组中识别的该车辆的图像提取出来；

通过获得的摄像头内外参数对该图像进行畸变矫正；

编辑车位角的正负样本，训练识别前后车灯的SVM分类器，识别车辆图像中的前后车灯，并将车灯外侧标记出来。若为两前车灯或两后车灯，则该图像为车身前侧或后侧，若为前车灯与后车灯，则该图像为车身左侧或右侧；

通过识别车位角的SVM的分类器识别出车位角并标记；

对该图像进行鸟瞰变换处理；

计算两车位角与两车灯外侧的长度比例，若该图像为车身前侧或后侧，车位线与两车灯外侧的长度比例作为车位宽度与车辆宽度的比例T2；若该图像为车身左侧或右侧，车位线与两车灯外侧的长度比例作为车位长度与车辆长度的比例T1。

本发明具有以下技术效果：该系统适用性强、识别率高，能大大提高泊车时的车位尺寸识别精度。经过图像处理控制器进行图像处理后，分别获取空闲泊车位的长宽比和车位中车辆与车位的长宽比，并通过图像处理控制器的识别匹配技术，将拍摄到该车辆的图像与数据库中的车辆信息分析匹配，智能识别出该车辆的品牌型号，获取该车辆的外部尺寸(长度与宽度)，然后通过简单的比例换算从而得到泊车位的尺寸(宽度及深度)。

除此之外，本发明的识别方法不但能够得到泊车位准确的尺寸信息；而且还能通过360度环视摄像头技术实现车位识别，能够通过车载的摄像头拍摄的车位照片实现车位线的识别，且轻易获取车位的尺寸。

附图说明

图1是本发明一种基于360度环视摄像头的车位尺寸识别系统的结构示意图。

图2是本发明一种基于360度环视摄像头的车位尺寸识别方法的流程图。

图3是本发明一种基于360度环视摄像头的车位尺寸识别系统和方法的空闲车位图像处理识别算法流程图。

图4是本发明一种基于360度环视摄像头的车位尺寸识别系统和方法的停放车辆的泊车位图像处理识别算法流程图。

具体实施方式

下面结合附图对本发明作进一步描述：

基于360度环视摄像头的车位尺寸识别系统结构如图1所示，该系统组件包括中央控制器、图像采集模块、图像处理控制器、无线传输控制器和数据库。其中，图像采集模块包括图像采集控制器、360度环视摄像头、图像存储器以及照明设备；上述模块及控制器均为市面上通用的模块及控制器，为本领域容易获得的公知技术模块。

所述中央控制器负责控制和监测图像采集模块和图像处理控制器的运行，并通过无线传输控制器实现数据库与图像处理控制器的信息传输。

所述图像采集模块负责对车辆周围信息的采集，其中，采集控制器控制360度环视摄像头拍摄开始与停止，并将拍摄的图像或影像传输给图像存储器。照明设备包括光传感器和LED灯，光传感器负责感知车辆周围光线强度，当光线不满足360度环视摄像头拍摄条件时，发送信号给采集控制器，采集控制器打开LED灯，辅助照明，使环视摄像头正常工作。

所述360度环视摄像头是安装于汽车前、后、左及右侧的四个摄像头，根据实际情况也能增加摄像头的数量。360度环视摄像头能够单独获取各个方向的环境信息，也能经过图像拼接得到车辆四周的360度全景信息，摄像头的安装位置如下：前摄像头安装在中网上，后摄像头安装在后备箱把手处，前后摄像头位于中轴线上，使前后拍摄出的画面高度一致；左右摄像头安装于左右后视镜下方，左右拍摄的画面高度一致。摄像头采用鱼眼镜头，视角大于180度以便于图像的拼接和显示，并具有足够的清晰度从而进行下一步的图像处理和识别工作。

所述照明设备是在泊车环境光线昏暗时，如夜间泊车环境或地下停车场照明不足环境，光传感器根据光线强弱，给采集控制器发送信号，并由采集控制器控制LED的亮和灭。光传感器和LED灯安装于车身四侧，能有效辅助360度环视摄像头工作。

所述图像处理控制器负责对图像信息的处理与识别，通过图像处理控制器实现了对采集图像的畸变矫正、鸟瞰变换、图像的拼接、图像的预处理和图像的识别。

所述无线传输控制器负责中央控制器与数据库的信息交互，通过编译好的通信协议，实现无线数据传输。

所述数据库具有联网功能，中央控制器能通过无线控制器控制数据库进行联网数据更新，数据库中有完备的各种车辆图像以及这些车辆对应的型号尺寸信息。

基于360度环视摄像头的车位尺寸识别方法如图2所示，装备该系统的智能汽车来到停车场或在路边排列整齐的停车位附近开始寻找车位时，通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位图像，在对拍摄图像处理后，分别获取车位的长宽比以及车位中车辆与车位的长宽比，同时，通过图像识别技术，将拍摄到的车位中车辆的图像信息与数据库中车辆的图像信息分析对比，识别出该车辆的品牌型号，获取该车辆的外部形状尺寸(长度与宽度)，从而通过比例换算得到车位的尺寸(宽度及深度)。

具体包括如下步骤：

(1)装备该系统的智能汽车在寻找车位时，驾驶员启动该系统，光传感器采集周围光照强度信息，并发送给采集控制器。若泊车环境光线昏暗，则采集控制器控制车身周围的LED灯开启，辅助照明。

(2)采集控制器控制360度环视摄像头拍摄车辆周围环境图像，并将采集到的图像信息编号和存放至图像存储器中。

(3)中央控制器控制图像处理控制器从图像存储器中调取图像信息，图像处理控制器对这些图像信息进行识别与处理，首先识别出泊车位区域的图像，然后进一步识别出空闲泊车位图像和停放车辆的泊车位图像。

(4)通过处理空闲泊车位的图像，获取泊车位的长宽比例为S；通过停放车辆的泊车位图像，获取车位长度与车辆长度的比例为T1(或车位宽度与车辆宽度的比例为T2)，并将该车位的车辆图像分割出来。

(5)中央控制器控制无线传输控制器将数据库中的车辆图像发送给图像处理控制器，图像处理控制器将分割出来的车辆图像与数据库中车辆图像进行匹配，匹配成功后得到该车辆的尺寸信息，车辆长度为l宽度为w。

(6)中央控制器计算车位长度为L＝T1×l,宽度为

(或车位长度为L＝T2×w×S,宽度为W＝T2×w)。

基于360度环视摄像头的车位尺寸识别系统和方法的空闲车位图像处理识别算法流程图如图3所示，图像处理控制器从图像存储器中提取360度环视摄像头拍摄的图片，并对图片进行编号对应，即同一时间四个摄像头拍摄的图片为一组。然后进行图像处理，具体包括如下步骤：

1.对这些图像进行畸变矫正。通过张正友标定法对360环视摄像头进行标定，获取摄像头的内参和外参，然后对图像进行畸变矫正；

2.对图像进行鸟瞰变换处理，鸟瞰变换可以通过逆透视变换算法实现，透视变换的通用变换公式为：

其中(u，v)为原始的图像像素坐标，

为变换后的图像像素坐标，

为透视变换矩阵。

3.对处理后的图像进行裁剪拼接，形成一幅完整的360环视图像；

4.对图像进行预处理，包括滤波去噪和图像灰度化处理步骤，本案例中采用均值滤波的方法，消除图像中的尖锐噪声，图像f(i，j)通过均值滤波算法进行平滑去噪后得到图像g(x，y)，其方程为：

其中M为该模板中包含当前像素在内的像素总个数，模板算子一般为m×m。

图像灰度的计算公式如下：

F(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)

彩色图像中所有的像素点都经过上式转变后，彩色图像即转变为灰度图像；

5.识别图像中矩形区域，具体过程如下：

对图像进行canny边缘检测，并提取图像的轮廓，通过Hough变换识别矩形，然后提取矩形区域轮廓并计算轮廓的面积，舍去途中不符合车位面积的矩形区域；

6.识别车位角，具体包括如下：

通过寻找凸包得到矩形区域的四个点，即车位角的坐标，矩形区域内四个车位角坐标符合车位的长宽比，则认为是有效的车位，并得到车位的长宽比例为S。

基于360度环视摄像头的车位尺寸识别系统和方法的停放车辆的泊车位图像处理识别算法流程图如图4所示，图像处理控制器从图像存储器中提取出的图片进行复制，分别为A组和B组图片，并分别编号，然后进行图像处理，具体包括如下步骤：

A组图像：

1.通过获得的摄像头内外参数对图像进行畸变矫正；

2.对图像进行预处理，包括对图像均值滤波去噪消除图像中的尖锐噪声，对图像伽马变换增强图像的细节；

3.编辑车辆的正负样本，训练识别车辆的SVM分类器，通过SVM分类器识别出车辆，将该区域作为感兴趣区域；

4.通过canny边缘检测提取感兴趣区域的轮廓，通过调节阈值，提取该车辆轮廓；

5.编辑车位角的正负样本，训练识别车位角的SVM分类器，通过SVM分类器识别出车位角；

6.根据车位角所在区域，确定该车辆是否在泊车位区域内，若在泊车位区域内，则通过语义分割，将泊车位中的车辆与周围的背景分割开来；

7.通过神经网络方法，将分割出来的该车辆图像与数据库中的车辆图像进行识别匹配，得到该车辆的型号，然后获取其尺寸信息，得到该车辆长度为l宽度为w。

B组图像：

1.将B组中编号对应A组中识别的该车辆的图像提取出来；

2.通过获得的摄像头内外参数对该图像进行畸变矫正；

3.编辑车位角的正负样本，训练识别前后车灯的SVM分类器，识别车辆图像中的前后车灯，并将车灯外侧标记出来。若为两前车灯或两后车灯，则该图像为车身前侧或后侧，若为前车灯与后车灯，则该图像为车身左侧或右侧；

4.通过识别车位角的SVM的分类器识别出车位角并标记；

4.对该图像进行鸟瞰变换处理；

5.计算两车位角与两车灯外侧的长度比例，若该图像为车身前侧或后侧，车位线与两车灯外侧的长度比例作为车位宽度与车辆宽度的比例T2；若该图像为车身左侧或右侧，车位线与两车灯外侧的长度比例作为车位长度与车辆长度的比例T1。

上述实施例中，SVM分类器可以直接通过MATLAB调用自带SVM算法通用模块实现。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。