阅读说明：本技术 一种基于视觉人工智能的无人监管智能停车计费方法 (Unmanned supervision intelligent parking charging method based on visual artificial intelligence ) 是由 张晋东 王栋辉 张坤鹏 徐嘉斌 刘通 王雪 刘佳轩 李昀浩 张钟磊 马智 于 2019-10-24 设计创作，主要内容包括：本发明公开了一种基于视觉人工智能的无人监管智能停车计费方法,利用本发明可以实时监控停车场已占用车位及空闲车位,自动追踪车辆轨迹,识别车辆类型,识别大倾角车牌,自动进行扣费工作,无需人员24小时值班,极大的节省了人力物力等资源。(The invention discloses an unsupervised intelligent parking charging method based on visual artificial intelligence, which can monitor occupied parking spaces and vacant parking spaces of a parking lot in real time, automatically track vehicle tracks, identify vehicle types, identify license plates with large inclination angles, automatically carry out fee deduction work, do not need to watch for 24 hours, and greatly save resources such as manpower, material resources and the like.)

一种基于视觉人工智能的无人监管智能停车计费方法

技术领域

本发明涉及智能停车计费技术领域，具体涉及一种基于视觉人工智能的无人监管智能停车计费方法。

背景技术

现今，随着互联网的生活模式不断被推进到人们的生活中，以及人工智能的不断兴起，智能停车场也应该被应用到人们的日常生活中。目前大多数的车辆在进入停车场时都要先停车进行车牌拍照，再进入停车场停车计费，出停车场的过程也是一样需要先停车缴费。这种传统的停车收费模式既耗时又二十四小时都需要人员看管。

发明内容

针对现有技术的不足，本发明旨在提供一种基于视觉人工智能的无人监管智能停车计费方法，利用本发明方法可以在车辆进入停车场时无需停车直接进去停车场即可进行停车收费。

为了实现上述目的，本发明采用如下技术方案：

一种基于视觉人工智能的无人监管智能停车计费方法，包括如下步骤：

S1、当有车辆进入停车场时，利用停车场内的摄像头获取车辆图像并对车辆进行识别和实时追踪：

S1.1、采用google-net中3b层的输出结果作为特征参数，所述输出结果是一个高维度特征，用J表示，记数据集中正样本为A,滤波器为B，则有以下的形式：

U(x)＝||A-J·B||+δ||B||

U(x)为google-net中3b层的输出结果；δ相当于一个常数，为求解过程中自动调节的参数；

google-net中3b层输出的特征参数需要经过滤波器B，求得B的最优参数即可：

B＝(J^TJ+σR)^-1J^-1A；

σ用于防止过拟合，是一个正则化参数；R是单位向量；

每次进入e个样本经过google-net中3b层以及滤波器处理后产生预测值，记A_e＝J_e·B_e，优化的最终形式就变为了：

min(A-A_e)；

对min(A-A_e)进行求解，得到模型后进行车型识别和车辆追踪；

S1.2、追踪到车辆后，实时追踪车辆是否停车到车位里：

车位的坐标信息手动标记为菱形框体，每隔20帧，用菱形框体内的特征减去前20帧前的特征，并设定阈值来判断是否有车辆停放；按下式进行计算：

上式中，C(x,y)表示后帧图像的灰度值，c(x,y)表示前帧图像灰度值，j表示像素点的个数；

将前帧图像的菱形框体内的图像的一半的灰度减去另一半的灰度的差值作为阈值：

其中，c₁(x,y)表示前帧图像的菱形框体内的图像的一半的灰度，

c₂(x,y)表示前帧图像的菱形框体内的图像的另一半的灰度；

当U大于u的时候，则判定有车进入车位；

S2、识别车牌：

S2.1、定位车牌的位置：

S2.2、车牌倾斜校正：

采用检测直线判定图像的偏移角度；直线表示如下：

θ是由直角坐标系的原点向直线引出的一条垂线的角度，i是直线到原点的距离，两者都是一个定值，一组定值i与θ可以确定一条直线；

计算车牌位置的图像中的像素值在某个设定角度范围内对应的i值大小，当有直线存在时直线上的像素值在某个设定角度内得到的一定是相同的r，那么此时就能够确定直线的位置，确定直线的位置，即可得到角度θ，也就是车牌位置的图像的偏移角度，从而根据偏移角度θ进行对车牌位置的图像的角度进行倾斜校正；

S2.3、对车牌的字符进行提取；

S2.4、对汉字的各个部分的连通区域进行合并；

S2.5、对经过步骤S2.4处理后最终得到的字符进行字符识别；

S3、利用步骤S1中识别出的车型信息、车位占用信息，步骤S2识别得到的车牌信息，与车主的信息进行绑定并自动进行支付宝或者微信的扣费，实现真正的完全自动化。

进一步地，步骤S1中，在利用摄像头获取到的车辆图像对车辆进行识别和实时追踪钱，首先进行亮度修正，使得车辆图像归一化；具体按下式进行：

ξ表示图像的均值，υ表示车辆图像的方差，k(x,y)表示原始的车辆图像，K(x,y)表示处理后的车辆图像。

进一步地，步骤S1.1中，通过梯度下降的方式对min(A-A_e)进行求解。

进一步地，步骤S1.2中，所述设定数量的帧为20帧。

进一步地，步骤S1.2中，当判定车位被占用后，计算10次前帧和后帧之间的变化，不再发生变化后，判定为车辆进入车位。

进一步地，步骤S2.1中定位车牌的位置的具体过程包括：

S2.1.1、先对车位内的车辆图像进行二值化处理，其后进行膨胀与腐蚀的操作；

S2.1.2、采用复合特征定位车牌位置：

获取区域图像中的R，G，B三通道的值的大小，先采取阈值定位，选取符合下式的区域：

上式表示在这个颜色区间范围内符合车牌颜色的通道大小，而R,G,B分别对应的区间范围，即φ和

的取值是不同的；

采用阈值定位后，对阈值定位得到的区域再用canny边缘检测区域轮廓，最终定位得到车牌位置的图像。

进一步地，步骤S2.3的具体过程包括：

S2.3.1、扫描车牌位置的图像的像素值，将背景的值设置为0，字符值设置为1；

S2.3.2、遍历车牌位置的图像遍历到值为1的时候，将其压入栈并将其标记为已访问；

S2.3.3、当栈为空的时候结束一个连通区域的判定，寻找栈顶像素相邻的八个邻域值为1的像素点，并将它们入栈，结束后将栈顶元素删除；

S2.3.4、继续找到下一个非空且未访问过的像素点作为起点，并重复步骤S3.3.1-S3.3.3，直到所有的非零像素点都被访问完成；

S2.3.5、当所有的连通区域都遍历完了之后，将像素点个数最大的连通区域标记出来即可，由此完成了字符的提取。

进一步地，步骤S2.4的具体过程包括：

将每个连通区域进行矩形标记；当汉字为上下结构时，被分开的两个连通区域一定满足判定式：

LT_1x-LT_2x+RT_1x-RT_2x<α；

其中，LT_1x表示汉字的上半部分的连通区域的左上角x坐标，LT_2x表示汉字的下半部分的连通区域左上角的x坐标，RT_1x表示矩汉字的上半部分的连通区域的右上角x轴坐标，RT_2x表示汉字的下半部分的连通区域的右上角x轴坐标；α表示阈值参数；当上述判定式成立时合并该两个连通区域；

当汉字为左右结构时，其左右部分的连通区域的间距一定会比两个正常的连通区域之间的间距要小，因此采用合并判定式如下：

|RT_1x-LT_2x+RB_1x-LB_2x|<β；

其中RT_1x表示汉字的左半部分的连通区域的右上角x轴坐标，LT_2x表示汉字的右半部分的连通区域的左上角x轴坐标，RB_1x表示汉字的左半部分的连通区域的右下角x坐标，LB_2x表示汉字的右半部分的连通区域的左下角x坐标；β表示阈值参数，当合并判定公式成立则合并该两个连通域。

进一步地，步骤S2.5中，采用cnn训练的方式完成字符的识别。

本发明的有益效果在于：利用本发明方法，可以实现在车辆进入停车场时无需停车直接进去停车场，即可自动进行车辆的识别、追踪、以及停车收费，真正实现全自动。

具体实施方式

以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种基于视觉人工智能的无人监管智能停车计费方法，包括如下步骤：

S1、当有车辆进入停车场时，利用停车场内的摄像头获取车辆图像并对车辆进行识别和实时追踪；

需要说明的是，由于光照，亮度等各种因素会对车辆图像的质量有所干扰，因此在本实施例中，在利用摄像头获取到的车辆图像对车辆进行识别和实时追踪钱，会首先进行亮度修正，使得车辆图像归一化，具体按下式进行：

ξ表示图像的均值，υ表示车辆图像的方差，k(x,y)表示原始的车辆图像，K(x,y)表示处理后的车辆图像。

在本实施例中，采用提取车辆特征的方式进行车辆识别与追踪。车辆的提取特征采用google-net卷积神经网络的部分参数，而不采用google-net的全链接层，输入到滤波算法中进行融合从而检测车辆的颜色和车型。具体过程如下：

S1.1、因为卷积神经网络的高层卷积拥有图像的各种语义特征，采用google-net中3b层的输出结果作为特征参数，所述输出结果是一个高维度特征，用J表示，记数据集中正样本为A,滤波器为B，则有以下的形式：

U(x)＝||A-J·B||+δ||B||

U(x)为google-net中3b层的输出结果；δ相当于一个常数，为求解过程中自动调节的参数；

google-net中3b层输出的特征参数需要经过滤波器B(是一个参数矩阵)，那么此时的优化目标就变为优化滤波器的参数，求得B的最优参数即可：

B＝(J^TJ+σR)^-1J^-1A；

σ用来防止过拟合，是一个正则化参数；R是单位向量；

每次进入e个样本经过google-net中3b层以及滤波器处理后产生预测值，记A_e＝J_e·B_e，优化的最终形式就变为了：

min(A-A_e)；

可以通过梯度下降的方式对min(A-A_e)进行求解，得到模型后进行车型识别和车辆追踪；

S1.2、追踪到车辆后，需要实时追踪车辆是否停车到车位里。由于停车场的车位以及摄像头的位置都是固定的，所以车位的坐标信息手动标记为菱形框体，这种标记方式可以加强车位识别准确度，相对于车位完全贴合型的标记，可以在相邻车位有停车越界的情况下减少相邻车的干扰；

由于摄像头获取的是车辆图像每一帧，本实施例中车位检测采取了前后帧特征变换的形式进行检测。当车位上没有车辆停放的时候前后的特征是不会有太大差异，摄像头捕获图像的速度是20到30帧每秒，本实施例中每隔20帧用菱形框体内的特征减去前20帧前的特征(即在前20帧的图像中，用后一帧的图像灰度减去前一帧的图像灰度，并将得到的差值相加)，并设定阈值来判断是否有车辆停放；具体按下式进行计算：

上式中，C(x,y)表示后帧图像的灰度值，c(x,y)表示前帧图像灰度值，j表示像素点的个数；

将前帧图像的菱形框体内的图像的一半的灰度减去另一半的灰度的差值作为阈值：

其中，c₁(x,y)表示前帧图像的菱形框体内的图像的一半的灰度，c₂(x,y)表示前帧图像的菱形框体内的图像的另一半的灰度；

当U大于u的时候，则判定有车进入车位；

在本实施例中，为了防止停车过程中有倒车误入等情况影响判定的准确性，本实施例进行计时处理，当判定车位被占用后，在10次前帧后帧不再发生变化后，判定为车辆进入车位。

S2、识别车牌：

S2.1、定位车牌的位置：

S2.1.1、先对车位内的车辆图像进行二值化处理，其后进行膨胀与腐蚀等操作以去除点图像中很小的噪点区域的影响；

S2.1.2、采用复合特征定位车牌位置：

获取区域图像中的R，G，B三通道的值的大小，为了能在夜晚下也成功检测与定位车牌的位置，先采取阈值定位，选取符合下式的区域：

上式表示在这个颜色区间范围内符合车牌颜色的通道大小，而R,G,B分别对应的区间范围，即φ和

的取值是不同的；

采用阈值定位后，对阈值定位得到的区域再用canny边缘检测区域轮廓，最终定位得到车牌位置的图像。

在每一个停车位上由于距离的远近，车牌轮廓有面积范围大小，本实施例的车牌定位方法采用颜色以及轮廓大小双重标准，能够有效、准确定位车牌的位置。

S2.2、车牌倾斜校正：

车牌在图像中是长方形的，因此在定位后，需要在所定位到的车牌位置区域内进行车牌识别。为了避免干扰，在单个已有车辆停好的车位区域内进行车牌识别。在识别车牌过程中，与现有方法中的进入检测车牌不同，本实施例方法中车牌跟摄像头不在同一水平线，因此车牌会发生角度偏移，需要进行倾斜校正。在本实施例中，采用检测直线判定图像的偏移角度；直线在正常的直角坐标系中的方程为：

y＝ax+b；

但是在直角的坐标系中，当直线垂直于x轴的时候a的值是无穷大，无法进行处理，因此，在本实施例中，用另一种方式表示直线：

上述公式的转化并不是极坐标转换，虽然形式上跟极坐标的直线表示相同但是参数的含义不同，上式中，θ是由直角坐标系的原点向直线引出的一条垂线的角度，i是直线到原点的距离，两者都是一个定值，而在极坐标下i与θ都是变值。这样转换后可以看出一组定值i与θ其实是可以确定一条直线的。

接下来计算车牌位置的图像中的像素值在某个角度范围内对应的i值大小，当有直线存在时直线上的像素值在某一个角度内得到的一定是相同的i，那么此时就能够确定直线的位置，确定直线的位置，即可得到角度θ，也就是车牌位置的图像的偏移角度，从而根据偏移角度θ进行对车牌位置的图像的角度进行倾斜校正。

S2.3、对车牌的字符进行提取：

S2.3.1、字符都有连通性，在本实施例中，首先扫描车牌位置的图像的像素值，将背景的值设置为0，字符值设置为1；

S2.3.2、遍历车牌位置的图像遍历到值为1的时候，将其压入栈并将其标记为已访问；

S2.3.3、当栈为空的时候结束一个连通区域的判定，寻找栈顶像素相邻的八个邻域值为1的像素点，并将它们入栈，结束后将栈顶元素删除；

S2.3.4、继续找到下一个非空且未访问过的像素点作为起点，并重复步骤S3.3.1-S3.3.3，直到所有的非零像素点都被访问完成；

S2.3.5、当所有的连通区域都遍历完了之后，将像素点个数最大的连通区域标记出来即可，由此完成了字符的提取；

S2.4、由于汉字本身有上下结构与左右结构的字体，因此会出现一个汉字被分割成了几个连通区域的情况。为了解决这个问题，需要进行连通区域的合并。合并过程如下：

将每个连通区域进行矩形标记；当汉字为上下结构时，被分开的两个连通区域一定满足判定式：

LT_1x-LT_2x+RT_1x-RT_2x<α；

其中，LT_1x表示汉字的上半部分的连通区域的左上角x坐标，LT_2x表示汉字的下半部分的连通区域左上角的x坐标，RT_1x表示矩汉字的上半部分的连通区域的右上角x轴坐标，RT_2x表示汉字的下半部分的连通区域的右上角x轴坐标；α表示阈值参数；当上述判定式成立时合并该两个连通区域。

当汉字为左右结构时，其左右部分的连通区域的间距一定会比两个正常的连通区域之间的间距要小，因此采用合并判定式如下：

|RT_1x-LT_2x+RB_1x-LB_2x|<β；

其中RT_1x表示汉字的左半部分的连通区域的右上角x轴坐标，LT_2x表示汉字的右半部分的连通区域的左上角x轴坐标，RB_1x表示汉字的左半部分的连通区域的右下角x坐标，LB_2x表示汉字的右半部分的连通区域的左下角x坐标；β表示阈值参数，当合并判定公式成立则合并该两个连通域；

S2.5、对经过步骤S2.4处理后最终得到的字符进行字符识别，在本实施例中，具体采用cnn训练的方式完成字符的识别。

S3、利用步骤S1中识别出的车型信息、车位占用信息，步骤S2识别得到的车牌信息，与车主的信息进行绑定并自动进行支付宝或者微信的扣费，实现真正的完全自动化。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。