阅读说明：本技术 一种车辆尾气检测方法和装置 (A kind of Vehicular exhaust detection method and device ) 是由 朱丽 于 2018-05-22 设计创作，主要内容包括：本申请提供一种车辆尾气检测方法和装置,该方法为：获取目标车辆图像；从所述目标车辆图像中定位出目标车辆的排气区域；将所述排气区域输入到训练好的卷积神经网络中,由所述卷积神经网络对所述排气区域进行检测,得到所述排气区域中的排气管尾气的尾气等级。该方法可以从含车辆的图像中定位车辆的尾气位置,利用神经网络分析其是否存在尾气黑烟以及对应的尾气等级,端到端地完成尾气的检测,无需繁琐的图像处理方法,无需额外的硬件设备支持,不仅提高了尾气检测的速度,还提升了尾气检测的准确率。(The application provides a kind of Vehicular exhaust detection method and device, this method are as follows: obtains target vehicle image；The exhaust gas region of target vehicle is oriented from the target vehicle image；The exhaust gas region is input in trained convolutional neural networks, the exhaust gas region is detected by the convolutional neural networks, obtains the tail gas grade of the tail gas from exhaust pipe in the exhaust gas region.This method can position the tail gas position of vehicle from the image containing vehicle, using neural network analysis, it whether there is tail gas black smoke and corresponding tail gas grade, the detection of tail gas is completed end-to-endly, without cumbersome image processing method, it is supported without additional hardware device, the speed of Tail gas measuring is not only increased, the accuracy rate of Tail gas measuring is also improved.)

一种车辆尾气检测方法和装置

技术领域

本申请涉及图像处理领域，尤其涉及一种车辆尾气检测方法和装置。

背景技术

随着我国经济的发展和人们生活水平的提高，汽车已经成为人们日常出行的代步工具，城市的汽车拥有量逐年增多，汽车尾气的排放已日益成为威胁生态环境和人类健康的因素。汽车尾气污染主要是指汽油、柴油等汽车燃料及其添加剂和杂质燃烧后所排放的一些有害物质，主要包括一氧化碳、碳氢化合物和氮氧化合物等对环境和人体构成危害的气体。因此，对汽车尾气的检测已成为社会关注的焦点问题。

发明内容

有鉴于此，本申请提供一种车辆尾气检测方法和装置，以实现简单快速地判断车辆尾气的尾气等级。

具体地，本申请是通过如下技术方案实现的：

本申请第一方面，提供了一种车辆尾气检测方法，包括：

获取目标车辆图像；

从所述目标车辆图像中定位出目标车辆的排气区域；

将所述排气区域输入到训练好的第一神经网络中，由所述第一神经网络对所述排气区域进行检测，得到所述排气区域中的排气管尾气的尾气等级。

本申请第二方面，提供了一种车辆尾气检测装置，所述装置具有实现上述方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。

一种可能的实现方式中，所述装置可以包括：

获取模块，用于获取目标车辆图像；

定位模块，用于从所述目标车辆图像中定位出目标车辆的排气区域；

检测模块，用于将所述排气区域输入到训练好的第一神经网络中，由所述第一神经网络对所述排气区域进行检测，得到所述排气区域中的排气管尾气的尾气等级。

另一种可能的实现方式中，所述装置可以包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现本申请第一方面提供的的方法步骤。

本申请提供的车辆尾气检测方法可以从含车辆的图像中定位车辆的尾气位置，利用神经网络分析其是否存在尾气黑烟以及对应的尾气等级，端到端地完成尾气的检测，无需繁琐的图像处理方法，无需额外的硬件设备支持，不仅提高了尾气检测的速度，还提升了尾气检测的准确率。

附图说明

图1是本申请实施例提供的车辆尾气检测方法的实现逻辑图；

图2是本申请实施例提供的车辆尾气检测方法的流程图；

图3是本申请实施例提供的车辆图像的示意图；

图4是本申请实施例提供的装置结构框图；

图5是本申请实施例提供的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

汽车尾气的排放是否达标难以直观判断得出，需要通过检测得知。国内外尾气黑烟的测试技术发展至今，就其实现手段来分，主要可分为基于硬件设备的检测方法和基于图像的检测方法。

尾气检测仪即是一种基于硬件设备的检测方法，这类方法一般需要使用到传感器来采集车辆尾气，再通过检测系统对采集到的尾气进行分析处理。这种方法的缺陷在于设备成本较高，且设备维护困难、难以管理，以及监控范围有限，对于行驶在道路上的车辆无法采用设备进行有效监控。

基于图像的检测方法，则是利用图像处理方法对车辆信息图像进行处理(如图像去噪、图像增强等)，然后从中提取尾气图像区域计算尾气等级。这种方法的缺陷在于需要繁琐的图像处理步骤，且效果受到制约。

因此，本申请提出了一种新的车辆尾气检测方案，本方案的实现逻辑可以参见图1所示，通过训练两种神经网络，其中用于定位的神经网络负责从目标车辆图像中定位出排气区域，用于分类的神经网络负责对排气区域中的车辆尾气进行端到端的检测和分类，自动检测出尾气等级；相比于基于硬件设备的检测方法具有成本低、易于维护且监控范围不受限的优势，相比于基于图像的检测方法具有更加方便和精确的优势。

下面以用于分类(即用于判断尾气等级)的神经网络为例，介绍神经网络的训练过程。

第一步，搭建神经网络。

常用的神经网络包括卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network，RNN)等。这里以卷积神经网络为例介绍训练过程。卷积神经网络一般包括卷积层、池化层和全连接层。卷积层用于从输入图像中提取特征，池化层用于降低每个特征映射的维度，卷积层和池化层的输出代表了输入图像的高级特征，而全连接层的目的就是用这些特征进行分类，类别基于训练集。本申请实施例可以在卷积神经网络的最后的全连接层添加一个softmax层，该softmax层用于输出排气管尾气属于各类尾气等级的概率。

作为一个实施例，可以依据国内外的排气标准定义这里的尾气等级。或者，可以将尾气包含黑烟作为一个等级，将尾气不包含黑烟作为另一个等级，这样上述softmax层的作用相当于用于输出排气管尾气包含黑烟和不包含黑烟的概率。又或者，可以在卷积神经网络的最后的全连接层并列两个softmax层，其中一个softmax层用于输出排气管尾气包含黑烟和不包含黑烟的概率，另一个softmax层用于输出排气管尾气属于排气标准定义的各类尾气等级的概率。

第二步，获取包含排气管和排气管尾气的样本图像，该样本图像上还标记有尾气等级。

第三步，利用卷积神经网络判断样本图像的尾气等级，根据卷积神经网络判断出的尾气等级与样本图像标记的尾气等级之间的差异，对卷积网络的网络参数进行训练。

简单来说，第三步的过程可以包括前向传播和后向传播两个阶段：前向传播，即输入一个样本图像，对样本图像进行前向传播提取图像特征，并在softmax层计算样本图像属于各类尾气等级的实际分类概率；后向传播，即计算实际分类概率与理想分类概率的误差，利用该误差从卷积神经网络的最后一层依次往前反向传播，同时利用梯度下降法修改卷积神经网络的网络参数，以使输出误差最小化。

重复执行上述第三步，在对卷积神经网络经过一定数量的样本图像的训练后，便可得到训练好的用于分类的卷积神经网络。

用于定位的神经网络的训练方法同这里描述的用于分类的神经网络的训练方法类似，主要区别在于输入条件不同，在训练用于定位的神经网络时输入的是标记有排气管位置的车辆样本图像，因此不作赘述。

下面介绍神经网络的应用过程。参考图2，基于神经网络进行车辆尾气检测的处理方法可包括如下步骤，本方法可以应用于十字路口、智慧监控等场景中的摄像机等监控设备上，也可以应用于监控系统的后台服务器上：

步骤201:获取目标车辆图像。

这里的目标车辆图像，可以是采用摄像设备对行驶车辆的尾部进行拍摄得到的抓拍图像；图像中可以包括一个或多个目标车辆。

步骤202:从目标车辆图像中定位出目标车辆的排气区域。

步骤203：将上述排气区域输入到训练好的第一神经网络中，由第一神经网络对排气区域进行检测，得到排气区域中的排气管尾气的尾气等级。

在一个例子中，步骤202中可以通过如下方式定位出排气区域：先将目标车辆图像输入第二神经网络，由第二神经网络对目标车辆图像进行特征提取和基于提取的特征定位出目标车辆的排气管区域，然后将定位出的排气管区域的边界向外扩张设定长度得到的区域作为排气区域。这里的排气区域可以包括排气管和排气管附近的尾气。由于车辆尾气作为气体，其边界是模糊不定难以直接定位的，所以本申请可以先定位出容易确定的排气管，再将定位出的排气管的边界向外扩张，以保证排气管附近的尾气能被包括进来。

例如在图3所示的车辆图像中，可以先定位出排气管区域即区域一，然后将区域一的四周边界向外扩张区域一原宽度的1/n(如1/2)，得到区域二，最后将区域二确定为排气区域。

实际应用中，通过神经网络来定位排气管区域的方法有多种，这里简单列举两种方法：

1)候选框方法。在整个图像中以一种规律划出大量候选框，对所有候选框使用“卷积神经网络”和/或“循环神经网络”进行特征提取，然后使用特征进行物体的分类(同时这些特征可以对候选框的位置和形状进行更精准的回归和矫正)；根据候选框的分类置信度进行处理，最终得到最大可能包括排气管的候选框。

2)图像分割方法。对整个图像使用“卷积神经网络”和/或“循环神经网络”进行特征提取，然后进行像素级分割(即对每个像素点/小块进行分类)，得到排气管区域。

在另一个例子中，为了让上述定位出的排气管区域更为准确，在训练和预测用于定位的神经网络时，可以加入车辆的其它位置信息，以利用这些位置信息来约束排气管区域的分割效果；从而步骤202中也可以通过如下方式定位出排气区域：将目标车辆图像输入到第三神经网络，由第三神经网络对目标车辆图像进行特征提取和基于提取的特征，定位出目标车辆关联的第一区域和排气管区域；若定位出的排气管区域与定位出的第一区域的位置关系满足预设的位置关系，则将定位出的排气管区域的边界向外扩张设定长度得到的区域作为排气区域。

具体的，这里的第一区域可以为车身区域、车尾区域、车尾灯区域和车牌区域中的任意一种。

举例来说，当第一区域为车牌区域时，步骤202中，可以在目标车辆图像中定位同一目标车辆的车牌区域和排气管区域，若定位出的排气管区域位于定位出的车牌区域的下方，则认为该排气管区域有效，继而将定位出的排气管区域的边界向外扩张设定长度，并将得到的区域作为排气区域；反之，若定位出的排气管区域不位于定位出的车牌区域的下方，则认为该排气管区域无效，接下来可以从目标车辆图像中定位新的排气管区域。

例如在图3所示的车辆图像中，可以定位出排气管区域即区域一，以及定位出车牌区域即区域三，由于区域一位于区域三的下方，从而可以认为区域一是分割有效的排气管区域。

再举例来说，当第一区域为车身区域时，步骤202中，可以在目标车辆图像中定位目标车辆的车身区域和排气管区域，若定位出的车身区域包含定位出的排气管区域，则认为该排气管区域有效，继而将定位出的排气管区域的边界向外扩张设定长度，并将得到的区域作为排气区域；反之，若定位出的排气管区域位于定位出的车身区域之外，则认为该排气管区域无效，接下来可以从目标车辆图像中定位新的排气管区域。

例如在图3所示的车辆图像中，可以定位出排气管区域即区域一，以及定位出车身区域即区域四，由于区域一位于区域四中，从而可以认为区域一是分割有效的排气管区域。

当然，利用多种位置信息来辅助排气管区域的定位，比如结合车牌区域和车身区域用来约束排气管区域的分割效果，也是可行的。

在步骤203中，第一神经网络可以输出排气区域中的尾气属于每个尾气等级的概率大小，通常选取概率的最大值作为该排气区域的尾气等级识别结果。比如，假设第一神经网络共有4个输出类别，表示共有4个尾气等级；如果第一神经网络输出的概率向量为[0.1,0.1,0.7,0.1]，则其中最大分量0.7对应的尾气等级将被认为是该排气区域中的排气管尾气的尾气等级。

综上所述，本申请提供的车辆尾气检测方法可以从含车辆的图像中定位车辆的尾气位置，利用神经网络分析其是否存在尾气黑烟以及对应的尾气等级，端到端地完成尾气的检测，无需繁琐的图像处理方法，无需额外的硬件设备支持，不仅提高了尾气检测的速度，还提升了尾气检测的准确率。以及，本申请在定位车辆的尾气位置时，可辅助使用车牌、车身、车尾灯、车尾灯位置进行误检过滤，进一步提高了识别准确率。

根据本申请提供的车辆尾气检测方法，可以采用摄像设备实时监控，获取行驶状态下车辆的工作状态，自动检测是否存在尾气黑烟，预防大气污染，减少人工成本，对维护广大出行者的安全起到了推进作用。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

参见图4，图4为本申请提供的车辆尾气检测装置的结构图。如图4所示，该装置包括：

获取模块401，用于获取目标车辆图像。

定位模块402，用于从所述目标车辆图像中定位出目标车辆的排气区域。

检测模块403，用于将所述排气区域输入到训练好的第一神经网络中，由所述第一神经网络对所述排气区域进行检测，得到所述排气区域中的排气管尾气的尾气等级。

在其中一种实施方式中，所述检测模块403，用于将所述排气区域输入到训练好的第一神经网络中，由所述第一神经网络对所述排气区域进行特征提取，基于提取的特征，确定位于所述排气区域内的排放管尾气属于各类尾气等级的概率，并将最大概率对应的尾气等级确定为所述排气管尾气的尾气等级。

在其中一种实施方式中，所述定位模块302，可以用于将所述目标车辆图像输入第二神经网络，由所述第二神经网络对所述目标车辆图像进行特征提取，基于提取的所述特征，定位出所述目标车辆的排气管区域；将定位出的所述排气管区域的边界向外扩张设定长度得到的区域作为排气区域。

在其中一种实施方式中，所述定位模块302，可以将所述目标车辆图像输入到第三神经网络，由所述第三神经网络对所述目标车辆图像进行特征提取，基于提取的所述特征，定位出所述目标车辆关联的第一区域和排气管区域；若定位出的所述排气管区域与定位出的第一区域的位置关系满足预设的位置关系，则将定位出的排气管区域的边界向外扩张设定长度得到的区域作为排气区域。

在其中一种实施方式中，所述第一区域为车身区域、车尾区域、车尾灯区域和车牌区域中的任意一种。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现上述任一种车辆尾气检测方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种车辆尾气检测方法。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。