用于识别车辆牌照的方法和装置
阅读说明：本技术 用于识别车辆牌照的方法和装置 (Method and device for recognizing license plate of vehicle ) 是由 维奥莱特·斯内尔 于 2019-07-11 设计创作，主要内容包括：本发明提供了一种用于识别车辆的牌照的装置,该装置包括用于读入光学传感器的周围环境的图像的接口,该图像源自该光学传感器对具有可检测牌照的至少所述车辆进行拍照。该装置进一步包括用于使用卷积神经网络分析该图像的单元,该卷积神经网络具有至少两个分离的符号标识分支,这些分离的符号标识分支中的每一个被配置用于标识该牌照的若干符号之一和/或该卷积神经网络具有与这些符号标识分支分离的国家标识分支,该国家标识分支被配置用于标识已发放该牌照的国家。最后,该装置包括用于输出至少两个所标识的符号或所标识的国家,以便识别该车辆的牌照的单元。(The invention provides a device for identifying a license plate of a vehicle, the device comprising an interface for reading in an image of the surroundings of an optical sensor, the image originating from the optical sensor taking a picture of at least said vehicle with a detectable license plate. The apparatus further includes means for analyzing the image using a convolutional neural network having at least two separate symbol-identifying branches, each of the separate symbol-identifying branches configured to identify one of the symbols of the license plate and/or a country-identifying branch separate from the symbol-identifying branches, the country-identifying branch configured to identify a country in which the license plate has been issued. Finally, the device comprises means for outputting at least two identified symbols or identified countries for recognizing the license plate of the vehicle.)
技术领域
本发明涉及一种用于识别车辆牌照的方法和装置，以及一种计算机程序。
背景技术
随用于自动车牌识别(ANPR)的大多数现行方法由流水线组成，该流水线首先定位包含字符的区域、然后将其分成单独的字符框(该过程被称为分割)、紧接着独立地识别在每个位置处表示的字母或数字。然后，某种后处理逻辑可以尝试使结果符合这个国家的语法规则，但需要正确标识该国家。该流水线在其每个阶段容易产生误差，并且累积效应常常导致识别准确度较低。
发明内容
基于这种最先进的技术，本发明披露了一种用于识别车辆牌照的新颖方法和装置、以及一种计算机程序。本发明的其它方案由有利实施例提供。
本发明所披露的是一种用于识别车辆牌照的方法，该方法包括以下步骤：
-读入光学传感器的周围环境的图像，该图像源自该光学传感器对具有可检测牌照的至少所述车辆进行拍照；
-使用卷积神经网络分析该图像，该卷积神经网络具有至少两个分离的符号标识分支，这些分离的符号标识分支中的每一个被配置用于标识该牌照的若干符号之一和/或该卷积神经网络具有与这些符号标识分支分离的国家标识分支，该国家标识分支被配置用于标识已发放该牌照的国家；以及
-输出该至少两个所标识的符号和/或所标识的国家以便识别该车辆的牌照。
根据本文所披露的方法，图像可以被认为是相机或光学传感器的输出信号。符号标识分支可以被认为是一个层或者一组层，该一个层或一组层与另一个层或另一组层分离，以便标识牌照的若干符号之一。层或分支的分离可以这样理解：没有来自一个层或分支的信息被传送至不同分支的另一个层。在本说明书中，符号可以被理解成可以作为在车辆牌照上描绘的注册字符串的一部分的数字或字符或空格或至少一个税贴。因此，对车辆牌照的识别可以被理解成对在车辆牌照上描绘的以便唯一地标识该车辆的一组符号进行标识。另外或替代性地，在分析步骤中，使用卷积神经网络，该卷积神经网络具有与符号标识分支分离的国家标识分支，该国家标识分支被配置用于标识已发放牌照的国家。对特别配置的国家标识分支的使用提供了以下优点：可以使用牌照的标识牌照源自哪个国家的最特殊设计以促进对所述国家的标识。这种标识可以通过标识牌照上的特殊标志(如标记或代码)和/或通过标识在牌照上描绘的符号的字体、间距和语法来实现。因此，可以利用所有的图形信息来标识牌照上的对应国家、以及在识别牌照期间预期的任何特定于国家的格式或特定于国家的符号数量。另外，国家标识分支可以被配置用于通过以下方式来标识牌照源自哪个国家：分析注册码的符号结构、风格、符号之间的间距等，以便利用注册牌照的与在不同国家的牌照上描绘的不同符号和/或符号的字体、间距和语法相关的差异来标识牌照源自哪个国家。使用分离的国家标识分支还间接地进一步改善了对车牌字符串的识别。
本发明基于以下发现：直接对源自光学传感器的整个图像使用卷积神经网络显著改善了对车辆牌照的识别质量和速度。特别是使用用于标识牌照的若干符号之一的至少两个分离的符号标识分支在识别不同牌照时提供了较高的灵活性，而不会受到对图像中的被标识为包含牌照图像的区域进行预分割的约束。因此，使用本文所披露的方法提供了以下优点：省略了对图像中牌照的精确位置的预标识以及用于标识片段中的不同号码或数字而对图像中这个区域进行的预分割，这进而促进了对图像的预处理以便识别车辆的牌照。相反，只需将牌照的近似邻域的图像(或类似物)馈送到经训练的卷积神经网络中，然后该经训练的卷积神经网络提供至少两个所标识的符号，以便识别车辆的牌照。
根据本发明的特定实施例，在分析步骤中，使用卷积神经网络，该卷积神经网络在符号标识分支中至少具有全连接层。在全连接层中，一个层中的每个神经元连接到另一个层中的每个神经元。本发明的这种实施例提供了以下优点：可以以高精度执行对符号的标识，使得例如牌照上的污渍或对牌照的损坏并不妨碍或阻止本文所披露的方法在对应位置处标识正确的符号。
此外，根据本发明的另一实施例，在分析步骤中，使用卷积神经网络，该卷积神经网络在符号标识分支中具有输出层，该输出层具有等同于牌照上多种可标识可区分类型的符号的多个神经元，特别是该输出层具有37个神经元。这些可辨识的符号可以例如是可以描绘在牌照上的数字、空格符号、或字母表中的字符，以便在牌照上形成用于标识对应车辆的唯一注册字符串或符号序列。特别地，10位数字、空格符号以及26个字母字符可以形成牌照的注册字符串的基础，使得在利用西方字母表的大多数国家中，以37个符号进行标识是足够的。
根据本发明的另一实施例，在分析步骤中，使用卷积神经网络，该卷积神经网络在符号标识分支中具有作为到输出层的输入的全连接层。特别地，对作为到具有等同于牌照上多个可标识符号的多个神经元的输出层的输入的全连接层进行组合提供了较高的灵活性、以及在每个符号标识分支中对正确符号进行标识的较高精度。
根据前述任一方法，其特征在于，在分析步骤中，使用卷积神经网络，该卷积神经网络具有至少三个分离的符号标识分支，这些分离的符号标识分支中的每一个被配置用于标识牌照的若干符号之一，并且在输出步骤中，输出该至少三个所标识的符号以便识别车辆的牌照。为了提供对牌照的一步标识或识别，可以使用多于两个分离的符号标识分支，例如至少三个分离的符号标识分支。更具体地，如果卷积神经网络针对特定国家的牌照进行训练，使得可知道牌照上的注册字符串或唯一符号序列可以有多少个位置，对应数量的分离符号标识分支可以在卷积神经网络中使用。此外，如果图像中所示牌照的符号(这些符号可以用于牌照将被识别的对应国家的牌照)量未满，则该神经网络还可被配置用于输出空格符号以实现填充。
根据本发明的另一实施例，在分析步骤中，使用卷积神经网络，该卷积神经网络具有至少一个共享全连接层以作为到分离的符号标识分支和/或国家标识分支的输入。本发明的这种实施例提供了以下优点：与所有位置以及因此所有分支相关的信息均可以根据卷积层内的所有空间位置进行整理并且另外以整体方式进行处理。其通过向分支提供共享输入而实现分支之间的信息交换的方式，该共享输入的组成在训练期间受到所有分支的影响。
为了在卷积神经网络中提供足够的信息以对牌照进行标识或识别，可以使用本发明的有利实施例，在该实施例中，在分析步骤中使用卷积神经网络，该卷积神经网络具有多个卷积层。特别地，卷积神经网络可以具有3至20个、优选地5个卷积层。该多个卷积层可以用于处理图像以获得经处理的信息，其中，该卷积神经网络还被配置用于将该经处理的信息馈送到分离的符号标识分支和/或国家标识分支中。本发明的这种实施例提供了以下优点：在限制训练和部署两者的计算成本的同时，对各种不同尺寸的符号进行足够精度的标识。
为了实现上述优点，在对图像进行馈送之前，必须对卷积神经网络进行训练。这种训练可以例如在实验室环境中使用具有对应可检测牌照的车辆的预记录图像来进行。因此，根据本发明的另一实施例，披露了一种用于训练卷积神经网络以在用于识别车辆牌照的方法中使用的方法，该方法包括以下步骤：
-读入光学传感器的周围环境的图像，该图像源自该光学传感器对具有可检测牌照的至少该车辆进行拍照；
-提供卷积神经网络，该卷积神经网络具有至少两个分离的符号标识分支，这些分离的符号标识分支中的每一个被配置用于标识该牌照的若干符号之一和/或该卷积神经网络具有与这些符号标识分支分离的国家标识分支，该国家标识分支被配置用于标识已发放该牌照的国家；以及
-使用读入的该图像对该卷积神经网络进行训练。
本发明的这个实施例还促进实现上述优点。
本文所披露的方法可以例如以软件或硬件、或者以软件和硬件的混合形式(例如在控制单元中)来实施。
这里所呈现的方法还提供了一种被设计用于在相应的设施或单元中执行、控制和/或实施这里所呈现的方法变体的步骤的设备或装置。此外，通过本发明的呈设备形式的这个实施例，可以快速且高效地实现本发明的潜在目的。
为此，该设备可以具有：至少一个运算单元，用于处理信号或数据；至少一个存储器单元，用于存储信号或数据；到传感器或致动器的至少一个接口，用于从传感器读取传感器信号或用于将数据或控制信号输出至传感器、致动器；和/或至少一个通信接口，用于读取或输出嵌入在通信协议中的数据。运算单元可以例如为信号处理器、微控制器等，其中，存储器单元可以为闪存、EEPROM或磁存储器单元。通信接口可以被配置用于以无线方式和/或通过电缆来读取或输出数据，其中，通信接口可以读取或输出线绑定数据，例如，以电学或光学的方式从相应数据传输线读取这个数据或者在相应数据传输线中输出该数据。
在这种情况下，设备可以被理解为是指处理传感器信号并依赖于这些传感器信号输出控制信号和/或数据信号的电气设备。该设备可以具有可以以硬件和/或软件形成的接口。在基于硬件的实施例的情况下，接口可以为例如包含设备的各种功能的所谓的系统ASIC的一部分。然而，接口也可以是其自身的集成电路或者至少部分地由离散部件组成。在软件实施例中，接口可以是除了其他软件模块之外例如存在于微控制器上的软件模块。装置被配置用于在该装置的对应单元中控制和/或执行根据前述任一所述的方法中的一种方法的步骤。
本发明还具有以下优点：提供了一种具有程序代码的计算机程序产品或计算机程序，该程序代码可以存储在机器可读载体或存储介质(诸如半导体存储器、硬盘存储器或光学存储器)上，并且特别是当该程序产品或程序在计算机或设备上执行时被用于执行、实施和/或控制根据上述实施例之一所述的方法中的一种方法的步骤。
附图说明
这里所呈现的方法的实施例在附图中示出并且在下文的描述中进行更详细的解释。在附图中：
图1示出利用作为用于识别车辆牌照的装置的本发明实施例的场景的示意图；
图2为根据图1的可以在用于进行分析的单元中使用的卷积神经网络的示例的框图；
图3为根据本发明实施例的用于识别车辆牌照的方法的流程图；并且
图4为用于训练卷积神经网络以在用于识别车辆牌照的方法中使用的方法的流程图。
具体实施方式
在本发明的有利实施例的以下描述中，相同的或类似的附图标记用于各附图中示出的相同的或类似的作用元件，其中，省略了对这些元件的重复描述。
图1示出了其中利用作为用于识别车辆110的牌照105的装置100的本发明实施例的场景的示意图。例如，车辆110正在道路115上行驶，在道路旁边放置有控制柱120，例如(但不是强制性的)以便借助雷达传感器125来测量车辆110的速度或检查车辆110的具体数额的所需道路收费是已支付还是将要支付。然而，车辆110在根据图1的实施例中被示出为客车(这不是强制性的)，使得车辆110还可以是全都在前面或者至少在后面具有唯一牌照105的卡车、公共汽车、摩托车等。为了借助于对牌照105的自动识别来标识车辆110，在因违反速度限制而开罚单或支付所需道路收费的情况下，控制柱120包括相机130(其也可以被表示为光学传感器)，该相机捕获相机130的例如车辆110正在道路115上行驶的周围环境的图像135。此外，在正常情况下，牌照105也是可检测的，这需根据大多数国家的有关交通的法律规定。
由相机130捕获的图像135然后被转发到装置100的读入接口140，以用于识别车辆110的牌照105。图像135从这个读入接口140被传送至用于进行分析的单元145，其中图像135被馈送到卷积神经网络150中，这在本说明书的后续部分中进行更详细的解释。卷积神经网络150被配置用于标识符号155和/或车辆110被许可的国家160。因此，卷积神经网络150被配置用于输出所标识的符号155和/或发布国家160的参数，这些参数在框中引用，仅利用符号155的附图标记来表示图1右手侧的卷积神经网络150。标识符号155和发布国家160的这些参数然后从用于进行分析的单元145输出至输出单元165，该输出单元然后例如但不是强制性地被配置用于将各个符号155和/或表示车辆110被许可的国家160的代码进行组合，使得牌照105上的完整注册字符串170(或符号字符串)被识别。然后可以将写在牌照上的注册字符串170连同关于所标识国家的信息一起向下游传送，该信息不一定是注册字符串的一部分。然后将牌照105上的这个注册字符串170或符号字符串例如存储或传送至单独单元180，在该单独单元中例如执行对车辆拥有者或登记所有者的标识，以便递送因违反速度限制而开的罚单或以便从对应人员收取所需道路收费。
此外，滑动窗口方法非常慢，并且需要训练数据以便对单字符分类器进行训练，该训练数据不仅具有正确注册字符串的标记而且还具有每个字符的标记位置。利用生成式HMM对序列进行建模并利用朴素贝叶斯分类器对最佳代码进行选择在准确度上明显低于区别性训练的神经网。通过HMM体现的语言模型必须适应每种状态的语法模式分布。当尝试确定发布状态时，仅考虑语法。
因此，从由交通监控相机捕获的示出车辆110的牌照105周围的裁切区域的图像开始，可以转引本方法的目的，例如用于确定构成注册字符串170的字母和数字(符号155)序列。通过使用这里所披露的方法，可以提高在裁切区域内的牌照尺寸和位置、其旋转/倾斜、对比度、焦点存在变化以及存在污渍、小障碍物或物理板损坏的情况下的识别准确度。此外，可以以高准确度确定注册国家，这使得能够在区分比如0与‘O’或1与‘I’的模糊情况时精确地识别符合相关司法管辖区的牌照语法规则的牌照。另外，还可以符合嵌入式设备的有限处理能力，以允许近实时的执行。
图2示出了根据图1的可以在用于进行分析的单元145中使用的卷积神经网络150的示例的框图。如可从图2中看出的，例如由数字图像数据表示的图像135被馈送到卷积神经网络150中。图像135可以例如为包括200×80个像素的矩阵，每个像素均为单色捕获的。图像135然后例如被馈送到多个具有线性整流激活和最大池化的卷积层、接着被馈送到完全连接层的块200中。卷积层的数量可以例如介于3个与7个之间，优选地为5个，这提供了识别牌照105的精度与可容忍数字工作量之间的较好权衡，以便快速获得对应结果。例如，如果卷积层的块200包括5个卷积层，则各个层可以如下地被配置为：
-第1卷积层具有32个5×5的内核、以及2×2的最大池化
-第2卷积层具有64个3×3的内核、以及2×2的最大池化
-第3卷积层具有128个3×3的内核、以及2×2的最大池化
-第4卷积层具有512个1×1的内核而没有最大池化
-第5卷积层具有64个1×1的内核、以及1×2(仅竖直)的最大池化
-图2中指示了全连接层的尺寸。
属于示例性块200的所有层使用具有较小负斜率的线性整流激活函数(带泄露ReLU)。此外，第5卷积层还可以具有1×1或3×3的内核。
卷积层的块200(可以被认为例如是64个通道Ch中的23×5个点/像素的矩阵)的输出信号205(其可以被认为是经处理的信息)然后被馈送到共享全连接层210(例如再次具有线性整流激活)中。
共享全连接层210的可以被认为是经处理的信息215或信号的结果然后被馈送到分离的符号标识分支220a、220b以及国家标识分支225中。在图2中，为了简单起见，仅披露了2个符号标识分支220，但是，本领域的技术人员将容易理解，可以实施更多此类符号标识分支220，优选地如与要在牌照105上冲压或在其中实施的最长可能字符串170中标识的符号一样多的符号标识分支220。在图2中，符号标识分支220a表示注册字符串170的第一个符号的标识分支，而第二标识分支220b表示注册字符串170的第八个符号的标识分支；为了简单起见，未示出分支220a与分支220b之间的符号标识分支。因此，图2中示出的构型允许标识注册字符串170中的8个符号。然而，需要指出的是，卷积神经网络150可以具有多于或少于8个的符号标识分支220。然而，卷积神经网络被配置用于覆盖一组国家，并且具有与其知道的任一国家中的最长可能注册一样多的符号分支。比最长可能注册更短的任何注册(因为特定的注册较短或者一个国家中的所有注册都更短)均利用例如空格进行填充。
经处理的信息215例如为具有2048个组分的信号。例如，由于信号或经处理的信息215具有2048个组分，因此共享全连接层210还可以被认为具有2048个节点，这些节点中的每个节点提供经处理的信息215(对应地，信号)的组分中的一个组分。
符号标识分支220a和220b中的每一个彼此分离，使得例如没有可以从一个分支220传送至另一个分支220的信息。分支220中的每一个被配置用于在注册字符串170中的对应位置处标识牌照105的号码170中的一个单一符号155。为了实现这个任务，符号标识分支220包括全连接层230，该全连接层接受经处理的信息215并输出具有例如256个组分的信号235，使得全连接层230可以被认为具有256个输出节点。符号标识分支220的信号235然后被馈送到分支220的输出层240中，该输出层然后例如经由soft-max(柔性最大值)函数在注册字符串170中的对应位置处输出对应的所标识符号155，该对应的所标识符号由对应的符号标识分支220进行分析。更具体地说，所标识的符号155被认为是一组预测，即这个符号为37种选项中每种选项的可能性有多大。通常选择可能性最高的符号作为答案，在本说明书中被称为“所标识符号”155，但处理37个数字的其他方式是可能的。
根据图2，符号155可以是表示注册字符串170中任何位置处的可能符号的预定义数量的符号(例如，37个符号)之一。数字37是例如通过可以在注册字符串170的对应位置中找到的10位数字、26个字母字符和1个空格符号获得的。
另外，经处理的信息215可以被馈送到所述国家标识分支225中，以便标识牌照105得到授权的特定国家。依然在国家标识分支225中，提供了用于标识国家的至少一个全连接层245，该全连接层由经处理的信息215进行馈送。全连接层245例如输出具有128个组分的信号250，该信号然后由输出层255接受以用于输出表示牌照105得到授权的国家160的代码。更具体地说，输出160不是直接的标志或国家标记，而是一组概率，针对每个可能的国家具有一种概率。同样，在本说明书中，通常可能性最高的符号将被选中并被命名为国家160，但是，设置一个阈值(在低于该阈值时，系统输出答案“不知道”)也是可能的。取决于对卷积神经网络150的训练，用于输出国家160的输出层255可以被配置为使得可以标识预定义的数量N国家(在图2中被表示为N国家)。
综上所述，这里例如作为本发明的实施例所披露的方法使用具有多个输出的单个卷积神经网络150，以便输出所标识的符号155以及可选地指示牌照105得到授权的国家的代码160。卷积神经网络150用于同时读取号码牌105(无论其出现在裁切区域内的哪个位置)并确定其注册国家。第一全连接层例如为通用的，而后面的各个全连接层则例如是专用于确定输出字符串或注册国家中特定位置处的字符/符号155。例如，比网络150所理解的最大字符/符号155的数量更短的注册(取决于所覆盖的国家，在介于7与10之间的某个地方)在末尾处利用空格进行填充。附加输出分支225负责从这组国家中预测出针对其已经对网络的特定实例进行训练的国家。应当指出的是，卷积层如块200的层一样用作不同尺寸的各个字符/符号155的检测器，无论它们出现在图像135中的哪个位置。全连接层如层230或245一样处理所得的热图，以提取正确排序的序列。共享全连接层如层210一样允许在不同位置和/或国家分支(分别为分支220或225)之间进行有效的信息交换。
网络例如使用数据增强技术进行训练，以确保裁切区域内跨不同位置的持续高识别率。
如在本文所披露的方法中，避免容易出错的字符分割中间阶段大大改善了预测读取的准确度，并消除了在训练数据中对字符位置进行标记的需要。这使得易于获得更大量的训练数据，从而进一步改善输出的准确度。
使牌照定位在输入图像内的任何位置而不是对其完全填充避免了由于牌照定位误差而导致的问题(ANPR流水线的紧接前一步骤)。其还使得易于处理其输入与单行牌照的形状精确匹配的网络所无法适应的两行牌照。
用于读取和国家标识两者的整个方法使得语法规则隐式地嵌入在网络中，并产生最有可能的输出组合。国家标识可以考虑到视觉外观的所有方面，诸如字体、断字标记、字符组的间距、以及与发布管辖范围相关的任何特殊符号。
图3示出了根据实施例的用于识别车辆牌照的方法300的流程图。方法300包括读入光学传感器的周围环境的图像的步骤310，该图像源自该光学传感器对具有可检测牌照的至少所述车辆进行拍照。此外，方法300包括使用卷积神经网络来分析该图像的步骤320，该卷积神经网络具有至少两个分离的符号标识分支，这些分离的符号标识分支中的每一个被配置用于标识该牌照的若干符号之一和/或该卷积神经网络具有与这些符号标识分支分离的国家标识分支，该国家标识分支被配置用于标识已发放该牌照的国家。最后，方法300包括输出该至少两个所标识的符号和/或所标识的国家以便识别该车辆牌照的步骤330。
图4示出了根据实施例的用于训练卷积神经网络以在用于识别车辆牌照的方法中使用的方法400的流程图。方法400包括读入光学传感器的周围环境的图像的步骤410，该图像源自该光学传感器对具有可检测牌照的至少该车辆进行拍照。此外，方法400包括提供卷积神经网络的步骤420，该卷积神经网络具有至少两个分离的符号标识分支，这些分离的符号标识分支中的每一个被配置用于标识该牌照的若干符号之一和/或该卷积神经网络具有与这些符号标识分支分离的国家标识分支，该国家标识分支被配置用于标识已发放该牌照的国家。最后，方法400包括使用读入的该图像对该卷积神经网络进行训练的步骤430。
如果示例性实施例包括第一特征与第二特征之间的“和/或”链接，则这将被理解为：该实施例在根据一个实施例时包括第一特征和第二特征两者，并且在根据另一实施例时仅包括第一特征或者仅包括第二特征。