阅读说明：本技术 一种网络流量时空特征提取和异常检测的方法及装置 (Method and device for extracting network flow space-time characteristics and detecting abnormity ) 是由 刘冬梅 刘军 张书林 王颖 姜辉 王乔木 柳杨 李学明 赵永利 于 2019-08-27 设计创作，主要内容包括：本发明提出了一种网络流量时空特征提取和异常检测的方法及装置，其中，本发明的网络流量时空特征提取和异常检测的方法包括：S1)：基于历史网络流量数据建立网络模型；S2)：对所述网络模型进行压缩以建立压缩后的模型；S3)：基于所述压缩后的模型对网络流量数据提取特征并进行异常检测。(The invention provides a method and a device for extracting space-time characteristics and detecting abnormality of network flow, wherein the method for extracting the space-time characteristics and detecting the abnormality of the network flow comprises the following steps: s1): establishing a network model based on historical network traffic data; s2): compressing the network model to build a compressed model; s3): and extracting characteristics of the network traffic data based on the compressed model and carrying out anomaly detection.)

一种网络流量时空特征提取和异常检测的方法及装置

技术领域

本发明涉及一种网络流量监测领域，特别涉及一种网络流量时空特征提取 和异常检测的方法及装置。

背景技术

随着计算机网络技术的高速发展，网络已经覆盖社会生活的方方面面。当 代的计算机网络架构，是建立在TCP/IP协议的基础上的，由于TCP/IP协议的 开放性，计算机病毒的传播也越来越成为人们的困扰，网络安全问题迫在眉睫。 网络空间的信息传输和信息交互式以网络流量为载体的，流量数据中包含着大 量有价值的信息。通过分析网络流量来判断网络状态，对有效地预防网络攻击 行为、维护网络空间安全具有重要意义。作为一种网络态势感知的重要技术支 持，网络流量的异常检测近年来受到越来越多的关注。网络流量异常是指对网 络正常使用造成不良影响的网络流量模式，流量异常主要由两种原因构成，一 是性能原因，二是安全原因。迄今为止，针对安全原因引起的异常，网络流量 异常检测的方法可分为以下四类：基于统计、基于聚类、基于信息论、基于分 类。

基于统计类的网络流量分类，基本思想是不同种类的应用产生的流量特性 有所区别。一般的流量特征可以分为两类，一类是网络流特征，另一类是数据 包特征，也有综合两者，即从原始的流量数据中提取出需要使用的特征数据。 例如思科公司的NetFlow，Juniper公司的J-Flow，Waikato大学开发的Maji， CERT网络态势感知研究组开发的YAF等；基于行为的方法使用的流量特征 是主机通信的行为信息，基本思想是不同的应用产生不同的行为模式；基于聚 类的网络流量异常检测是一种无监督的检测方法，最大的优势是无需数据标注， 因为标注数据在实际中很难获取；信息论中的许多概念可以解释网络流量数据 集特征，例如熵、条件熵、相对熵、信息增益等，所以利用信息论的方法也可 以构建相应的异常检测模型。

基于网络流量分类的方法是一种很重要的网络异常检测方法。传统流量分 类可以分为基于端口、基于DPI、基于统计、基于行为四类，从人工智能发展 的角度分析，前两者是基于规则的传统方法，但基于端口的方法在当前的复杂 流量面前准确性较低，基于DPI的方法无法处理加密流量且计算复杂，所以 当前采用的主要是后两者，基于传统机器学习思路进行网络流量分类和异常检 测，主要包括支持向量机SVM模型，贝叶斯网络和神经网络模型。例如Gao 等在2015年提出的一个使用深层信念网络DBN的入侵检测模型等。

近年来，随着神经网络和深度学习的发展，人们尝试将深度学习的方法应 用到网络流量分类和异常检测上，提出基于表征学习思想的深度学习分类方法， 避免设计复杂的流量特征集。最典型的深度学习网络包括卷积神经网络CNN 和循环神经网络RNN。Wang等人在2016年使用卷积神经网络学习流量空间 特征，使用图像分类技术进行恶意流量识别，取得了较高的精度。Torres等在 2016年将流量特征转化成字符，使用循环神经网络学习时序特征。这些都是 选取单一的空间或者时间特征进行学习的。后来，学者又综合两个特征，提出 了基于层次化时空特征学习的网络流量检测系统HAST-NAD，该系统能够自 动学习网络流量特征，从而省去人工设计流量特征的复杂度和不定性。TCP/IP 协议基础上的网络流量通信的方式是分组交换，此时网络流量在网络层被分组， 封装成多个数据包，每个数据包又是由等长的字节组成。HAST-NAD系统就 是在单个和多个连续数据包的基础上进行学习的，它将数据包里的数据通过独 热编码整理成二维图像格式，使用卷积神经网络CNN学习空间特征，然后通 过循环神经网络RNN在网络流层次来学习时间特征。

在常见的四种网络流量分类方法中，基于端口和DPI的方法在飞速发展 的网络通信技术下显得有些捉襟见肘，现代常常采用的基于统计和行为的传统 学习方法也存在一些不足，两者都需要专门的特征设计，且准确性有待提高。 后来，人们采用深度学习方法来进行网络流量分类和异常检测，虽然可以通过 表征学习提却特征，但最开始只是利用网络流量单方面的特征进行提取，如空 间或者时间，这样往往会忽略网络流量的某些特征，给模型的准确性带来困扰。 随后，基于层次化时空特征学习的网络流量异常检测系统将时空特征结合解决 了上述问题，但是通过实验流程发现，该方法在虽然公开数据集总体上取得了 良好的效果，但是对于流量种类组成比例差距较大的数据集，不同流量的分类 查准率差别较大。

而另一方面，因为开始采用基于深度学习的模型，GPU的运算时间会大 大加长，如何优化算法达到加速的目的，也是重要的一环。

为解决现用技术问题的上述缺陷，有必要提出一种网络流量时空特征提取 和异常检测方法及装置。

发明内容

有鉴于此，本发明描述了一种更好地融合时空特征并进行异常检测的方法， 该方法能解决浅层学习特征设计难和深度学习特征单一的问题，同时对深度学 习网络进行加速，减少运算时间。为实现上述目的，本发明的第一方面提出了 一种网络流量时空特征提取和异常检测的方法，其中，所述方法包括：

S1)：基于历史网络流量数据建立网络模型；

S2)：对所述网络模型进行压缩以建立压缩后的模型；

S3：基于所述压缩后的模型对网络流量数据提取特征并进行异常检测。

如上所述的网络流量时空特征提取和异常检测的方法，其中，步骤S1) 包括：

S11)：将所述历史网络流量数据转换为二维图像；

S12)基于ConvLSTM的深度学习网络，并利用转换的二维图像进行训练， 以输出所述网络模型。

如上所述的网络流量时空特征提取和异常检测的方法，其中，所述 ConvLSTM的由以下公式进行计算：

i_t＝σ(W_xi*X_t+W_hi*H_t-1+W_cioC_t-1+b_i)；

f_t＝σ(W_xf*X_t+W_hf*H_t-1+W_cfoC_t-1+b_f)；

C_t＝f_toC_t-1+i_totanh(W_xc*X_t+W_hc*H_t-1+b_c)

o_t＝σ(W_xo*X_t+W_ho*H_t-1+W_cooC_t+b_o)；

H_t＝o_totanh(C_t)；

其中，i_t、f_t、C_t、o_t以及H_t分别表征input gate,forget gate,cell,output gate,hidden模块，*表示卷积。

如上所述的网络流量时空特征提取和异常检测的方法，其中，在步骤S11) 之前还包括：利用训练数据以获得所述历史网络流量数据。

如上所述的网络流量时空特征提取和异常检测的方法，其中，在步骤S2 中，对所述网络模型的张量进行CP分解以对所述网络模型的参数量化，获得 所述压缩后的模型。

如上所述的网络流量时空特征提取和异常检测的方法，其中，在步骤S3 中，对网络流量数据转换为二维图像数据，基于所述压缩后的模型对所述二维 图像数据进行提取特征并进行异常检测。

本发明的第二方面提出了一种网络流量时空特征提取和异常检测的装置， 其中，包括：

建立网络模型模块，用于基于历史网络流量数据建立网络模型；

压缩模块，用于对所述网络模型进行压缩以建立压缩后的模型；以及

提取及分析模块，用于基于所述压缩后的模型对网络流量数据提取特征并 进行异常检测。

如上所述的网络流量时空特征提取和异常检测的装置，其中，在所述压缩 模块中，对所述网络模型的张量进行CP分解以对所述网络模型的参数量化， 获得所述压缩后的模型。

本发明的第三方面提出了一种终端设备，包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理 器执行所述计算机程序时实现如上所述的网络流量时空特征提取和异常检测 的方法的步骤。

本发明的第四方面提出了一种计算机可读存储介质，所述计算机可读存储 介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上所述 的网络流量时空特征提取和异常检测的方法的步骤。

利用本发明提供的方法可以使基于分类的网络流量异常检测系统在表征 学习的基础上，无需通过两个网络级联的方式，直接性处理网络流量数据转化 成的时空序列检测问题，同时运用稀疏矩阵的低秩分解优化算法速度，达到无 需人工设计特征的高准确率又能加快运算速度的目的。

附图说明

图1为本发明实施例的一种网络流量时空特征提取和异常检测的方法的 流程图；

图2为本发明实施例的ConvLSTM的内部结构示意图；

图3为本发明实施例的CP分解的示意图；

图4为本发明实施例的三维张量的分解示意图；

图5为本发明实施例的训练流程的流程图；

图6为本发明实施例的模型压缩流程的流程图；

图7为本发明实施例的测试流程的流程图；

图8为本发明实施例的网络流量时空特征提取和异常检测的装置的结构 示意图；以及

图9为本发明实施例提供的终端设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例， 并参照附图，对本发明进一步详细说明。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、 “一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们 称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元 件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包 括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联 的列出项的全部或任一单元和全部组合。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是 为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二” 仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再 一一说明。

下面结合附图详细说明本发明实施例的技术方案。

如图1所示，本发明提出了一种网络流量时空特征提取和异常检测的方法， 其中，本发明的方法包括：S1)：基于历史网络流量数据建立网络模型；S2)： 对所述网络模型进行压缩以建立压缩后的模型；S3：基于所述压缩后的模型对 网络流量数据提取特征并进行异常检测。

本发明的方法的方案的流程分为三大部分，第一部分为训练流程，第二部 分为模型压缩流程，第三部分为测试流程。训练流程主要负责从数据中学习模 型的参数，模型压缩流程主要负责对已经训练好的模型进行压缩和加速，第三 部分主要负责根据输入的网络流量提取特征并进行异常检测。

具体地，如图5所示，在上述步骤S1中，首先训练数据以获得所述历史 网络流量数据，将所述历史网络流量数据转换为二维图像，基于ConvLSTM 的深度学习网络，并利用转换的二维图像进行训练，以输出步骤S1)中的网 络模型。

现对于ConvLSTM的深度学习网络的具体过程进行详细的描述。

本发明的方案是采用基于ConvLSTM的网络流量异常检测方法。 ConvLSTM不仅具有LSTM的时序建模能力，而且还能像CNN一样刻画局部特 征，在处理时空序列上具备优越的处理能力。众所周知，LSTM已经在语音识 别、视频分析、序列建模等领域取得了令人瞩目的进展，传统的LSTM网络由 input gate,forget gate,cell,output gate,hidden五个模块组成，它们之间的关系可 以由以下公式表示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cioc_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfoc_t-1+b_f)

c_t＝f_toc_t-1+i_totanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_cooc_t+b_o)

h_t＝o_totanh(c_t)

式中“o”表示矩阵对应元素相乘，又称为Hadamard乘积。这种LSTM结构 我们也可以称之为FC-LSTM，因其内部门之间是依赖于类似前馈式神经网络 来计算的，可以很好地处理时序数据，但是对于空间数据来说，将会带来冗余 性，原因是空间数据具有很强的局部特征，而FC-LSTM无法刻画此局部特征。

本申请提出的ConvLSTM尝试解决此问题，做法是将FC-LSTM中input-to- state和state-to-state部分由前馈式计算替换成卷积的形式，ConvLSTM的内部结 构如图2所示。

如图2所示，此时输入与各个门之间的连接由前馈式替换成了卷积，同时 状态与状态之间也换成了卷积运算。新的ConvLSTM的工作原理可以由以下公 式表示：

i_t＝h(W_xi*X_t+W_hi*H_t-1+W_cioC_t-1+b_i)

f_t＝σ(W_xf*X_t+W_hf*H_t-1+W_cfoC_t-1+b_f)

C_t＝f_toC_t-1+i_totanh(W_xc*X_t+W_hc*H_t-1+b_c)

o_t＝σ(W_xo*X_t+W_ho*H_t-1+W_cooC_t+b_o)

H_t＝o_totanh(C_t)

其中，i_t、f_t、C_t、o_t以及H_t分别表征input gate,forget gate,cell,output gate,hidden模块，*表示卷积，需要注意这里的X，C，H，i，f，o都是三维张量， 后两个张量代表行和列的空间信息，我们可以把ConvLSTM想象成是处理二维 网格中的特征向量的模型，它可以根据网格中周围点的特征来预测中心网格的 特征。

假设网络流量被分为r个数据包的时间向量序列，每个数据包包含p个字节， 此时和上文类似，采用独热编码将每个字节转化成q维向量，每个数据包就转 化为p*q形状的二维图像，这样网络流就形成了r个p*q维的向量组，与原方法 不同的是此时不需要CNN网络来提取出空间特征，而是直接将r个p*q维的二维 图像作为空间信息输入ConvLSTM模型中，在循环神经网络中直接做卷积运算， 提取出网络流量的时空特征。

图5中的数据转换模块负责将网络流量数据转换为二维图像，设t时刻内网 络内走过的数据包个数为r_t个，t时刻内的输入X_t就是一个r_t*p*q的三维张量， t+1时刻的输入X_t+1就是r_t+1*p*q，其余时刻以此类推，这样从历史数据中准备 好了训练数据；模型训练模块构建基于ConvLSTM的深度学习网络，并利用训 练数据进行训练，最后输出训练好的模型。

如图6所示，在本发明的步骤S2中，对所述网络模型的张量进行CP分解以 对所述网络模型的参数量化，获得所述压缩后的模型。此时初始的网络模型已 经训练好，各阶段的参数W已经确定，为了减少测试时的运算量，可以对 ConvLSTM中已知的参数W进行cp分解，将三维的张量近似分解为多个低秩张 量的级联，再用优化后的网络进行后续操作。在对网络中所有的参数W进行存 储的时候，为了减少存储的压力，对网络的参数进行量化操作，通过聚类的方 法将W分类，在计算机存储的时候，以聚类的中心来代替每个类别的所有参数， 达到参数量化的效果。

如图3和图4对CP分解的具体过程进行详细的描述。

具体地，由于采用深度学习的模型，卷积在ConvLSTM中贡献了大量的运算， 成千上万的参数和复杂度都为模型学习带来一定的困扰，这时提高运算速度就 成为一个重要的考虑内容。用低秩滤波加速卷积运算的方法十分常见，比如高 维度的DCT(离散余弦)变换和小波变换就可以用多个一维的变换级联得到。 低秩分解可以达到去除冗余，减少权值参数的效果，图3是一种典型的用低秩 分解来加速二维卷积的方法。传统的卷积核存在低秩的特性，即矩阵包含冗余 信息，可以加以利用。在进行卷积操作的时候，假设使用一个k*k的卷积核， 为了加速卷积运算，先使用一个k*1的卷积核来第一次运算，得到结果后，再采用1*k的卷积核卷积运算，降维之后的卷积运算比原来二维的卷积核运算要 快速简便，从而得到优化加速的效果。

在常见的低秩加速基础上，依据分解的思路人们提出了CP分解，在高维张 量上思考，使用CP分解(Canonical Polyadic Decomposition)优化算法。CP分 解将一个N阶的张量

分解为R个秩为1的张量和的形式(秩1张量 是可以用N个向量外积来表示的张量)：

通常情况下

是一个单位向量，定义

D＝diag(λ)，上述公式的可以转化为：

X＝D×₁A⁽¹⁾×₂A⁽²⁾…×_NA^(N)

矩阵表达式即为：

X_(n)＝AⁿD(A^(N)⊙…A⁽ⁿ⁺¹⁾⊙A^(n-1)…⊙A⁽¹⁾)^T

CP分解的求解首先需要确定的是分解的秩1张量的个数R。由于张量的秩 的求解是一个NP问题，通常通过迭代的方法对R从1开始遍历直到找到合适的 解。当数据无噪声的时候，重构误差为0所对应的解即为CP分解的解，在有噪 声的时候，可以通过CORCONDIA算法估计R。当确定R之后，再通过非线性 最小二乘法对CP分解进行求解。图4是三维张量的分解形式，原网络模型的参 数W也都是三维张量，不妨将W分解成为R_w个秩1张量的和，将分解后的和形 式近似代入，由于秩1张量可以用向量外积代替，CP分解就可以将W分解为R_w个向量外积的和，可用如下公式表示：

在CP分解的基础上再进行卷积计算，就优化了模型的速度。

对基于量化的参数网络压缩以获取压缩后的模型的具体过程进行详细的 描述。

具体地，深度学习中一般的网络拥有百万级的参数，这就导致模型在保存 为文件时尺寸较大，过多的参数也影响运算速度，因此可以通过量化的方法对 参数进行压缩，达到缩小模型文件大小和加速运算的方法。

该方法适用于已经训练好的网络。在得到所有网络参数后，通过聚类算法 将所有的网络分成K类，并用其聚类中心代表该类中的所有参数，这就能将原 来可能百万级的参数数量下降为K个。存储时所占的空间由原来的参数数量* 浮点数所需空间变成K*浮点数所需空间+参数数量*log2(K)。

如图6所示，在本发明的上述步骤S3中，对网络流量数据转换为二维图 像数据，基于所述压缩后的模型对所述二维图像数据进行提取特征并进行异常 检测。网络流量数据在通过数据转换模块的独热编码后，可运用于训练基础的 ConvLSTM网络，通过图5的流程从而得到基于历史网络流量的网络模型；为 了使后续的分类更加快速，通过CP分解和参数量化，对已有的网络模型进行 图6的优化步骤，得到压缩后的网络模型；最后，如图7所示，使用压缩后的 模型对新的网络流量数据进行分类和异常检测，注意新的流量数据也需要经过 数据转化模块才能应用于网络模型。

本发明的技术关键点在于：

ConvLSTM网络结构和低秩分解加速算法。ConvLSTM网络结构通过结 合循环神经网络和卷积运算，进一步应用于网络流量异常检测系统，以便获得 更好的处理效果。CP分解通过将多维的张量分解为多个秩1张量的串联，有 效的减少了运算的耗时，提高了运算效率。

如图8所示，本发明还提出一种网络流量时空特征提取和异常检测的装置， 其中，该网络流量时空特征提取和异常检测的装置包括：建立网络模型模块 10、压缩模块20以及提取及分析模块30，其中，建立网络模型模块10用于 基于历史网络流量数据建立网络模型，压缩模块20用于对所述网络模型进行 压缩以建立压缩后的模型，提取及分析模块30用于基于所述压缩后的模型对 网络流量数据提取特征并进行异常检测。

其中，建立网络模型模块10、压缩模块20以及提取及分析模块30的详 细功能对应于上述步骤S1至S3的过程，在此不再赘述。

图9是本发明一实施例提供的一种终端设备的示意图。如图9所示，该实 施例的终端设备6包括：处理器60、存储器61以及存储在存储器61中并可 在处理器60上运行的计算机程序62，例如一种网络流量时空特征提取和异常 检测的程序。处理器60执行计算机程序62时实现上述各个网络流量时空特征 提取和异常检测的方法的实施例中的步骤，例如上述所示的步骤S1至步骤S3。 或者，处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元 的功能，例如图8所示模块10至30的功能。

示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者 多个模块/单元被存储在存储器61中，并由处理器60执行，以完成本发明。 一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述计算机程序62在终端设备6中的执行过程。

终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算 设备。终端设备6可包括，但不仅限于，处理器60、存储器61。本领域技术 人员可以理解，图9仅仅终端设备6的示例，并不构成对终端设备6的限定， 可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例 如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可 以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用 集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或 者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理 器也可以是任何常规的处理器等。

存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或 内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配 备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包 括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算 机程序以及终端设备6所需的其它程序和数据。存储器61还可以用于暂时地 存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不 同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬 件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模 块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上 述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方 法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅 仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实 际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成 到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相 互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接 耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解， 本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指 令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中， 所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、 对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括： 能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、 磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机 存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软 件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法 管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根 据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的， 并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思 路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可 以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为 了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的 附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源 /接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解， 并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决 于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理 解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例 的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的 情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面 的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是 显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用 所讨论的实施例。

本发明实施的技术方案中，首先利用所设计的深度卷积神经网络模型对自 然场景下的仪表盘信息进行特征提取，然后根据提取的信息做数字的识别、指 针的定位、及读数的判定。该方案在对比和结合以往的指针式仪表识别设计的 基础上，一方面解决了自然场景下的仪表盘信息难以提取的问题，另一方面解 决了仪表盘上倾斜数字识别的问题，是一种泛化性高、鲁棒性强、通用性好的 方案。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操 作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或 者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程 序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设 备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总 线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包 括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-OnlyMemory，只读 存储器)、RAM(Random Access Memory，随即存储器)、EPROM(ErasableProgrammable Read-Only Memory，可擦写可编程只读存储器)、EEPROM (ElectricallyErasable Programmable Read-Only Memory，电可擦可编程只读存 储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计 算机)以能够读的形式存储或传输信息的任何介质。本技术领域技术人员可以 理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个 框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可 以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他 可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理 方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框 中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、 流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有 本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可 以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与 本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、 更改、重排、分解、组合或删除。所属领域的普通技术人员应当理解:以上任 何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被 限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征 之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的 不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本 发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包 含在本发明的保护范围之内。