具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如本文所使用的，“神经网络”能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而延长网络的深度，因此也被称为“深度神经网络”。神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“网络”和“神经网络模型”可替换地使用。

在机器学习应用中，可以基于训练数据集来训练神经网络模型，然后利用经训练的神经网络模型来执行推理任务。以图像分类应用为例，可以基于标注有图像类别的训练图像来训练神经网络模型。例如，所标注的图像类别可以指示训练图像描述的是何种对象(诸如，人、动物、植物等)。然后，推理任务可以利用经训练的神经网络来确定输入图像的类别，例如识别输入图像描述的是何种对象(诸如，人、动物、植物等)。

当把复杂的深度神经网络(DNN)部署到计算资源和/或存储资源有限的设备上时，可以通过应用模型压缩技术来节省推理任务所消耗的存储资源和运算时间。传统的DNN压缩技术都集中在压缩诸如卷积层(也称为“隐藏层”)等特征提取层上。然而，在诸如上述图像分类应用这样的应用中，输入图像的类别可能是大量候选类别之一，这可能导致DNN的输出层的运算量巨大。

本公开的实施例提出了一种用于确定神经网络的输出的方案，以解决上述问题和其他潜在问题中的一个或多个。该方案将神经网络的输出层执行的运算转换成最大内积搜索(MIPS)问题，并且利用局部敏感哈希(LSH)算法来得到MIPS问题的近似解。以此方式，该方案能够对神经网络的输出层进行压缩，节省神经网络的输出层所消耗的存储资源和运算时间，从而提高输出层的运算效率。

图1示出了本公开的实施例能够在其中被实现的示例环境100的框图。应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与环境100不同的环境中。

如图1所示，环境100包括设备120，其部署有经训练的神经网络121。设备120可以接收输入数据110，并且利用神经网络121来生成输出结果130。以图像分类应用为例，可以基于标注有图像类别的训练图像来训练神经网络121。例如，所标注的图像类别可以指示训练图像所描述的对象类型，诸如，人、动物、植物等。输入数据110可以是输入图像，并且输出结果130可以指示该输入图像的类别，例如该输入图像描述的对象类型，诸如，人、动物、植物等。

图2示出了根据本公开的实施例的神经网络121的示意图。如图2所示，神经网络121可以包括输入层210，隐藏层220-1、220-2和220-3(统称为或单独称为“隐藏层220”或者“特征提取层220”)，以及输出层230。神经网络121的各个层按顺序相连，其中前一层的输出被提供作为后一层的输入。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。输入层210可以接收神经网络121的输入数据110。以图像分类应用为例，输入层210接收的输入数据110可以是输入图像。输出层230可以包括多个输出节点，以输出输入图像属于不同类别的相应概率，例如该输入图像涉及人的概率、该输入图像涉及动物的概率、该输入图像涉及植物的概率等等。假设在输出层230的多个输出节点输出的多个概率中，该输入图像涉及人的概率最高，则神经网络121的输出结果130可以指示该输入图像描述的对象是人。

在一些实施例中，如图1所示的设备120可以是物联网(IoT)中的边缘设备或终端设备，其具有有限的计算资源和/或存储资源。为了节省神经网络121执行推理任务时所消耗的存储资源和运算时间，设备120可以对神经网络121进行压缩。例如，设备120可以对神经网络121的一个或多个隐藏层220和/或输出层230进行压缩。

在一些实施例中，为了对神经网络121的输出层230进行压缩，设备120可以将神经网络121的输出层230执行的运算转换成最大内积搜索(MIPS)问题，并且利用局部敏感哈希(LSH)算法来得到MIPS问题的近似解。

具体地，假设神经网络121的最后一个隐藏层220-3输出的特征向量被表示为x＝[x₁,…,x_d]，其中d表示该特征向量的维度并且d≥1。第j个输出节点输出的概率被表示为z_j，其中w_j表示与第j个输出节点相关联的权重向量并且该权重向量的维度为d。神经网络121的输出层230所执行的操作可以被视为求解以下MIPS问题：也即，找到使最大化的输出节点j。

LSH是一种基于哈希的算法，用于识别近似最近的相邻点。在普通最近邻问题中，空间中可以存在多个点(也称为训练集)，并且目标是针对给定新点来识别训练集中最接近该给定新点的点。这种过程的复杂度通常是线性的，即O(N)，其中N是训练集中的点数。近似最近邻算法试图将这种复杂性降低到亚线性(小于线性)。通过减少查找相似项目所需的比较次数，可以实现亚线性复杂度。LSH的工作原理是：如果在特征空间中存在彼此靠近的两个点，则它们很可能具有相同的哈希值(数据的简化表示)。LSH与传统哈希算法的主要区别在于，传统哈希算法试图避免冲突，但LSH的目的是使相似点的冲突最大化。在传统哈希算法中，对输入的微小扰动将显著改变输入的哈希值。然而，在LSH中，微小扰动将被忽略，以便容易识别主要内容。哈希冲突使得相似项具有相同哈希值的概率较高。

在一些实施例中，设备120可以利用LSH算法来得到上述MIPS问题的近似解，从而节省神经网络121的输出层230所消耗的存储资源和运算时间，从而提高输出层230的运算效率。

图3示出了根据本公开的实施例的用于确定神经网络的输出的示例方法300的流程图。方法300例如可以由如图1所示的设备120来执行。应当理解，方法300还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。以下结合图1和图2来详细描述方法300。

如图3所示，在框310处，设备120获取由神经网络121的至少一个隐藏层220输出的特征向量以及与神经网络121的多个候选输出相关联的多个权重向量。多个候选输出的相应概率基于多个权重向量和特征向量的乘积来确定。

在一些实施例中，设备120可以从神经网络121的输出层230之前的最后一个隐藏层220-3获取特征向量x＝[x₁,…,x_d]，其中d表示该特征向量的维度并且d≥1。针对神经网络121的输出层230的多个输出节点中的每个输出节点j，设备120可以获取与该输出节点j相关联的权重向量w_j，其维度也为d。

在框320处，设备120将多个权重向量分别转换成多个二进制序列，并且将该特征向量转换成目标二进制序列。

在一些实施例中，针对多个权重向量中的每个权重向量w_j，设备120可以对该权重向量w_j进行归一化：其中||P(w_j)||＝1。设备120可以将经归一化的权重向量投影到维度为k的空间中，以得到维度为k的投影向量，其中k小于d。也即，设备120可以将d维权重向量降维成k维投影向量。在一些实施例中，设备120可以通过将投影矩阵与经归一化的权重向量相乘，来生成维度为k的投影向量。该投影矩阵可以是k行d列的矩阵，用于将d维向量投影到k维空间中。在一些实施例中，该投影矩阵中的k×d个元素可以独立地从高斯分布(例如，均值为0且方差为1)中提取。然后，设备120可以将投影向量中的k个投影值中的每个投影值转换成一个二进制数(即，0或1)，从而得到与权重向量w_j相对应的二进制序列。在一些实施例中，如果投影值超过预定阈值(例如，0)，则设备120可以将该投影值转换成1；如果该投影值未超过预定阈值(例如，0)，则设备120可以将该投影值转换成0。

类似地，设备120可以对该特征向量x＝[x₁,…,x_d]进行归一化：其中||Q(x)||＝1。设备120可以将经归一化的特征向量投影到维度为k的空间中，以得到维度为k的投影向量，其中k小于d。也即，设备120可以将d维特征向量降维成k维投影向量。然后，设备120可以将该投影向量的k个投影值中的每个投影值转换成一个二进制数(即，0或1)，从而得到与该特征向量相对应的二进制序列。例如，如果投影值超过预定阈值(例如，0)，则设备120可以将该投影值转换成1；如果该投影值未超过预定阈值(例如，0)，则设备120可以将该投影值转换成0。

图4示出了根据本公开的实施例的将输入向量转换成二进制序列的示意图。如图4所示，输入向量410可以是经归一化的权重向量w_j或特征向量x。输入向量410可以被输入到随机投影模块420，从而被转换成二进制序列430。随机投影模块420例如可以被实现在如图1所示的设备120中。

在一些实施例，随机投影模块420可以通过将投影矩阵与输入向量410进行点乘，来生成包括k个投影值的投影向量。该投影矩阵可以是k行d列的矩阵，每一行可以被视为维度为d的随机向量。如图4所示，该投影矩阵例如可以包括随机向量421-1、421-2……421-k(统称为或单独称为“随机向量421”)。每个随机向量421与输入向量410进行点乘，可以得到一个投影值。在一些实施例，针对k个投影值中的每个投影值，如果该投影值超过预定阈值(例如，0)，则随机投影模块420可以将该投影值转换成1；如果该投影值未超过预定阈值(例如，0)，则随机投影模块420可以将该投影值转换成0。以此方式，随机投影模块420能够将d维输入向量410转换成长度为k的二进制序列430。在本文中，该二进制序列430也被称为输入向量410的哈希值。

返回参考图3，在框330处，设备120从与多个权重向量对应的多个二进制序列中确定与目标二进制序列最相似的二进制序列。在一些实施例中，设备120可以确定多个二进制序列中的每个二进制序列与目标二进制序列的欧式距离。设备120可以从多个二进制序列中确定与目标二进制序列最相似的二进制序列，其中该二进制序列与目标二进制序列的欧式距离最小。

在框340处，设备120基于所确定的二进制序列，从神经网络的多个候选输出中确定该神经网络的输出。在一些实施例中，设备120可以从多个权重向量中确定与该二进制序列相对应的权重向量。设备120可以从多个候选输出(也即，多个输出节点)中选择与该权重向量相关联的候选输出，作为神经网络121的输出130。

从以上描述能够看出，本公开的实施例提出了一种用于确定神经网络的输出的方案。该方案将神经网络的输出层执行的运算转换成最大内积搜索(MIPS)问题，并且利用局部敏感哈希(LSH)算法来得到MIPS问题的近似解。该方案能够降低要使用LSH搜索的样本的特征维度(即，从d维降至k维)，并且能够在亚线性复杂度下得到MIPS问题的近似解。

实验数据表明，该方案能够在少量精度损失的情况下显著降低神经网络的输出层的运算量，从而节省神经网络的输出层所消耗的存储资源和运算时间并且提高神经网络的运算效率。因此，该方案使得复杂的神经网络(例如，DNN)能够被部署到计算资源和/或存储资源有限的设备上，例如IoT中的边缘设备或终端设备。

图5示出了可以用来实施本公开内容的实施例的示例电子设备500的框图。例如，如图1所示的设备120可以由电子设备500实施。如图5所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法300，可由处理单元501执行。例如，在一些实施例中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法300的一个或多个动作。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。