阅读说明：本技术 在神经网络中使用存储器的模拟数字转换器 (Analog-to-digital converter using memory in neural network ) 是由 罗艾·丹尼尔 沙哈尔·柯瓦丁斯基 于 2018-11-14 设计创作，主要内容包括：一种模拟数字转换装置,包括一输入端,用于接收一模拟输入信号；多个输出端,用于输出代表所述模拟输入信号的一数字信号的多个平行位元；训练神经网络层,包含分别在所述多个输出端的每一个之间的多个连接,每一个连接具有一权重,所述权重为可调,神经网络的突触是忆阻器,训练使用在线梯度下降。(An analog-to-digital conversion apparatus includes an input terminal for receiving an analog input signal; a plurality of output terminals for outputting a plurality of parallel bits of a digital signal representing the analog input signal; a training neural network layer comprising a plurality of connections between each of the plurality of outputs, respectively, each connection having a weight, the weight being adjustable, synapses of the neural network being memristors, the training using an online gradient descent.)

在神经网络中使用存储器的模拟数字转换器

技术领域

在某些实施例中，本发明涉及在神经网络中使用忆阻器的模拟数字转换器(ADC)。

背景技术

数据驱动系统向物联网时代的快速发展，为在数据转换器无处不在的紧急交流和变化的应用铺好道路。随着高速、高精度和低功率混合信号系统的出现，对于准确、快速和节能的数据转换器的需求不断增长。这些系统在各种现实世界的连续时间信号上运行；示例包括医学成像、生物传感器、可穿戴设备、消费电子产品、汽车、仪器仪表及无线电通讯。不幸的是，模数转换器(ADC)中固有的速度-功率-精度折衷使它们脱离了所关注的应用范围。此外，随着摩尔定律不断推动技术的规模缩减，令人担忧的深亚微米效应(sub-microneffects)，这种权衡已成为现代系统设计的长期瓶颈。使用特殊的设计技术无法很好地处理这些影响，这些技术会使数据转换器过载，并且产生巨大的开销，加剧了折衷，并严重降低其性能。如今，数据转换器缺乏设计标准，并且针对特殊用途的应用定制复杂的特定设计流程及体系结构。

发明内容

本实施例包括构组对输入进行采样并且使用基于忆阻器组件的神经网络来训练特定信号的模拟数字转换器。输出位元以及当前输入都用作神经网络的输入，以产生新的输出位元。

根据本发明的一些实施例的一方面，提供了一种模拟数字转换装置，包括：

一输入端，用于接收一模拟输入信号；

多个输出端，用于输出代表所述模拟输入信号的一数字信号的多个平行位元；及

一可训练的神经网络层，所述神经网络层包含分别在所述多个输出端的每一个之间的多个连接，其中每一个连接具有一权重，所述权重为可调以进行训练。

在一实施例中，所述连接包含多个适配性突触(adaptable synapses)，以提供可调的所述权重。

在一实施例中，每一个适配性突触设置有各自的权重，每一个输出位元是来自多个输出位元的一权重总和的一比较结果。

在一实施例中，所述多个适配性突触的每一个包含一忆阻器，所述忆阻器设置有各自的权重。

实施例可以进一步包含一训练单元，所述训练单元具有一训练数据集输入，而且连接至所述多个输出位元，并且被配置为调整所述多个适配性突触的每一个，直到一给定输入的多个输出对应于一训练数据集为止。

在一实施例中，所述训练数据集与一预定最大电压及所述多个输出位元的一预定数量结合使用。

实施例可以被配置为通过使用在线梯度下降来进行调整。所述在线梯度下降包含多个迭代k的等式：

其中η是学习率，Vi^(k)是在k^th迭代时提供给所述输入端的单个经验样本，以及等式：

在一实施例中，所述调整包括最小化一训练误差函数及一能量成本函数。

在一实施例中，所述调整包括最小化一品质因数，所述品质因数为：

其中P是转换期间的功耗，fs是采样频率，以及；

其中SNDR是信噪比。

根据本发明的第二方面，提供了一种模拟数字转换方法，包含步骤：

接收一模拟输入信号；

在多个输出端输出代表所述模拟输入信号的一数字信号的多个平行位元；在所述多个输出端的每一个之间分别提供多个连接；以及

提供可调的权重给每一个连接，从而提供连接所述多个输出端的一可训练的神经网络。

除非另有定义，否则本文中使用的所有技术及/或科学用语具有与本发明所属领域的普通技术人员通常所理解的相同含义。尽管与本文描述的那些类似或等同的方法和材料可以用于本发明的实施例的实践或测试中，但是下面描述了示例性的方法和/或材料。在有冲突的情况下，以专利说明书及其定义为准。另外，材料、方法和实施例仅是说明性的，并不意图必然是限制性的。

附图说明

这里仅通过示例的方式，参考附图描述了本发明的一些实施例。现在具体地具体参考附图，要强调的是，所显示出的细节是作为示例并且出于对本发明的实施例的说明性讨论的目的。就这一点而言，结合附图进行的描述对于本领域技术人员而言显而易见的是可以如何实践本发明的实施例。

在附图中：

图1显示根据本发明实施例的可训练ADC的简化框图。

图2显示根据本实施例如何使用输入和训练信号来进行神经网络训练的简化流程图。

图3a)至3d)显示现有技术中的优化所涉及的折衷的四个图。

图4显示现有技术和本实施方式中的训练效率的比较图。

图5a)及5b)是本发明实施例的逐次逼近的流程图及广义电路。

图6a)至6c)是图5b)的电路的三个组成部分。

图7a)至图7d)是显示根据本实施例的训练过程的各方面的四个图。

图8a)至图8d)是显示图7a)至7d)的训练过程效率的四个图。

图9a)至图9d)是显示根据本实施例的速度-功率-精度折衷的四个图。

具体实施方式

在某些实施例中，本发明涉及在神经网络中使用忆阻器的模拟数字转换器(analog to digital converter,ADC)。

模拟数字转换器(ADC)是每个数据采集系统中的主要组件。可惜的是，现代ADC需要权衡速度、功率及精度。在本实施例中，新颖的神经启发方法被用来设计智能ADC，其可以被实时训练用于通用应用，并且突破以往ADC的局限性。在人工智能学习算法和神经网络架构的推动下，提出的ADC将新兴的忆阻器技术与CMOS集成在一起。我们设计了一个具有忆阻神经网络的可训练四位元ADC，所述忆阻神经网络实现了在线梯度下降算法。这种受监督的机器学演算法适合多种应用规范，例如满量程电压范围和采样频率。理论分析及仿真结果显示出强大的集合特性，包括重新配置(reconfiguration)、失配自校准(mismatch selfcalibration)、对动态电压和频率缩放的适应、噪声容限(noise tolerance)以及功率消耗优化(power consumption optimization)。提出的ADC可以实现高达8.25 fj/conv品质因数(FOM)，3.7分辨率位元有效数(ENOB)，0.4 LSB积分非线性(INL)及0.5 LSB微分非线性(DNL)。这些特性使其成为通用和新兴数据驱动应用程序的领先竞争者。

也就是说，本实施例采用不同的方法来设计通用的ADC。在本实施例中，转换后的数据用于训练转换器，以自主地适应正在运行的应用程序的确切规格以及适应环境变化。这种方法可以缩短转换器的上市时间，利用新技术进行有效扩展，大幅降低其成本，标准化设计流程，并为通用应用提供通用架构。提出的可训练ADC利用机器学习(machinelearning,ML)算法来训练基于有前景的忆阻器技术的人工神经网络(artificial neuralnetwork,ANN)体系结构。忆阻器由于其占据面积小，模拟存储特性，能源效率及不挥发性而被广泛用于人工神经系统的突触设计中。这些特征允许类似突触的行为，其中忆阻器的电导被认为是突触的重量。我们利用忆阻器作为突触来实现高精度、高速、低功耗、简单的成本有效型和可重新配置的单通道ADC体系结构，从而突破了速度与功率精度之间的权衡。请参考申请人先前的有关忆阻突触的在线培训以及数字模拟转换器(DAC)的专利申请。

我们将说明方法背后的动机，然后介绍ADC体系结构、理论和训练算法。作为示例性实施例，详细说明了四位元ADC的电路设计和机制。评估实施例的电路操作和学习能力。讨论设计权衡和大规模问题，然后得出结论。

在详细解释本发明的至少一实施例之前，应当理解的是，本发明的应用并不一定限于在以下描述中阐述及/或在附图及/或实施例中示出的部件和/或方法的构造和布置细节。本发明能够具有其他实施例，或者能够以各种方式被实践或执行。

现在参考图1，显示根据本发明的实施例的模拟数字转换器10的简化框图。所述模拟数字转换器具有用于接收模拟输入信号的一输入端12。在此示例性地示出为四个输出D₀至D₃的输出端14输出表示所述模拟输入信号的数字信号的并行位元。要注意的是，可以为特定用途适当地提供其他数量的输出位元。所述转换器10是可训练的，并且如下面将更详细描述，一个或多个神经网络层提供每个输出之间的连接。每个连接均具有可调整的权重，其权重由训练过程设置。更具体地，连接包括自适应突触，从而可以通过训练过程来调整权重。在操作中，每个自适应突触都设置有特定的权重，以使每个输出位都是所有先前或当前输出位的不同权重总和。在实施例中，比较器用于获得基于权重总和的比较结果。

在实施例中，具有可调电阻的忆阻器用于向连接端提供可调权重。通过训练程序，每个忆阻器都具有特定的权重。训练可以提前进行及/或在使用过程中进行。

为了预先进行训练，将一训练单元16连接到输出数字14，将其与来自训练数据集输入18的训练位元T₀..T₃进行比较。所述训练单元调整每个自适应突触，直到给定输入的输出对应于训练数据集。尽管可以改变频率，但是可以针对给定的最大电压和给定数量的输入位元选择训练数据集。然后训练可以保证功耗最小化和分辨率位元有效数(ENOB)，这等效于品质因数(FOM)最小化。

可以使用在线梯度下降进行调整。在线梯度下降包括以下的迭代k：

其中η是学习率，Vi^(k)是在迭代k^th时提供给所述输入端的单个经验样本，并且：

调整可以包括使品质因数最小化，如将在下文中更详细地讨论的。最小化可以涉及最小化训练误差函数和能量成本函数，以及结果品质因数，其可以是结合这些函数的等式。品质因数例如可以由以下等式给出：

其中P是转换期间的功耗，fs是采样频率，以及；

SNDR是信号和噪声失真比(信噪比)。更具体地，图1显示可训练4位元ADC 10，其接收信号fs,VF S,N并且通过提供特定的教学数据集Ti而被实时地训练。训练持续进行，直到ADC达到最佳FOM。

现在参考图2，显示使用图1所示装置的模拟数字转换方法的简化图。最初训练输出之间的连接网络–20。在训练之前，可以选择采样频率。训练涉及为基于忆阻器的连接提供权重，这些连接在输出位–22之间形成神经网络层。使用上面定义的在线梯度下降24，并且最小化品质因数26来提供权重。然后将结果设置到忆阻器28中。

在训练期间和使用期间，都接收和采样模拟输入信号30。通过训练的神经网络将样本馈入32，并且获得输出位34以提供输入模拟信号的数字表示。在训练期间，将输出位元与代表转换器应达到的正确答案的训练位进行比较，并按上述说明调整权重，直到输出位元与训练位之间的差异最小为止。

现在更详细地考虑所述多个实施例。

A.ADC架构中的速度-功率-精度折衷

虽然模拟域的主要特征是数据处理的能效，但其数字对应域在可靠的计算方面却胜过。ADC是混合信号系统，其固有地将混合模拟数字原理与每个域的优缺点结合在一起。

因此，对这些系统进行最佳定制，以适应广泛功能范围内的特定子集。当将系统推向性能极限时，设计折衷是一种极端情况。所述ADC包括：信号采样器，其以恒定速率离散地采样连续时间信号；以及量化器，其将采样值转换成对应的离散时间A-bil分辨率二进制编码形式。当系统达到高速和高精度时，系统的质量被认为是理想的。本文提出了一种用于通用应用的实时可训练ADC体系结构的概念验证，所述体系结构突破了速度-功率-精度的权衡。受混合信号电路和神经形态范例之间的类比的启发，我们利用人工神经网络的智能特性，并提出了一种由监督ML算法在线训练的流水线式SAR式神经网络架构ADC。

本实施例的神经网络可以共享霍普菲尔德能量模型(Hopfield energymodel)，并且在训练完成之后，我们示出了能量函数对转换成本函数与训练误差函数之间的等价关系。

可以通过混合CMOS-忆阻器电路设计来实现神经网络。可训练的机制可以显示网络在重新配置为多个满量程电压和频率、失配自校准、噪声容限、随机共振、功率优化和FOM动态缩放时的集体属性。我们相信，根据本实施例的ADC可以构成一个里程碑，对于数据转换器的大规模体系结构和条件不断变化的新兴实时自适应应用而言，例如可穿戴装置和汽车应用。

虽然模拟域的主要特征是数据处理的能效，但其数字对应域在可靠的计算方面却胜过。ADC是混合信号系统，其固有地将混合模拟数字原理与每个域的优缺点结合在一起。因此，对这些系统进行了最佳定制，以适应广泛功能范围内的特定子集。当将系统推向性能极限时，设计折衷是一种极端情况。ADC包括：信号采样器，其以恒定速率离散地采样连续时间信号；以及量化器，其将采样值转换成对应的离散时间N-bit分辨率二进制编码形式。当以低功耗实现高速和高精度时，系统的质量被认为是理想的。然而，实际上，分辨率随着转换速率的增加而降低，并且需要更大的功耗才能实现相同的分辨率。

装置失配(Device mismatch)是影响系统精度的主要因素。必须使用更大的装置来提高系统精度，但结果是电路节点的电容性负载增加，并且需要更大的功率才能达到一定的速度。系统的最大速度是增益带宽的函数，但受输入极点的限制。

除了装置失配以外，还有四种损耗机制会影响ADC分辨率并限制信噪比(SNDR)：量化噪声(quantization noise)、抖动(jitter)、比较器歧义度(comparator ambiguity)以及热噪声(thermal noise)。量化噪声是理想ADC中的唯一误差。抖动是采样发生的瞬间样品之间的变化。另外，转换速度受到比较器做出有关输入电压相对幅度的确定性决定的能力的限制。此限制称为比较器模糊度，与制造ADC的装置速度有关。装置速度被测量为频率fT，在所述频率下单位电流增益增加。由于这些限制，每次采样率加倍时，大约损失一位分辨率。非线性失真、记忆效应和装置失配可以得到一定程度的补偿，而热噪声则无法补偿。因此，是ADC性能的主要限制因素之一。由KT/C噪声建模，其中K表示玻尔兹曼常数(Boltzmann’s constant)，T表示温度，C表示取样电容(sampler capacitance)。在纯热噪声受限的电路中将本底噪声降低两倍，将使功耗增加四倍。装置失配对功耗的限制比热噪声施加的限制大约高两个数量级。

现在参考图3a)至图3d)。显示传统ADC体系结构在(a)速度和精度，(b)速度和功率，(c)精度和能量之间的权衡。由于功率精度的权衡取决于基础架构的局限性，因此能量精度与架构无关，并相应地显示权衡。图3d)是ADC架构(不同表示线)，设计折衷以及相关应用程序(蓝色)的蜘蛛图。图3a)至图3c)说明了速度-功率-精度的权衡；并基于我们从斯坦福的ADC调查(Stanford’s ADC survey)中获得的数据，其中包括过去二十年来发表的论文。

对如此众多的信号类型进行数字化的需求已经产生了范围广泛的数据转换器，其分辨率、采样率和功耗预算各不相同。这些考虑因素深刻影响系统体系结构及其性能。

速度-功率-精度的折衷导致了针对高速、高分辨率、低功耗应用等特殊用途而优化的各种ADC架构。图3d)给出了广泛使用的ADC架构，每种架构都与其市场应用相对应。

B.ADC品质因数(FOM)

比较具有不同规格的ADC时，使用称为品质因数(FOM)的数值来表征每个ADC相对于其替代产品的性能。可以将两个或多个度量组合到一个FOM中，FOM可以准确地反映ADC在特定情况下和针对特定目的的优点。使用最广泛的FOM之一定义为：

并且根据采样频率fs和分辨率位元有效数(ENOB)将转换期间的ADC功耗P与性能相关联。较低的FOM值将导致更好的ADC性能。ENOB由SNDR计算为：

前述的FOM最好地体现基本的速度-功率-精度折衷。迄今为止，CMOS技术不断发展的趋势是朝着更小的晶体管尺寸发展，从而导致了超深亚微米晶体管(ultra-deepsubmicron transistors)的发展。

FOM的演变也最能描述摩尔定律(ADC)。技术缩放可改善采样频率，因为fT允许更快的操作。但是，采样频率的速度受到比较器歧义性的限制。在相同的情况下，技术扩展对功耗优化的影响也受到电源电压(supply voltages)和漏电流(leakage currents)的限制，漏电流不可避免地导致维持SNDR所需的功耗增加。这些限制以及超深亚微米技术中的制造工艺变化和装置失配，是实现高线性度、宽动态范围和高分辨率转换器的最大障碍。因此，随着技术的缩减，速度功率精度的权衡正变得越来越严峻，从而使未来的数据转换器超出了所关注的应用范围。

现在参考图4，说明图1中所示的不同ADC架构和规范的平均FOM演进与技术节点按比例缩小的关系。总体而言，FOM随着技术规模的缩小而提高。但是，趋势线显示了过去十年中的渐近放缓。绿星(green star)40显示基于本实施例的实现的FOM，并且示出了FOM相对于技术节点的总体改进。除了考虑星40之外，总体上的改进可能归因于受益于技术扩展的低分辨率转换器。但是，这种改进已经大大减慢，ADC性能最近已经饱和。在过去十年中，底噪声已达到饱和，这表明未来的ADC甚至很可能都无法保持当前的最新噪声性能。

C.通用应用的可训练ADC

最近已经研究避免折衷的技术，目的是通过系统、架构和技术方法的组合来实现具有高分辨率的超低功耗转换器。这样的方法的示例是数字辅助的背景校准(backgroundcalibration)、时间交织(time-interleaving)、流水线(pipelining)、细分(subranging)、折叠(folding)、内插(interpolating)和过采样(oversampling)。这些技术已经成功地推迟FOM饱和。

调制解调器ADC架构是定制设计的电路，可以对其进行微调以优化特定功能及设计参数，以达到应用程序的规格。广泛使用的方法复杂，特定且依赖于技术，缺乏标准的设计流程。这些方法需要详尽的特征描述，大量的验证以及相对较长的开发上市时间。此外，最近已经观察到多通道ADC的快速增长。多个通道被单片集成以用于基于多样性的应用，从而增加了总面积、成本、设计复杂性及功耗。

在相同的上下文中，已经开发了在狭窄范围的不同预定义设计规范之间动态选择的可重新配置体系结构。相反地，已经提出简约的设计方法，以通过利用简化的模拟子电路来提高功率效率并潜在地提高速度。ADC FOM未来的集体改进很有可能来自多种因素的组合，这些因素包括新颖的体系结构，超越CMOS的新兴技术设备以及超越摩尔定律(Moore’slaw)的系统方法。

机器学习(machine learning,ML)领域致力于研究和实现能够利用其不断发展的感知能力根据过去的经验教训做出关键决策，预测和分类的数据来学习数据的系统。数据转换可以看作是分类优化和信号恢复问题的特例，使用ML从数据中学习可以轻松解决。

如图1和本实施例可以提供用于通用应用的可训练ADC架构。在本实施例中，确定一组参数以满足正在运行的应用程序的要求。首先，确定采样频率fs，然后确定分辨率位元数N，再确定满量程电压VF S，该电压指定ADC输入动态范围。然后，通过ML算法实时训练ADC，以优化ENOB和功耗。此过程等效于动态FOM优化，这项工作将在工作中得到证明，可以潜在地实现比趋势线低得多在图4中的FOM 40。

所述技术不仅限于重新配置，还可以使用通用的标准方法应用于装置失配自校准、自适应及噪声容限。此外，所述架构的可培训性增加了灵活性，使其具有成本效益和多功能性，其简约设计使用一个通道和智能ML算法。

III.神经网络ADC

神经形态计算是一种混合信号设计，在分子、生物物理、行为和功能抽象级别上固有地将模拟和数字域结合在一起。从电子学到神经生物学，可以得出结论，大脑以混合方式有效地进行了计算。类似地，本实施例可以将从神经生物学到混合信号电子学的知觉能力内插以突破导出的设计折衷并利用两个领域的优点。

人工神经网络作为潜在的新架构和模型实现解决各式各样的问题，例如模式分类、对象识别和信号处理，因此受到广泛的关注。此外，人工神经网络被认为是用于ML算法和大数据解释的高效抽象平台。神经网络的大规模并行处理能力在于高度互连的计算元件(神经元)之间的协作，这些元件通过长期存储元件(突触)连接。此外，机器学习算法的可训练和自适应能力被认为是新颖的智能功能，可在特定区域提供动力，这些区域与我们的大脑相比，传统计算机的性能较差。

在此，本实施例可以提供神经网络ADC范例。我们将展示其架构，基本原理、理论以及用于训练网络的ML算法。

A.架构

ANN体系结构是分布式网络，基于连续逼近权重的调整共同做出决策。引人注目的是，这种机制在时间尺度上以逐个二进制加权逼近的方式精确描述了ADC，例如SAR ADC。虽然位比较等效于神经激活，但在连续二进制搜索算法中，每个参考标度都等效于二进制加权突触。第一步，我们首先将4位元SAR转换的时间二进制搜索算法转换为具有二进制加权突触和流水线正向传播神经元(MSB到LSB)的空间神经网络；

其中Vin是模拟输入，D₃D₂D₁D₀是相应的数字形式(i＝3是MSB)，每个位(神经元乘积)具有零电压或满量程电压。u(·)表示为信号神经激活函数，并且Vref是等于最小离散电压量子(LSB)的参考电压。每个神经元都是其输入的集体积分器。对模拟输入进行采样，并通过二进制加权抑制性突触连接的组合依次(通过管道)进行近似。

确定ADC中每个位的近似过程是模块化的。首先，通过与满量程电压的中间值进行比较，可以独立于其他位确定MSB电压D₃。当D3已知时，将绕过第二个MSB，无论D₁D0如何都可以找到它，若D₃是'1'，然后将D₂与满量程的四分之三进行比较；否则，将其与完整比例的四分之一进行比较。类似地，基于驱动MSB来近似LSB。如图5a)所示，在SAR类神经网络中的逐次逼近流由具有所有可能组合的二叉搜索树50描述。在传播时间tp之后的读取周期中，每个神经元都做出决策，决定花费时间td，并以异步管道的方式驱动其他神经元前进，并且强度(突触权重)与其重要性程度成正比。箭头52所示的总传播时间小于读取周期持续时间。

在非理想、非线性、随机和变化的条件影响转换精度的实时操作中，正确的权重不能以二进制加权方式确定地分布。在这种情况下，应通过训练反馈就地实时更新权重。实现一个4位元ADC需要四个不同的二进制加权权重，并且每个二进制加权权重周围需要24个不同的精确权重才能微调LSB神经元。网络的互连突触权重由矩阵W描述，每个元素Wij代表从突触前神经元j到突触后神经元i的连接权重。图5b)中说明了神经网络ADC架构，包括其构造块(神经元、突触和反馈)。更具体地，神经网络4位元ADC架构60可以包括导致神经元Ni64的突触Wi,j 62和反馈FBi 66。在位元68之间正向传播期间的神经活动的波形图显示随后位元的信号如何增加。神经决策52的传播时间应小于读取周期。数字输出Di 70在读取周期结束时进行采样，然后在写周期被锁存，与对应于模拟输入斜坡的教示数据集Ti进行比较。读取和写入相关信号分别标记为蓝色和红色。

理论

意外地，在本实施例中使用的架构包含与具有涌现的集体计算特性经过充分研究的架构等效。从复杂的霍普菲尔德(Hopfield)神经网络开发了一个简单的单层神经网络。最初提出的Hopfield网络被认为是具有并行单层的递归神经网络的子类型，该单层包含具有抑制反馈、双向数据遍历且没有自动反馈的完全连接的神经元。从设计的角度来看，具有对称连接的Hopfield网络对于ADC任务特别方便。

有趣的是，ADC基于描述网络宏观动态的能量函数。能量函数表征能量最小化过程以及网络从初始状态到稳态的最小能量的递归收敛。能量函数用作定制解决特定优化问题的网络成本函数。能量函数用作定制解决特定优化问题的网络成本函数。

但是，Hopfield网络有一些缺点，这些缺点限制了它们在实际应用中的使用。由于能量函数的复杂性质，对称网络的解决方案高度依赖于其初始状态。能量函数可能会降低，然后稳定到一个平衡点之一，称为“杂散状态”(spurious state)或“局部最小值”(localminima)，这不对应于输入信号的正确数字表示，并且导致ADC特性远非理想。幸运的是，可以使用带有附加自校正逻辑网络和扩展电阻网络的改进型Hopfield网络消除这些非线性。另一种消除技术是使用单独的电子设备，迫使神经元复位，从而交替限制工作频率和ADC速度。此外，Hopfield网络还存在结构缺陷，特别是在大规模上：大量的突触、较高的权重比和量化误差。最近，提出一种基于电平移位的基于2位元Hopfield的ADC量化器，以克服原始Hopfield网络缩放的缺点，并消除随位元数增加而增加的数字误差。

本实施例的ADC架构等效于非对称Hopfield类型网络的特定类别，并且已经被设计来克服Hopfield网络的缺点和稳定性问题。平衡点具有全球吸引力，全球渐近稳定和保证；也就是说，对于每种初始条件选择和每种非线性选择，系统都将朝着这一点收敛。此外，在文献中已广泛探索具有较低块三角形互连结构，用于ADC应用的神经网络，包括其数学依据、形式化、定性分析、定量渐近约束稳定性、编码技术和综合方法。

类似于Hopfield能量函数，我们将所提出的不对称体系结构的能量函数描述为：

其中Wij是具有指数j和数字电压Dj的突触前神经元与具有指数i和数字电压Di的突触后神经元之间的突触(电导)，如图5b)所示。

根据Di得出的E的导数为负，等于神经元i输入电流的反相和。因此，E是单调递减函数，当Di改变以确保整个斜坡输入上的总电流为零时，E达到最小值。第一要素是指互连突触的功耗，其中考虑了网络的不对称性(j从i计数)。第二部分是指由模拟输入电压源和参考电压源组成的外部耗散功率。

创建等式(4)时采用的策略是将ADC视为由以下误差函数EQ实现的优化问题，所述误差函数的形式化类似如下：

其中第一个分量是量化误差的幂。当数字代码对应于正确的模拟输入时，将获得最小值。添加第二个分量以消除对角元素(自反馈)，其值始终为零。通过将等式(5)重新排序为类似能量的函数，类似于等式(4)，得到：

其中2^N是一个常数，不会影响ADC网络的最佳权重。通过将等式(6)与等式(4)进行比较来提取权重：W_ij(j>i)＝-2^j,W_ij(j≤i)＝0,W_{ii n}＝1,W_ir＝-2^i-1，这些值是确定性的典型值ADC与(3)中计算的ADC类似。

与在Hopfield网络中不同，根据本实施例的能量函数朝着其在网络中的最小值的收敛是全局吸引的，并且不受电路元件的瞬态行为的影响。此外，根据本发明实施例的网络在可伸缩性方面优于Hopfield网络：突触的数量减半，并且每个权重值减少2i。

在下文中，显示训练后网络收敛到最低能量水平。

C.训练演算法

彻底研究了非对称Hopfield网络的学习能力。介绍了一种基于最小均方(LMS)算法的学习算法，并考虑了几个具体示例来说明学习能力，网络灵活性，转换的线性可分离性，以及与Hopfield和多层神经网络相比，LMS在训练不对称网络方面的有效性。Hopfield网络的递归使其在现场训练和适应性方面的可行性变得复杂。或者，Hopfield网络可以由深度神经网络级联，并使用反向传播算法进行训练，以自适应地校准量化误差并将数字输出代码的幅度保持在可管理的工作电压范围内。与根据本实施例的网络相比，所述扩展在训练(编码)路径和转换(推断)路径之间分离，这可能使可伸缩的级移架构的可行性变得复杂，消耗大量资源。

考虑以下监督学***取决于量化分辨率)。系统的目标是使用经验数据来估计(学习)函数f(·)。

假设W是所讨论的不对称矩阵，并且将每个神经元估计量视为：

其中，u(·)表示信号神经激活函数，c是指参考电压的常数，而每个Di都充当具有一个输出的线性分类器，并向前传播以近似其他输出。因此，不需要隐藏层，并且信号激活函数足以估计函数f(·)。根据本实施例的网络，可以看作是并发的单层或流水线的前馈多层神经网络，其中每一层都确定输出位元。每个估计器Di^(k)应该旨在针对新的看不见的模式Vin预测正确的示教标签T_i ^(k)。为了解决所述问题，在经验数据或训练集的K0-长子集(对于k＝1,...,K₀)上，调整W以使估计的标签和期望的标签之间的某种程度的误差最小化。然后，通用度量误差度量是最小均方误差函数，定义为：

其中1/2系数是为了数学上的方便。也可以使用不同的错误度量。然后，在称为测试集(k＝K₀+1,...,K)的不同子集上测试所得估计器的性能。以下是在线随机梯度下降的一实例，所述算法可将误差最小化(即在W的初始选择为任意的情况下更新W)；

其中η是学习率，(通常是很小的)正常数，并且每次迭代k时，都会随机选择一个经验样本V_in ^(k)并显示在系统输入中。链规则(7)和(8)用于获得外部乘积：

更新规则被称为最小均方(LMS)算法，用于信号处理和控制的自适应滤波器中。注意更新规则(10)是局部的，即突触权重Wij(j>i)的变化仅取决于相关分量D_i ^(k),T_i ^(k),T_j ^(k)。

本地更新广泛用于ANN训练和ML算法中，可实现大规模并行加速。训练阶段将继续进行，直到误差低于阈值Ethreshold为止，这是一个小的预定义恒定阈值，可量化学习准确性。我们首次在下面显示，训练后(8)中的误差函数与(5)中的成本函数和(4)中的网络能量函数成比例。训练算法可以由图5b)所示的反馈66来实现。

电路设计

在下文中，我们提出了本实施例的ADC架构的电路设计构件，包括其不同的组件：神经元、突触和反馈电路。L.Danial，N.Wainstein，S.Kraus和S.Kvatinsky进一步讨论构建模块的设计方法，操作机制和约束，“DIDACTIC：具有使用忆阻器的可训练集成电路的数据智能数模转换器”，IEEE J.Emerg.Sel。主题电路系统，卷8，号1，第146-158页，2018年3月，其内容通过引用并入本文。为简单起见，我们提供量化级的电路设计，并假定模拟输入是通过外部采样保持电路分别采样的。

人工突触

我们采用上述早期工作中的突触电路设计，以提供一个压控忆阻器M80，连接到两个MOSFET晶体管(p型84和n型86)的共享端子82，如图6(a)所示。所述电路利用忆阻纵横开关(2T1R)的内在动力，所述阻抗固有地实现了欧姆和基尔霍夫定律(Ohm’s andKirchhoff's laws)，用于实现ANN硬件。突触的输出是流过忆阻器的电流。突触接收三个电压输入信号：u连接到一个晶体管的源极，

连接到另一个晶体管的源极，致能信号e连接到两个晶体管的栅极。致能信号e可以具有零值，这意指两个晶体管都不导通，VDD，意指仅NMOS导通，或者-VDD，意指仅PMOS导通。

根据e的值修改突触权重，e的值选择输入u或u。因此，经由两个晶体管的源极端子施加写入电压Vw(或-Vw)。注意，忆阻器的右端连接到运算放大器(OpAmp)的虚拟处，而左端连接到在欧姆状态下工作的晶体管和减震电容器。忆阻器值Mi,j分别在低电阻状态和高电阻状态，Ron和Roff，之间变化。

如我们先前的工作L.Danial，N.Wainstein，S.Kraus和S.Kvatinsky，“DIDACTIC：具有使用忆阻器的可训练集成电路的数据智能数模转换器”IEEE J.Emerg.Sel。主题电路系统，卷8，号1，第146-158页，2018年3月，其内容通过引用合并于此。

对于根据本实施例的ADC的设计，我们可以使用0.18/μm CMOS工艺，并且将VTEAM模型将忆阻器装配到具有缓冲层的Pt/HfO_x/Hf/TiN RRAM装置中。所述装置具有高至低电阻状态(HRS/LRS)的比为～50和形成、设置和复位电压，电路参数列于表一。

人工神经元

神经激活是神经形态计算中的事实上的活动，它通过非线性激活函数共同集成模拟输入并触发输出。神经活动是一种数学抽象，仅旨在捕获真实生物神经元的某些特征。文献中已经提出了人工神经元电路的几种实现方式。最初提出的Hopfield神经网络中的神经激活函数在线性和单调性方面有一些限制，可以使用复杂的设计来实现，以确保无干扰和无泄漏的瞬态神经活动。幸运的是，在非对称Hopfield网络中，不需要如此严格的约束，并且可以使用简单的数字比较器，而神经元电路的装置失配、寄生效应和不稳定性问题则由突触来自适应地补偿。

因此，如图6(b)所示，可以通过实现为反相运算放大器(OpAmp)92的跨阻放大器90来实现神经元电路，跨阻放大器90级联到具有零电压基准96，零电压最大值98的比较器94，以及-Vdd 100作为Vmin生成LSB抑制突触的阴性信号。使用时间交错的相位时钟锁存比较器，并在减轻瞬态效应并使神经元同步之后，在读取周期Tr的末尾在输出102上对判决结果(0 V或-Vdd)进行采样，并且它们的输出在管道中正向传播。在整个写入周期Tw内被锁存，并由反馈电路66处理，见图5b)。注意，有效权重通过运算放大器92被归一化并且等于Wij,j>i＝Rf/Sij,j>i，其中Rf是负反馈电阻器，而Sij是Mij和串联晶体管的有效电阻。

反馈电路

在线梯度下降算法由反馈电路66执行，所述反馈电路精确地调节突触适应过程。目的是在硬件中设计并执行基本的减法和乘法运算。ADC系统比等效的基于学习的DAC系统更加复杂，并且具有更强的应用影响；但是，其训练电路设计要简单得多，因为D_i ^(k),T_i ^(k),T_j ^(k)是不需要调制技术的数字值。减积(T_i ^(k)-D_i ^(k))由数字减法器实现，包括数字减法器112的反馈电路110的实现如图6(c)所示。每个神经元(MSB除外)的减法结果作为使能信号e同时反向传播到其所有突触(图6a)。乘法通过突触晶体管作为与逻辑门调用，并由e控制，而衰减后的所需数字输出T_i ^(k)通过突触源连接。所有电路均由具有ADC采样频率fs的可互换同步读写时钟周期控制。训练完成后，即将误差减小到预定阈值(E≤Ethreshold)以下，反馈从转换路径断开。

评价

在下文中，将讨论一个四位ADC的实施例，并使用0.18/μm CMOS进程和VTEAM忆阻器模型在SPICE仿真(Cadence Virtuoso)中进行评估。首先，根据最小均方误差和训练时间评估学习算法。接下来，对电路进行静态和动态评估，最后分析功耗。

使用MATLAB在极端条件全面测试本实施例的功能和稳健性。表一列出设计参数和约束。此外，如表二，电路变化和噪声源也得到了量化和验证。

表一

电路参数

表二

电路变化与噪声

重新配置

在线梯度下降算法在训练过程中演示了四位ADC的基本确定性功能。学习速率对于自适应性能至关重要：取决于电路参数、写入电压、脉冲时间宽度、反馈电阻器，当前状态以及忆阻器件的物理特性。学习率是：

其中Δs是忆阻器内部状态的变化；

其中，K_on/off跟α_on/off是分别描述状态演化速率及其非线性的常数，V_on/off是电压阈值，f(s)是在状态演化过程中添加非线性和状态相关性的窗口函数。这些参数适合Pt/HfO_x/Hf/TiN RRAM器件。拟合的学习率可以高精度收敛到全局最小值。学习率取决于状态和时间。

参考图7a)至7d)，是显示根据本实施例的训练评估的四个曲线图。图7a)显示在训练阶段VFS＝1.8V和fs＝100KSPS时突触权重的重新配置。立即为VF S＝0.9V和fs＝10MSPS训练突触，并实时显示。图7b)显示了训练期间直到达到阈值的LMS误差函数优化。图7c)显示训练过程中三个不同时标的实际数字输出Di(逻辑值)。训练完成后，将获得周期性的数字输出，对应于模拟输入斜坡。最后，图7d)显示了在训练过程中的三个不同时间戳处，通过将教学数据集的对应离散模拟值连接至理想DAC并将其与实际输出进行比较的结果，训练完成之后获得相同的阶梯。

更具体地说，图7a)显示依次施加两个具有不同满量程电压范围(VDD和VDD/2)以及不同采样频率(fs and 100f_s)的锯齿训练数据集在实时突触的电阻值。在大约4000个训练样本之后，0.1MSPS转换速率等于40毫秒训练时间，误差可能低于阈值E_threshold，并且网络从随机初始状态收敛到稳定状态。阈值E_threshold被确定为培训样本总数中有效分类错误的数字输出代码(4位元为8个代码)的50％，如表一所示。此外，当满量程电压变为V_DD/2且采样频率变为100f_s时，系统收敛到一个新的稳态，所述稳态模式以10MSPS采样速率对0.9V满量程进行量化。在每种情况下，都将网络重新配置为在不同规格下正确运行，如图7a)中不同的突触权重所示。训练期间朝其梯度下降的最小均方误差(5)优化如图7b)所示。在相同的背景下，在图7c)中针对训练之前的初始状态(样本0-15)在三个不同的时间戳上显示了表示数字输出位的神经活动适应，粗粒度训练(即误差略高于E_threshold的样本220-235)，以及细粒度训练(即误差足够低且ADC响应收敛到所需状态的情况下，样本3720-3735)。在理想情况下，数字输出可以通过理想的4位元DAC背对背连接并转换为离散的模拟信号，并准确地再现ADC的当前状态，如图7d)所示，同时显示三个时间戳。

自我校准

如上所述，ADC的精度取决于许多关键因素，包括过程变化、频率相关变化、装置失配、装置磨损、寄生效应、偏差、极点、增益及失调误差。表二列出这些影响的变异程度。选择忆阻器的过程变化参数，以正态分布随机生成，并以大约10％的方差并入VTEAM模型，以涵盖较大的可靠性范围。选择晶体管参数，如表一中的VW,W/L和VT Vi，以确保即使在这种极端条件下也能获得全局最优的解决方案。在图7a)至图7d)中，显示出本实施例的训练算法可以容忍随着时间的这种变化并且通过使用不同的突触权重来补偿。

现在参考图8a)至图8d)，显示一个静态转换评估，所述评估显示训练算法在失配校准中的效率(a)差分和(b)响应于DC输入电压斜坡而在三个不同的时间戳下ADC的积分非线性。图8c)是一个动态转换评估，显示在三个不同的时间通过响应具有44kHz频率的正弦输入信号的ADC输出的相干快速傅里叶变换，训练算法在噪声容忍和失真缓解方面的效率，使用ENOB计算在训练过程中盖章，以及图8d)对网络的功率评估，显示训练期间的功率优化。

更具体地，如图8a)和图8b)所示，静态地评估本实施例的ADC如何在三个给定的时间戳处响应DC斜坡信号。图7d)中教示阶梯是DC斜坡输入的子集，可在上述时间戳静态评估ADC。因此，实际ADC输出中两个相邻数字输出十进制代码之间的差异是差分非线性(DNL)。同样地，每个数字输入代码的实际ADC输出与理想阶梯之间的差异是积分非线性(INL)。最后一个代码的DNL未定义。最大DNL和INL的结果分别显示在图8a)和图8b)中。在训练之前，ADC是完全非线性和非单调，缺少一些代码。因此，INL＝8LSB，而DNL＝5LSB。在第二个时间戳(2ms～200个样本)处可以看到性能有所提高，此时ADC表现为单调。但是，仍然不准确(INL＝2LSB，DNL＝2LSB)。训练完成(40毫秒)后，ADC几乎已完全校准，单调且准确：INL＝0.4LSB，而DNL＝0.5LSB。

此外，如表二所示，电容和电感等寄生效应是高频ADC精度中的主要因素，已被10MSPS在更长的训练时间内进行了自适应捕获。

耐噪音

在现有的ADC中，可以使用校准机制来补偿装置的失配和工艺缺陷，但是噪声会不可避免地降低性能。在设计时捕获噪声也不太容易。但是，我们认为固有噪声对模拟电路性能的影响相对较小：采用机器学习技术的自适应智能系统具有固有的抗噪声能力，因为噪声是设计解决噪声的关键因素。

噪声源包括来自反馈电阻器、忆阻器和晶体管的固有热噪声，除了量化噪声、抖动、比较器模糊性、输入参考噪声、随机偏移、非线性失真、训练标签采样噪声、忆阻器开关随机性以及与频率有关的噪声。这些噪声源在表二中列出。

响应电压输入vi＝Acos(ωt)的ADC非线性功能V_out＝f(vi)，其中A是振幅，ω是频率，可以定性地描述为：

其中，ao是直流常数，a₁是小信号增益常数，而a₂是失真常数。因此，由于非线性效应，我们得到谐波失真，谐波失真在采样频率倍数中表现为频谱杂散，并降低了SNDR和ADC精度。我们表明，本算法能够通过估计f(·)函数来自适应地减轻非线性失真并容忍噪声。

在三个给定的时间戳下对ADC进行动态评估和分析，响应满足奈奎斯特条件(Nyquist condition)的频率为44kHz的正弦输入信号，输入f_input≤fs/2，并使用汉明窗和分布在5000个样本上的质数周期进行相干快速傅立叶变换(FFT)足以进行可靠的FFT而不会发生冲突和数据丢失。图7c)显示信号和失真功率随频率变化的FFT，其中每个时间戳以不同的颜色显示。

所述ADC截止频率fT，max由高到低的忆阻器阻抗比限制。图7c)说明随着训练的进行，谐波失真得到了缓解，基本功率增加，并且SNDR和ENOB有所提高。

由于噪声和变化源而引起的突触波动可通过忆阻器的开关非线性和阈值来缓解。但是，梯度下降算法会继续捕获并平均采样输入的随机动力学和时序不确定性(抖动)。与噪声标签的比较可以增强网络对过度拟合的抵抗力，并获得可靠的泛化性能。在同一情况下，忆阻器切换随机性的特征在于泊松过程(Poisson process)，列于表二中，并作为阈值中的概率转移并入VTEAM模型。与量化噪声或抖动一起，这有助于网络收敛到全局最小值，并改善ENOB，在某些情况下会突破热噪声限制。这种众所周知的现象称为随机共振。过去在人工神经网络和忆阻器中已有报道。请注意，较小的学***的有效数量，作为噪声容限(noise margin,NM)的函数，进行大规模分析。此外，确定对ENOB的影响，典型结果(在38％的例子中)为64电阻水平，～3％NM和～3.7 ENOB。

功率优化

如上所述，在由等式(4)给出的网络的类似Hopfield的能量函数与解决由等式(6)给出的转换优化的成本函数之间找到了等价关系。当配置突触权重以确保每个模拟输入正确映射到其相应的数字输出时，代价函数将达到其最小的，量化误差的下限。在图6(b)中，我们显示当成功训练网络配置ADC时，由等式(8)给出的误差函数达到全局最小值。因此，在训练过程中功耗被优化，直到训练结束时达到最小值。当以ADC方式配置网络时，实现根据本实施例的网络的最佳能量状态。因此，将分析整个网络的功耗，并将其归因于三个来源：

1.神经积分功率：运算放大器反馈电阻上的功耗为：

如等式(3)中所述，此功能可在训练每个神经元后解决ADC量化问题。所有神经元的总神经整合能力为

2.神经激活功率：以采样频率在比较器和运算放大器上消耗的功率。所述电源恒定且可忽略不计：fT中0.18/μmCMOS工艺中的Pacti＝3μW。所有神经元的总激活能力为：

3.突触功率：突触的功耗，包括每个神经元的可重新配置和固定的突触，为：

突触的总功耗为

注意，还考虑了与忆阻器串联的有效晶体管电阻。因此，总功耗是在训练期间，在具有2N个样本(epoch)的满量程斜坡上平均的三个电源的总和，如图7d)所示。水平轴上的每个点代表一个满量程斜坡，垂直轴上的每个对应值代表总耗散功率的平均值。训练完成并将网络配置为ADC后，满量程斜坡上的平均突触功率是最大功耗的一半，而神经积分功率则最小。这种平衡可实现最佳功耗。

注意，在训练阶段由于更新忆阻器而导致的动态功耗尚未确定，根据等式(1)中的FOM定义，动态功耗不被视为转换功耗。我们忽略了反馈的功耗，因为在训练结束后，反馈将断开，并且网络在转换过程中会保持最小的功耗水平。假设此电源相对较低，因为训练反馈的面积小，训练时间短，并且即使在较高的应用配置速率下，在转换器的整个生命周期内训练与转换周期之间的比例也很小。

一般

在本文所示结果的更广泛范围内，我们讨论突破速度-功率-精度折衷的潜力。此外，我们讨论本实施例的体系结构的缩放问题。

突破速度-功率-精度的权衡。

现在参考图9a)至图9d)，显示突破速度-功率-精度折衷。图9a)显示了在训练完成后，无论fs是多少，都通过获得最大ENOB来实现速度精度的权衡。图9b)显示了在训练完成后，无论fs是多少，通过获得最小的P来进行速度-功率的权衡。随频率变化的功耗可以忽略不计。图9c)显示了在训练完成后通过实现最大ENOB和最小P进行的精度-功率折衷。最后，图9d)显示了经过训练的FOM动态优化。更具体地说，在演示可训练ADC的动态机制之后，我们研究通用应用ADC的实时训练。对于fT带宽内的每个选定fs，ADC均由具有相同规格的训练数据集进行训练，并实现最佳ENOB，如图9a)所示。最大ENOB(～3.7)渐近地被固有的量化噪声所限制。类似地，针对每个fs动态优化功耗，以实现网络的最小功耗，如图9b)所示。电阻上的功耗比依赖于频率的功耗(例如电容器)对整体功耗的影响更大。同时，并且如我们所示，优化了误差函数(8)之后的量化成本函数(6)和能量函数(4)之间的等价关系，沿训练样本的ENOB和功耗方面的共同优化，如图9c)所示。

有趣的是，对所提议架构的集体优化突破了速度-功率-精度的折衷，并动态扩展了FOM以达到8.25fJ/conv的前沿值，如图9d)和图4。使用具有可重新配置的单通道的简单和简约的设计，可以实现所提出的体系结构在重新配置、失配自校准、噪声容限和功率优化方面的多功能性。此外，所提出的体系结构还利用忆阻器的电阻式并行计算来实现高速度，此外还具有模拟非易失性，从而使标准的数字ML算法能够智能，精确地就地调节其电导率，从而实现高精度。

简约的设计可降低功耗，从而实现具有成本效益的ADC。所有这些功能，与SAR架构、流水线架构和在线可训练机制结合使用时，将实现通用应用程序架构。

但是，扩展提议的体系结构具有挑战性。当增加网络规模时，神经元、突触和反馈的数量将平方增加。因此，如表三所示，这将大幅增加面积和功耗。由于所提议的ADC体系结构的连续性，由于每个神经元的传播时间，建立时间和决策时间，神经元数量需要更长的转换时间。因此，为消除信号混叠，不幸的是，最大奈奎斯特(Nyquist)采样频率将受到限制，如表三所示。

缩放方面的其他问题是所需的突触权重的高低电阻状态比率、电阻级别的数量、截止频率和耐力。在先前的工作中计算出最大位数，对于正在测试的忆阻器件，该位数为四位，但是可以实现具有更高HRS/LRS的器件。而且，在这里表明，通过延长训练时间可以补偿与设备有关的属性，以获得最大的ENOB，无论转换速度如何，ENOB等于(N-3)位元。总体而言，由于达到了最佳的ENOB，FOM仍会随着位数的增加而提高，如表三所示。此外，在先进的CMOS技术节点中，由于较低的功耗和较高的采样率，FOM可能会得到改善。这些发现表明，即使存在上述扩展问题，所提出的体系结构在概念上和实践上也是可扩展的。

本实施例可以展示用于通用应用的实时可训练ADC架构，其突破了速度-功率-精度的权衡。受混合信号电路和神经形态范例之间的类比的启发，我们利用了人工神经网络的智能特性，并提出了一种由监督ML算法在线训练的流水线式SAR式神经网络架构ADC。

本实施例的网络共享霍普菲尔德能量模型，并且我们示出了训练完成后能量函数与转换成本函数和训练误差函数之间的等价关系。通过混合CMOS忆阻器电路设计来实现神经网络。可训练的机制成功地证明了网络在重新配置为多个满量程电压和频率、失配自校准、噪声容限、随机共振、功率优化和FOM动态缩放时的集体属性。我们相信，对于可穿戴装置和汽车应用等各种条件下的数据转换器的大规模架构和新兴的实时自适应应用而言，本实施例的ADC可以构成一个有希望的结果的里程碑。

表三

可扩展性评估

可以预期地，在申请到期的专利有效期内，将开发许多相关种类的神经网络和人工神经网络以及ADC装置、忆阻器和类似忆阻器的组件将被开发，并且相应术语的范围旨在将所有此类新技术包括在内。

用语“包括”，“包含”，“包括”，“包含”，“具有”及其共轭词意指“包括但不限于”。

如本文所使用的，单数形式“一个”，“一种”和“该”包括复数引用，除非上下文另外明确指出。

应当理解的是，为清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反地，为简洁起见，在单个实施例的上下文中描述的本发明的各种特征，也可以单独地或以任何合适的子组合或在本发明的任何其他所述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不应被认为是那些实施例的必要特征，除非该实施例没有那些要素就不能工作。

尽管已经结合本发明的特定实施例描述了本发明，但是显然，对于本领域技术人员而言，许多替代、修改和变化将是显而易见的。因此，旨在涵盖落入所附权利要求书的精神和广泛范围内的所有这样的替代、修改和变化。

本说明书中提及的所有出版物，专利和专利申请都通过引用整体并入本文，其程度与好像每个单独的出版物，专利或专利申请被具体地和单独地指示通过引用并入本文的程度相同。此外，在本申请中对任何参考文献的引用或标识均不应解释为承认该参考文献可作为本发明的现有技术。在使用章节标题的程度上，不应将其解释为必然的限制。