阅读说明：本技术 类神经电路以及运作方法 (Neural circuit and operation method ) 是由 林仲汉 邱青松 于 2019-11-15 设计创作，主要内容包括：一种类神经电路包含突触电路以及后神经元电路。突触电路包含相变化元件、第一开关以及第二开关。第一开关耦接相变化元件,并用以接收第一脉冲信号。第二开关耦接相变化元件。后神经元电路的输入端耦接切换电路,且其输出端耦接相变化元件。输入端响应于第一脉冲信号而透过切换电路进行充电。后神经元电路用以依据输入端的电压位准与电压门槛值产生激发信号,且更用以依据激发信号产生第一及第二控制信号。后神经元电路依据第一控制信号以关闭切换电路。第二控制信号用以协同第二脉冲信号以控制第二开关,以控制相变化元件的状态,进而决定类神经电路的权重。如此,可利用电路建造出类神经网络系统。(A neural circuit includes a synaptic circuit and a post-neuron circuit. The synapse circuit comprises a phase change element, a first switch and a second switch. The first switch is coupled to the phase change element and is used for receiving a first pulse signal. The second switch is coupled to the phase change element. The input end of the back neuron circuit is coupled with the switching circuit, and the output end of the back neuron circuit is coupled with the phase change element. The input end responds to the first pulse signal and charges through the switching circuit. The back neuron circuit is used for generating a trigger signal according to the voltage level and the voltage threshold value of the input end, and is further used for generating a first control signal and a second control signal according to the trigger signal. The back neuron circuit closes the switching circuit according to the first control signal. The second control signal is used for cooperating with the second pulse signal to control the second switch so as to control the state of the phase change element and further determine the weight of the neural circuit. Thus, the neural network system can be built by using the circuit.)

类神经电路以及运作方法

技术领域

本揭示中所述实施例内容是有关于一种电路技术，特别关于一种类神经电路与运作方法。

背景技术

生物体中包含神经网络系统。神经网络系统包含许多神经元(neuron)。神经元是由Heinrich Wilhelm Gottfried von Waldeyer-Hartz在1891年提出。神经元是取得大脑离散信息的处理单位。在1897年，Charles Sherrington将两个神经元之间的交界(junction)称作“突触”(synapse)。大脑离散信息沿着一个方向流过突触。根据此方向，区分为“突触前(presynaptic)神经元”和“突触后(postsynaptic)神经元”。神经元在接收到足够的输入而启动时，会发出“尖峰(spike)”。

理论上，被捕获的经验化作大脑中突触的传导(conductance)。根据突触前神经元电路和突触后神经元的相对尖峰时间，突触传导会随时间变化。如果突触后神经元在突触前神经元电路激发(fire)之前激发，突触电导会增加。如果两个激发的顺序相反，突触电导会降低。另外，这种变化会取决于两个事件之间的延迟。延迟越多，变化的幅度越小。

人造神经网络允许电子系统以类似于生物大脑方式运作。神经元系统可以包括对生物神经元进行建模的各种电子电路。

神经网络系统会影响到生物体的感知、选择、决定或其他各种行为，因此神经网络系统在生物体中扮演相当重要的角色。倘若可利用电路建造出类似生物体中的神经网络系统，将会对许多领域产生关键性的影响。

举例而言，美国专利9,830,981或中国专利107111783中提及可利用相变化元件以及其他元件建构出类神经网络系统。

发明内容

本揭示的一些实施方式是关于一种类神经电路包含一突触电路以及一后神经元电路。突触电路包含相变化元件、第一开关以及第二开关。第一开关耦接相变化元件，并用以接收第一脉冲信号。第二开关耦接相变化元件，并用以接收第二脉冲信号。后神经元电路包含输入端、切换电路、电容及输出端。输入端耦接相变化元件。切换电路耦接输入端。电容耦接切换电路。输入端响应于第一脉冲信号而透过切换电路对电容充电，后神经元电路依据电容的电压位准与电压门槛值产生激发信号于输出端，且依据激发信号产生第一控制信号及第二控制信号，第一控制信号用以关断切换电路，且第二控制信号用以协同第二脉冲信号以控制第二开关，以控制相变化元件的状态。

在一些实施例中，类神经电路还包含前神经元电路，其中前神经元电路耦接突触电路，且用以发送第一脉冲信号与第二脉冲信号。

在一些实施例中，后神经元电路还包含比较器，比较器用以比较电容的电压位准与电压门槛值，以产生激发信号。

在一些实施例中，后神经元电路还包含第一控制器及第二控制器。第一控制器耦接于输出端与切换电路的控制端，其中第一控制器依据激发信号以产生第一控制信号至控制端。第二控制器耦接于输出端与输入端，其中第二控制器依据激发信号以产生第二控制信号。

在一些实施例中，切换电路包含晶体管。

在一些实施例中，第一控制器包含高通滤波器，其中高通滤波器对激发信号进行滤波后产生第一控制信号，以关闭晶体管。

在一些实施例中，第二控制器包含延迟电路及脉冲信号产生器。延迟电路耦接输出端，且用以延迟激发信号。脉冲信号产生器耦接延迟电路，且用以依据延迟后的激发信号产生第二控制信号。

在一些实施例中，脉冲信号产生器传送第二控制信号至相变化元件。

本揭示的一些实施方式是关于一种类神经电路的运作方法。运作方法包含：通过突触电路的第一开关接收第一脉冲信号；响应于第一脉冲信号，后神经元电路的输入端透过切换电路进行充电；后神经元电路通过比较单元比较输入端的电压位准与电压门槛值，以产生激发信号；通过后神经元电路依据激发信号产生第一控制信号及第二控制信号；通过后神经元电路依据第一控制信号以关闭切换电路；以及依据第二控制信号以及第二脉冲信号协同控制突触电路的第二开关，以调整流经突触电路的相变化元件的电流大小，进而决定类神经电路的权重。

在一些实施例中，通过后神经元电路依据第一控制信号以关闭切换电路的步骤包含：通过后神经元电路的控制器依据激发信号以产生第一控制信号以关闭切换电路，其中控制器耦接于后神经元电路的输出端与切换电路。

在一些实施例中，切换电路包含晶体管，控制器包含滤波器，通过后神经元电路的控制器依据激发信号以产生第一控制信号以关闭切换电路的步骤包含：通过滤波器对激发信号进行滤波后产生第一控制信号以关闭晶体管。

在一些实施例中，滤波器包含高通滤波器，通过高通滤波器对激发信号进行滤波后产生第一控制信号以关闭晶体管的步骤包含：通过高通滤波器对激发信号进行滤波后产生的第一控制信号以关闭晶体管。

在一些实施例中，运作方法还包含：通过后神经元电路的延迟电路延迟激发信号；通过后神经元电路的脉冲信号产生器依据延迟后的激发信号产生第二控制信号；以及通过脉冲信号产生器传送第二控制信号至相变化元件。

综上所述，本揭示的类神经电路与运作方法，可利用电路建造出类神经网络系统。

附图说明

为让本揭示的上述和其他目的、特征、优点与实施例能够更明显易懂，所附附图的说明如下：

图1是依照本揭示一些实施例所绘示的一类神经电路的示意图；

图2是依照本揭示一些实施例所绘示的一类神经电路的示意图；

图3是依照本揭示一些实施例所绘示的多个信号的波形图；

图4是依照本揭示一些实施例所绘示的一类神经电路的示意图；

图5是依照本揭示一些实施例所绘示的一类神经电路的示意图；

图6是依照本揭示一些实施例所绘示的一类神经电路的示意图；

图7是依照本揭示一些实施例所绘示的一类神经电路的示意图；以及

图8是依照本揭示一些实施例所绘示的一类神经电路的运作方法的流程图。

具体实施方式

在本文中所使用的用词“耦接”亦可指“电性耦接”，且用词“连接”亦可指“电性连接”。“耦接”及“连接”亦可指二个或多个元件相互配合或相互互动。

请参考图1以及图2。图1以及图2是依照本揭示一些实施例所绘示的类神经电路1000的示意图。

以图1示例而言，类神经电路1000包含突触电路(synapse circuit)1200，突触前神经元电路(pre-synaptic neuron circuit)1300(以下简称“前神经元”1300)，以及突触后神经元电路电路(post-synaptic neuron circuit)1400(以下简称“后神经元”1400)，其中前神经元1300包含轴突驱动(axon driver)1310，轴突驱动1310包含两个脉冲产生器G1G2，后神经元1400包含有树突(dendrite)用以接收信号。在一些实施例中，前神经元1300的轴突驱动1310发送尖峰信号(spike)，经由突触电路1200传送给后神经元1400的树突(dendrite)，以刺激后神经元1400，如此达到类似于神经网络系统中信号传递的功效。

在一实施例中，突触电路1200包含相变化元件PCM、开关D1以及开关SW2。相变化元件PCM包含相变材料。相变材料基于电流大小而具有不同相。讯息可储存在对应的相中。举例而言，当相变化元件PCM为晶相(crystal)或多晶相(poly crystal)时，其电阻值较小。当相变化元件PCM为非晶相(amorphous)时，其电阻值较大。基于相变化元件PCM的电阻值的大小，相变化元件PCM可储存逻辑值1或0。

在一实施例中，开关D1是以二极管实现。开关SW2是以晶体管实现。在一些其他的实施例中，开关D1亦可采用晶体管实现。开关D1包含第一端以及第二端。第一端为阳极端且第二端为阴极端。开关D1的第一端耦接脉冲信号产生器G1以接收脉冲信号PS1。开关SW2的控制端耦接脉冲信号产生器G2以接收脉冲信号PS2。开关D1的第二端以及开关SW2的第二端耦接相变化元件PCM的第一端。相变化元件PCM的第二端耦接后神经元1400。

在一实施例中，后神经元1400包含开关SW3、电容C1、电阻R1、比较器COM、延迟电路TD、整波电路G3以及控制器CTR1。电容C1以及电阻R1的第一端耦接电压端VL，电压端VL可为低电压端，例如接地端GND。比较器COM包含正输入端、负输入端以及输出端。电容C1的第二端以及电阻R1的第二端耦接比较器COM的正输入端，相变化元件PCM的第二端透过后神经元1400的开关SW3耦接比较器COM的正输入端。比较器COM的负输入端用以接收电压门槛值V_th。比较器COM的输出端耦接延迟电路TD及输出端OUT。延迟电路TD耦接整波电路G3。整波电路G3耦接相变化元件PCM的第二端。控制器CTR1耦接输出端OUT以及切换开关SW3。

后神经元1400里的电容C1是模拟神经元细胞膜电位，神经元细胞膜内外有多种带电离子，因细胞膜内外带电离子的种类与电荷量的差异，而在电容C1反映出细胞膜内外的电压差Vp(也称膜电位Vp)。神经元细胞膜上有大小不一而且可以控制带电离子进出的通道(channel)，细胞膜内外的带电离子可通过这些通道而造成膜电位Vp值的改变，电阻R1就是模拟带电离子来回穿越通道的电性效应。从突触前神经元的轴突(axon)发送的脉冲信号，被后神经元的树突(dendrite)接收而改变后神经元细胞膜的膜电位Vp，其对应到后神经元1400的行为效应就是对电容C1充电。

如果上述的脉冲信号的强度够大，电容C1上的膜电位Vp超过电压门槛值V_th时，后神经元1400就会输出激发信号(FIRE)。反之，若脉冲信号的强度不够大，电容C1上的电压虽然升高，但是没有超过电压门槛值V_th，后神经元1400不会输出激发信号(FIRE)，而且其升高的膜电位Vp会逐渐经由电阻R1的漏电而降低。其在神经元细胞上的行为就是后神经元因前神经元的激发信号瞬间改变细胞膜内外的带电离子的浓度，然后带电离子又因经由细胞膜上的通道扩散平衡，使后神经元细胞膜的膜电位Vp恢复到平衡值。因此由前神经元发送脉冲信号到后神经元电容C1上的这条路径在电性上的行为称为泄漏积和与激发(leakyintegration and Fire:LIF)，神经元细胞膜电位Vp是LIF的函数(Vp＝F(LIF))。

各个前神经元的激发信号经由突触(包含前神经元的轴突与后神经元的树突)影响后神经元1400的细胞膜电位，但即使是同样的激发信号，不同的前神经元对后神经元的细胞膜电位影响的大小不同，因此可说前后神经元之间突触权重(weighting:W)的大小不同，突触权重(W)是可塑性(或称可适应性)的，权重变化量(ΔW)的大小是前神经元激发时间(t_pre)与后神经元激发时间(t_post)的时间差的函数:ΔW＝F(t_post-t_pre)。换言之，突触权重变化量(ΔW)的大小与t_pre、t_post两者的时间差有关，而且依该时间差的值适应性地调整突触权重W。因此突触权重W涉及神经元之间因果关系的指标，如此定义了一个代表突触(synapse)因前后神经元激发时间的相对关系而改变权重(W)的特性指标，其称为“尖峰依时可塑性”(Spike timing dependent plasticity:STDP)。突触的STDP也间接与LIF有关连，因为LIF可决定后神经元的激发时间(t_post)。在一实施例中，突触的STDP表示突触电流传导性的可塑性，更具体的说，在一实施例中，突触的STDP表示突触电阻的大小。

请一并参阅图1及图3，前神经元1300尚未发送尖峰信号前，后神经元140里电容C1的膜电位Vp经由电阻R1逐渐朝向一平衡电位(VL)。在一实施例中该平衡电位为接地电位，但不以此为限。在运作上，后神经元1400的开关SW3导通，前神经元1300发送尖峰信号给后神经元1400，轴突驱动131里的脉冲信号产生器G1在时间点t1时发送脉冲信号PS1，脉冲的时间宽度为t1到t2，在脉冲宽度期间(T1)，开关D1导通而开关SW2是关断状态。在一实施例中，脉冲信号PS1又称为“轴突脉冲LIF”，宽度为0.1ms，但不以此为限。轴突脉冲LIF经过突触电路1200的相变化元件PCM并透过切换开关SW3对电容C1的第二端(比较器COM的正输入端)充电，以使细胞膜膜电位具有电压位准Vp。

如图3所示，膜电位Vp于时间区间T1中逐渐上升。若在时间点t2之前(包含t2点)电容C1的电压位准Vp高于比较器COM负输入端的电压门槛值V_th，此时比较器COM的输出端立即发送激发信号FIRE。当膜电位Vp小于电压门槛值V_th时，比较器COM并未输出激发信号FIRE。因此相变化元件PCM电阻值的大小可以控制电容C1充电速度的快慢。

在时间点t2轴突驱动131的脉冲信号产生器G2产生脉冲信号PS2，在一实施例中脉冲信号PS2又称为“轴突脉冲STDP”。在一实施例中，轴突脉冲STDP的脉冲时间T为100ms，但不以此为限。轴突脉冲STDP分为前后两段相等时间(T/2)的时区，前段时区(T/2)的脉冲瞬间升高一电压值(未标示)，然后再逐渐升高其电压。在后段时区(T/2)的脉冲瞬间降低一电压值(未标示)，然后再逐渐降低电压。具体而言，轴突脉冲STDP后段时区中的最高电压值小于后段时区中的最低电压值。在轴突脉冲LIF结束之后，后神经元1400里电容C1的膜电位会经由电阻R1逐渐放电回到细胞膜电位的平衡值。

请继续参考图2与图3，比较器COM输出端送出的激发信号FIRE经过控制电路CTR1，立即产生控制信号CS1以关断开关SW3，此时突触电路1200的信号无法再影响后神经元1400中电容C1的电压。同时，激发信号FIRE经过延迟电路TD与整波电路G3，以输出控制信号CS2到相变化元件PCM的第二端。延迟电路TD会对激发信号FIRE加入延迟时间td。在一实施例中延迟时间td为50ms。经过上述的延迟时间td后，于时间t3点输出控制信号CS2至相变化元件PCM的第二端。控制信号CS的脉冲区间为时间点t3到时间点t4。在一实施例中，上述的控制信号CS2又称为“后神经元STDP触发”(Post-Synaptic Neuron STDP Trigger)，其脉冲时间为0.1ms。

控制电路CTR1发送控制信号CS1关断开关SW3，并维持开断状态大于(含等于)轴突脉冲STDP(PS2)的脉冲时间T。电容C1会开始经由电阻R1放电，膜电位Vp逐渐下降，此期间后神经元无法再接收其他突触电路传送来的信号。在控制信号CS2的脉冲时间里，流经突触电路1200里相变化元件PCM的电流将由脉冲信号PS2(轴突脉冲STDP)与控制信号CS2(后神经元STDP触发)协同作用之下决定。换言之，轴突脉冲STDP(PS2)与后神经元STDP触发(CS2)信号能决定流经相变化元件PCM的电流大小。

轴突脉冲STDP(PS2)控制突触电路1200的开关SW2的栅极，在轴突脉冲STDP(PS2)的前段时区(T/2)，其电压较高，能够流经开关SW2的电流较大。反之，在轴突脉冲STDP的后段时区(T/2)，其电压较低，能够流经开关SW2的电流较小。举例而言，在后神经元STDP触发(CS2)的脉冲期间，突触电路1200里的开关D1不导通，后神经元STDP触发(CS2)仅流经相变化元件与开关SW2，而轴突脉冲STDP(PS2)的电压高低可以控制流经开关SW2电流的大小。

在一实施例中，若后神经元1400的激发信号(FIRE)是由前神经元1200的轴突脉冲LIF(PS1)所造成的，则后神经元1400的激发时间(t_post)会晚于前神经元1200的激发时间(t_pre)，此时后神经元STDP触发(CS2)的脉冲期间会落在轴突脉冲STDP(PS2)的后段时区。因此瞬间流经开关SW2的电流较小，表示瞬间流经相变化元件PCM的电流较小。因此相变化元件PCM具有较小的电阻值。换言之，突触电路1200具有较佳的传导性，因此称之为突触长期增强(Synapse Long Term Potentiation)。代表后神经元1400的激发FIRE与前神经元1300的脉冲信号PS1(轴突脉冲LIF)有关连，后神经元1400的激发FIRE与前神经元1300的激发FIRE有因果关系，因此连接此两神经元之间的突触电路1200的权重W被调升了。

在一实施例中，若后神经元1400的激发信号(FIRE)不是由前神经元1200的轴突脉冲LIF(PS1)所造成的，则后神经元1400的激发时间(t_post)会早于前神经元1200的激发时间(t_pre)，此时后神经元STDP触发(CS2)的脉冲期间会落在轴突脉冲STDP(PS2)的前段时区。因此瞬间流经开关SW2的电流较大，表示瞬间流经相变化元件PCM的电流较大。因此相变化元件PCM具有较大的电阻值。换言之，突触电路1200具有较差的传导性，称之为突触长期抑制(Synapse Long Term Depression)。代表与后神经元1400的激发FIRE与前神经元1300的激发FIRE没有因果关系，因此连接此两神经元之间的突触电路1200的权重W被调降了。

类神经电路1000可利用上述运作进行学习行为，以实现类似生物体中的神经网络系统。

请参考图4。图4是依照本揭示一些实施例所绘示的类神经电路2000的示意图。图4的类神经电路2000与图1的类神经电路1000的差异在于，类神经电路2000的后神经元2400的控制器为滤波器HP，切换开关SW3为晶体管。

举例而言，滤波器HP耦接于输出端OUT与晶体管SW3的栅极。当膜电位Vp大于电压门槛值V_th时，比较器COM会输出正值的激发信号FIRE。同时，滤波器HP接收到激发信号FIRE后，立即产生控制信号CS1，以关断晶体管SW3。类神经电路2000的其余元件连接关系以及运作相似于图1的类神经电路1000，故于此不再赘述。

请参考图5。图5是依照本揭示一些实施例所绘示的类神经电路3000的示意图。图5的类神经电路3000与图4的类神经电路2000的差异在于，图5详细绘示了类神经电路3000的后神经元2400的滤波器HP。

举例而言，滤波器HP为高通滤波器(High Pass Filter)，高通滤波器HP包含电容C2与电阻R2，晶体管SW3为PMOS。当膜电位Vp大于电压门槛值V_th时，比较器COM输出正峰值的激发信号FIRE。同时，高通滤波器HP接收到激发信号FIRE后，立即产生高电压位准的控制信号CS1，以关断PMOS(SW3)。需特别说明的是，PMOS(SW3)关断时间的长短可经由调配高通滤波器HP的电容C2与电阻R2的时间常数τ(time constant:τ)而定。类神经电路3000的其余元件连接关系以及运作相似于图1的类神经电路1000，故于此不再赘述。

请参考图6。图6是依照本揭示一些实施例所绘示的类神经电路4000的示意图。图6的类神经电路4000与图1的类神经电路1000的差异在于，类神经电路4000的后神经元4400的控制器为滤波器HP。另外，在图6中，类神经电路4000还包含反相器INV1，切换开关SW3为NMOS。

举例而言，滤波器HP耦接于NMOS(SW3)的栅极，并透过反相器INV1耦接于输出端OUT。当正输入端的电压位准Vp大于电压门槛值V_th时，比较器COM会输出具有高电压位准的激发信号FIRE，反相器INV1接收该激发信号FIRE，以产生反相信号。滤波器HP接收到反相信号后，立即产生低电压准位的控制信号CS1，以关断NMOS(SW3)。类神经电路4000的其余元件连接关系以及运作相似于图1的类神经电路1000，故于此不再赘述。

请参考图7。图7是依照本揭示一些实施例所绘示的类神经电路5000的示意图。图7的类神经电路5000与图1的类神经电路1000的差异在于，类神经电路5000的后神经元5400的控制器可由位准闩锁器LA以及延迟电路TD2实现，但本案亦不以此为限。准闩锁器LA以及延迟电路TD2用以控制开关SW3关断与导通的时间。例如，后神经元的激发信号(FIRE)发送后，准闩锁器LA立即产生高电压以关断PMOS(SW3)，延迟电路TD2延迟该高电压信号一段时间，以维持PMOS的关断状态。类神经电路7000的其余元件连接关系以及运作相似于图1的类神经电路1000，故于此不再赘述。

请参考图8。图8是依照本揭示一些实施例所绘示的一类神经电路的运作方法8000的流程图。以图8示例而言，运作方法8000包含操作S8100、操作S8200、操作S8300、操作S8400、操作S8500以及操作S8600。在一些实施例中，运作方法8000是应用于图1的类神经电路1000，但本揭示不以此为限。为了易于理解，以下将搭配图1进行讨论。

在操作S8100中，通过突触电路1200的开关D1接收脉冲信号PS1。在一些实施例中，突触电路1200扮演突触前神经元的轴突的角色，以发送尖峰给后神经元1400。

在操作S8200中，响应于脉冲信号PS1，后神经元1400(比较器COM)的正输入端透过切换电路SW3进行充电。在一些实施例中，后神经元1400扮演突触后神经元的树突的角色，以接收来自突触电路1200的信号。

在操作S8300中，通过后神经元1400依据正输入端的电压位准Vp与电压门槛V_th值产生激发信号FIRE。在一些实施例中，当电压位准Vp大于电压门槛值V_th时，比较器COM输出激发信号FIRE。

在操作S8400中，通过后神经元1400依据激发信号FIRE产生控制信号CS1及控制信号CS2。在一些实施例中，后神经元1400的控制器CTR1会依据激发信号FIRE而产生控制信号CS1。后神经元1400的延迟电路TD会引入延迟时间至激发信号FIRE，以输出控制信号CS2。

在操作S8500中，通过后神经元1400依据控制信号CS1以关闭切换电路SW3。在一实施例中，切换电路SW3会持续关闭一段时间，切换电路SW3的关闭时间的长短可依据实际需求设定。

在操作S8600中，依据控制信号CS2以及脉冲信号PS2控制突触电路1200的开关SW2，以控制突触电路1200的相变化元件PCM的状态。据此，可根据相变化元件PCM的状态决定类神经电路1000的权重。在一实施例中，控制信号CS2流经开关SW2，而脉冲信号PS2控制开关SW所能流经电流的大小。在一些实施例中，相变化元件PCM包含相变材料。相变材料的不同相对应不同电阻值。

上述运作方法8000的叙述包含示例性的操作，但运作方法8000的该些操作不必依所显示的顺序被执行。运作方法8000的该些操作的顺序得以被变更，或者该些操作得以在适当的情况下被同时执行、部分同时执行或部分省略，皆在本揭示的实施例的精神与范围内。

综上所述，本揭示的类神经电路与运作方法，可利用电路建造出类神经网络系统。

虽然本揭示已以实施方式揭露如上，然其并非用以限定本揭示，任何本领域具通常知识者，在不脱离本揭示的精神和范围内，当可作各种的更动与润饰，因此本揭示的保护范围当视所附的权利要求书所界定的范围为准。