一种卷积视觉图像传感器
阅读说明：本技术 一种卷积视觉图像传感器 (Convolution vision image sensor ) 是由 诸葛福伟 于 2021-07-19 设计创作，主要内容包括：本发明公开了一种卷积视觉图像传感器,包括像素阵列,该像素阵列包括若干个像素结构,每个像素结构包括探测单元和N个信号调制单元；位于同一个像素结构中的所述N个信号调制单元包括与该像素结构中的探测单元连接的第一信号调制单元,和与相邻的像素结构中的探测单元连接的第二信号调制单元；所述N个信号调制单元以并联形式电连接后汇合形成该像素结构的输出电路,N≥2；本发明实现了将相邻像素结构中的探测单元采集的电信号传递至本像素结构中,利用信号调制单元赋予本像素结构与相邻像素结构获取到的电信号不同的卷积权重,卷积加权后获得本像素结构的实际像素信号。(The invention discloses a convolution visual image sensor, which comprises a pixel array, a signal processing unit and a signal processing unit, wherein the pixel array comprises a plurality of pixel structures, and each pixel structure comprises a detection unit and N signal modulation units; the N signal modulation units in the same pixel structure comprise a first signal modulation unit connected with the detection unit in the pixel structure and a second signal modulation unit connected with the detection unit in the adjacent pixel structure; the N signal modulation units are electrically connected in parallel and then are converged to form an output circuit of the pixel structure, and N is more than or equal to 2; the invention realizes that the electric signals acquired by the detection units in the adjacent pixel structures are transmitted to the pixel structures, different convolution weights are given to the pixel structures and the electric signals acquired by the adjacent pixel structures by the signal modulation units, and the actual pixel signals of the pixel structures are acquired after the convolution weights.)
技术领域
本发明属于图像传感器技术领域，更具体地，涉及一种卷积视觉图像传感器。
背景技术
基于半导体技术的CCD和CMOS成像传感器的发明开创了数字成像技术，彻底改变了人类关于影像的记录方式。然而，现有成像系统在高通量数据获取与目标实时解析、决策方面仍逊于人眼视觉体验。这是因为其成像传感器元件(PN结、肖特基结、雪崩二极管、光电导器件等)在封装后具有特定的响应灵敏度和固定的连接，仅承担将光信号转换为电信号向后级处理器单元传递，无法实现类似视网膜内的视觉信息加工。而为模仿视觉神经网络的信息加工特性，通常将图像数据传输至外部处理器中，借助人工神经网络算法获得此类功能例如文献US 10,755,136 B2；US 10,460,231 B2；CN108898191A。其图像获取、存储与解析相分离的架构使数据在各层级之间大量搬运，对数据存储速度和计算芯片的算力提出了极高要求，同时使产生额外的高能耗，例如文献US 10,755,126 B2。与之相比，人类的视觉系统结构简洁，可通过视网膜、视神经和视觉皮层对图像信息的预处理使数据在传输过程中得到极大精简，又使关键特征得以保留。研究表明，通过视网膜传入后级视神经和视觉皮层的信息仅约为视网膜成像数据的百分之一。这类对图像信息的预处理和特征筛选使人类视觉系统展现出高效的图像分类和识别能力，能够在在较低的能耗下实现快速反应和决策。类比人眼的这种结构和特性，将图像预处理和筛选算法集成在成像传感器中，有望突破现有数字成像系统在人工视觉系统中的应用瓶颈，应用于国防预警、自动驾驶、智能机器人以及视觉修复等领域。
人类视觉系统的高效性来自于视觉神经网络高度可塑性，使其可以通过学习进行演进，在视网膜内完成部分信息预处理和特征筛选。构建类似具有响应可塑特性的光电探测器及其成像传感器可用于实现类人眼视觉成像。目前，实现集成式视觉信息加工的方案主要是对探测单元进行设计，利用其正负区间内可调的响应灵敏度模拟生物神经网络中的突触权重，实现对特定信号的处理、编码和解码功能。例如，维也纳科技大学T.Mueller教授在Nature,2020,579,62-66中提出的一种以可调PN结探测器组成的人工视觉神经网络方案，栅极控制二维WSe2内不同区域的P、N掺杂状态对PN结的方向和内建场强度进行调制，实现了在正负区间内灵敏度连续可调的探测器单元。以这种可塑响应的探测器为基础，该团队基于子像素结构在单元像素内嵌入不同响应权重，证明了机器视觉系统的高效性，可在～0.3噪声强度下快速收敛至0.96识别率。同时，由于这类系统避免了现有数字成像和解析系统中模拟和数字信号之间的转换，它可以在10ns内完成对目标的超快识别。而南京大学缪峰教授团队和美国马萨诸塞大学杨建华教授则在Sci.Adv.,2020,6,eaba6173中合作提出了一种基于正负光电导响应的视觉图像传感器。该器件通过外部栅压调节WSe2沟道内光生载流子在hBN和Al2O3介质中的束缚，从而引起光栅效应和正负光电导，具有较高的响应灵敏度。利用不同像素间可调的正负光电导响应灵敏度，可在传感器中嵌入不同的卷积核，实现如对比增强、DOG(difference of gaussian)、边缘增强等卷积图像预处理效果。
目前，已有视觉传感器方案均依赖于对成像探测单元响应灵敏度的调节，以模拟神经网络中的突触权重。但这种方案在成像时，需要对像素权重进行反复调节，以完成对特定目标的分类、识别功能，在不同场景下的通用性不足。其子像素结构也不利于提高空间分辨率和信噪比。与之对比，卷积类图像传感器不依赖于特定的外部训练获得响应权重，仅依据不同的目标预处理功能应用具有特定权重组合的卷积核，在模仿视网膜的部分信息预处理功能上具有更好的通用性。然而，目前利用探测单元响应灵敏度模拟突触权重的方式在实现单副卷积成像时，降低了像素有效密度(比例系数为卷积核大小的平方)。如果需要获得完整的像素阵列成像，则需要对卷积核权重中心进行多次刷新，但这一过程中的时间差会导致成像失真问题。从这一角度考虑，现有方案对高分辨率成像系统的集成和信号读出是极大挑战，也严重限制了其成像效率，影响系统的决策和反馈能力。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种卷积视觉图像传感器，其目的在于将相邻像素结构中的探测单元采集的电信号传递至本像素结构中，利用信号调制单元赋予本像素结构与相邻像素结构获取到的电信号不同的卷积权重，卷积加权后获得本像素结构的实际像素信号，由此解决目前利用探测单元响应灵敏度模拟突触权重的方式和依赖的栅压调控方法使其在成像时需要对近邻像素响应灵敏度进行多次刷新，以获得单副卷积成像的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种卷积视觉图像传感器，包括像素阵列，该像素阵列包括若干个像素结构，每个像素结构包括探测单元和N个信号调制单元；位于同一个像素结构中的所述N个信号调制单元包括与该像素结构中的探测单元连接的第一信号调制单元，和与相邻的像素结构中的探测单元连接的第二信号调制单元；所述N个信号调制单元以并联形式电连接后汇合形成该像素结构的输出电路，N≥2；
所述探测单元用于将探测到的光信号转换为电信号并将该电信号传递至与其连接的信号调制单元，所述第一信号调制单元用于将其像素结构获取到的电信号进行正负增益放大得到第一权重电流信号，所述第二信号调制单元用于将相邻的像素结构获取到的电信号进行正负增益放大得到第二权重电流信号，所述输出电路用于将所述第一权重电流信号与第二权重电流信号进行卷积加权后输出该像素结构的像素信号。
优选地，所述信号调制单元包括由下至上的金属连接电极、底栅介质层、晶体管沟道层、金属接触电极、顶栅介质层和顶栅电极；通过金属连接电极将探测单元与信号调制单元进行连接。
优选地，所述晶体管沟道层的材料为双极性半导体薄膜，所述顶栅介质层为铁电介质层，所述底栅介质层为绝缘材料；通过铁电介质层内的剩余极化实现信号调制单元在P型和N型之间的转变和记忆性调制，从而实现电信号的正负增益放大。
优选地，所述晶体管沟道层的材料为硒化钨、碲化钼、磷化硼、黑磷和硒化钯中的一种；所述顶栅介质层的材料为偏氟乙烯-三氟乙烯共聚物、锆钛酸铅、铪锆氧中的一种；所述底栅介质层的材料为二氧化硅、氧化锆、PMMA中的一种。
优选地，所述顶栅介质层为绝缘材料；通过持续顶栅电压的施加实现电信号的正负增益放大。
优选地，所述探测单元为PN结式探测单元、肖特基结式探测单元或光电导式结构的探测单元，所述探测单元的材料为硫化钼、氮化镓、锗、砷化镓和黑磷中的一种。
优选地，一个像素结构中包括1个探测单元和9个信号调制单元，9个信号调制单元以3行和3列的阵列方式设置，位于中央的1个为与该像素结构的探测单元连接的第一信号调制单元，其余8个为分别与相邻的8个像素结构的各探测单元连接的第二信号调制单元。
优选地，通过金属连接电极将探测单元与信号调制单元进行连接时，其连接方式包括边界连接方式或对角连接方式，所述边界连接方式为多个金属连接电极设置在同一平面，多个金属连接电极在该平面上的投影无重合，所述对角连接方式为多个金属连接电极分别设置在不同的平面，多个金属连接电极在同一平面上的投影有重合，投影重合位置处不同平面的金属电极之间无接触。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
(1)本发明中采用将探测单元和N个信号调制单元集成于一个像素结构中，该N个信号调制单元不仅与本像素结构中的探测单元连接，还与相邻像素结构中的探测单元连接。从而可以将相邻像素结构中的探测单元获取到的电信号实时传递至本像素结构中，利用信号调制单元赋予了本像素结构和相邻像素结构获取到的电信号不同的卷积权重，利用输出电路对不同权重的电信号进行卷积加权后获得本像素结构的实际像素信号。当本发明中将该N个信号调制单元以并联形式电连接后汇合形成该像素结构的输出电路时，并联电路的总电流等于各支路电流之和，并联之后电流信号可以实现实时地直接加权加和；从而实现了像素结构的卷积加权的过程。避免了目前卷积成像时对像素响应权重需要多次更新的问题。
由此，本发明的卷积图像传感器可将卷积核权重本地寄存于信号调制单元，提升了成像效率。该图像传感器避免了传统传感器中的模拟-数字信号转换，因此，这种卷积图像传感器具有更高的信号处理速度，适用于高速视觉传感器和机器视觉系统。
(2)本发明中采用铁电介质层对其沟道导电类型调节，以铁电介质层内的剩余极化实现其在P和N型间转变和记忆性调制，从而获得信号放大增益在正负区间内的调节，模拟神经网络中的突触权重，通过信号调制单元的增益调节，可实现对卷积核的实时切换，获得对图像信息的实时特征增强功能。同时，由于铁电材料具有非挥发长期保持的特性，使得本发明中的顶栅介质层采用铁电介质层时能够实现对顶栅电极施加脉冲电压即可对其沟道导电类型进行调节，无需持续保持栅压，大幅降低系统功耗。
附图说明
图1是本发明实施例提供的卷积视觉图像传感器功能层结构示意图；
图2是图1中本发明实施例提供的卷积视觉图像传感器的单个像素结构内探测单元和信号调制单元的集成结构剖面图；
图3中(a)是本发明实施例提供的以铁电极化调节信号调制单元放大正增益的示意图；图3中(b)是本发明实施例提供的以铁电极化调节信号调制单元放大负增益的示意图，图3中(c)是本发明实施例提供的以铁电极化调节信号调制单元放大正增益的工作原理图；图3中(d)是本发明实施例提供的以铁电极化调节信号调制单元放大负增益的工作原理图；
图4是图1所示卷积视觉图像传感器的不同功能层内的布局和连接示意图；
图5是图1所示卷积视觉图像传感器的在探测层内用于实现像素间响应传递的连接图。
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：
101-感应层；102-信号调制层；103输出层；104-像素结构；105-探测单元；106-信号调制单元；106a-第一信号调制单元；106b-第二信号调制单元；107-卷积权重；201-金属连接电极；202-底栅介质层；203-晶体管沟道层；204-金属接触电极；205-顶栅介质层；206-顶栅电极。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供了一种卷积视觉图像传感器，参见图1，包括像素阵列，该像素阵列包括若干个像素结构104，每个像素结构104包括探测单元105和N个信号调制单元106；位于同一个像素结构104中的所述N个信号调制单元106包括与该像素结构104中的探测单元105连接的第一信号调制单元106a，和与相邻的像素结构104中的探测单元105连接的第二信号调制单元106b；所述N个信号调制单元106以并联形式电连接后汇合形成该像素结构104的输出电路，N≥2；所述探测单元105用于将探测到的光信号转换为电信号并将该电信号传递至与其连接的信号调制单元106，所述第一信号调制单元106a用于将其像素结构104获取到的电信号进行正负增益放大得到第一权重电流信号，所述第二信号调制单元106b用于将相邻的像素结构104获取到的电信号进行正负增益放大得到第二权重电流信号，所述输出电路用于将所述第一权重电流信号与第二权重电流信号进行卷积加权后输出该像素结构104的像素信号。
具体地，N个信号调制单元106构成阵列时以信号调制单元将近邻像素内的探测单元按卷积核矩阵方式相互连接。其成像工作时，探测单元实现光信号至电压信号的转换并将信号传递至N个信号调制单元106，经与卷积核矩阵对应的权重调制后汇总输出为电流或电压信号，作为像素输出。当本发明中将该N个信号调制单元以并联形式电连接后汇合形成该像素结构的输出电路时，并联电路的总电流等于各支路电流之和，并联之后电流信号可以实现实时地直接加权加和，当本发明中将该N个信号调制单元以串联形式电连接后汇合形成该像素结构的输出电路时，串联电路的总电压等于各电压之和，串联之后电压信号可以实现实时地直接加权加和；从而实现了本像素结构的卷积加权的过程。
继续参见图1，本实施例提供的卷积视觉图像传感器可以理解为多层构成，光信号经感应层101响应后，在信号调制层102完成对近邻像素响应的卷积加权，最终在输出层103形成图像信号输出。卷积权重107通过调制单元106内对应晶体管的不同放大增益来体现。工作时，A-I像素响应经过调制单元106调制后汇入同一电极输出，以模拟卷积运算。
参见图2，所述信号调制单元106包括由下至上的金属连接电极201、底栅介质层202、晶体管沟道层203、金属接触电极204、顶栅介质层205和顶栅电极206；通过金属连接电极201将探测单元105与信号调制单元106进行连接。所述晶体管沟道层203的材料为双极性半导体薄膜，所述顶栅介质层205为铁电介质层，所述底栅介质层202为绝缘材料；通过铁电介质层内的剩余极化实现信号调制单元106在P型和N型之间的转变和记忆性调制，从而实现电信号的正负增益放大。
具体地，所述晶体管沟道层203的材料为硒化钨、碲化钼、磷化硼、黑磷和硒化钯中的一种；所述顶栅介质层205的材料为偏氟乙烯-三氟乙烯共聚物、锆钛酸铅、铪锆氧中的一种；所述底栅介质层202的材料为二氧化硅、氧化锆、PMMA中的一种。
所述顶栅介质层205为绝缘材料；通过持续顶栅电压的施加实现电信号的正负增益放大。
所述探测单元105为PN结式探测单元、肖特基结式探测单元或光电导式结构的探测单元，所述探测单元105的材料为硫化钼、氮化镓、锗、砷化镓和黑磷中的一种。
在制备过程中，以标准半导体工艺自下而上分别构造探测单元105、金属连接电极201、底栅介质层202、晶体管沟道层203、金属接触电极204、顶栅介质层205和顶栅电极206。例如，以单晶硅为基底，通过掩模和扩散掺杂工艺构造PN结式探测单元105，在其上侧以金属连接电极201将光响应电信号连接至近邻像素内的信号调制单元106；进一步，在其上层依次构造底栅介质层202、WSe2双极性半导体沟道层203和金属接触电极204，形成晶体管以将光响应电压进行调制输出；继而，通过旋涂工艺继续构建P(VDF-TrFE)铁电介质层205，在其上表面利用光刻和溅射沉积工艺制备顶栅电极206。
图3中(a)-(d)示出了图1所示传感器阵列中信号调制单元106对探测单元105响应光电压的调制原理。为了在调制单元中模拟正负卷积权重，该图像传感器在工作时，以顶栅脉冲电压301、304对铁电介质层内的极化307、308进行翻转，从而调制单元内晶体管沟道P、N导电类型，使其在底栅调制下的转移曲线呈现正增益309或负增益310。此时，光响应电压302、305作用于信号调制单元，分别使输出电流增加303或下降306。
一个像素结构104中包括1个探测单元105和9个信号调制单元106，9个信号调制单元106以3行和3列的阵列方式设置，位于中央的1个为与该像素结构104的探测单元105连接的第一信号调制单元106a，其余8个为分别与相邻的8个像素结构104的各探测单元105连接的第二信号调制单元106b。
通过金属连接电极201将探测单元105与信号调制单元106进行连接时，其连接方式包括边界连接方式或对角连接方式，所述边界连接方式为多个金属连接电极设置在同一平面，多个金属连接电极在该平面上的投影无重合，所述对角连接方式为多个金属连接电极分别设置在不同的平面，多个金属连接电极在同一平面上的投影有重合，投影重合位置处不同平面的金属电极之间无接触。
为了说明相邻像素响应的卷积加权方式，以下进一步通过图4对图1中像素结构进行说明。如图4所示，每个像素结构由探测层401、信号调制层402、顶栅层403构成。图中404所示区域代表为像素A尺寸，包括探测单元408和金属连接405、406。其中，金属连接406进一步延伸至近邻像素内的电极407，以将A像素响应传递至近邻像素用于后续信号加权。相对地，像素A内也包含了从近邻像素延伸而来的金属电极409、410等。在构造阵列时，可采用图5所示连接结构完成近邻像素间的响应信号传递。对于任意相邻的像素A和E，其相互间的信号传递通过一对金属连接501和502完成。特别的，对于图5所示阵列，包含两类连接方式，即边界连接504和对角连接503。其中边界连接因无相互交叉，可在同一层内完成，而对角连接由于存在交叉，可采用通孔工艺在上下两层内完成。
如图4所示，在信号调制层402，调制晶体管411、412、413分别与探测层401内金属连接端点405、407、409等对应，使光响应电压通过电容耦合方式调制晶体管沟道阈值电压和电导。其中，411、413栅压调制输入来自405、407，对应于像素404的光响应电压。而412栅压输入409来自近邻像素光响应电压。对于本实施例中的3x3卷积核，其像素区域内共有9个调制晶体管，为了完成卷积加权，像素A区域404内的所有信号调制晶体管以并联形式连接，使其调制信号汇总作为像素输出。按照本发明所构造的卷积图像传感器阵列在顶栅层403设置了与信号调制层402内调制晶体管对应的顶栅电极，从而以图3工作原理，以顶栅脉冲电压301、304改变调制晶体管增益。
需要说明的是，上述卷积图像传感器内卷积核尺寸也可拓展为不同大小(如2x2，4x4等)或串联应用多个信号调制层402、403来模拟多层卷积神经网络的功能。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：操作高动态范围像素电路以达到高精确度的方法