阅读说明：本技术 一种3d堆叠式图像传感器 (3D heap image sensor ) 是由 李琛 段杰斌 郭奥 郭令仪 左青云 沈灵 于 2019-08-19 设计创作，主要内容包括：本发明公开的一种3D堆叠式图像传感器,包括上层像素衬底和下层处理衬底,其中,所述上层像素衬底包括像素阵列,所述下层处理衬底包括人工智能算法模块,且所述上层像素衬底和下层处理衬底连通；所述人工智能算法模块包括逻辑算法单元和乘加矩阵加速处理单元,且所述乘加矩阵加速处理单元的输出端口连接所述逻辑算法单元的输入端口；所述像素阵列中的像元连接所述逻辑算法单元的输入端口或乘加矩阵加速处理单元的输入端口,所述逻辑算法单元的输出端口输出分析信息。本发明提供的一种3D堆叠式图像传感器,通过将乘加矩阵加速处理单元所在的人工智能算法模块与像素阵列集成在一起,使得图像传感器集成度高,功耗小,运算速度快,能效高。(The invention discloses a 3D stacked image sensor, which comprises an upper layer pixel substrate and a lower layer processing substrate, wherein the upper layer pixel substrate comprises a pixel array, the lower layer processing substrate comprises an artificial intelligence algorithm module, and the upper layer pixel substrate is communicated with the lower layer processing substrate; the artificial intelligence algorithm module comprises a logic algorithm unit and a multiplication and addition matrix acceleration processing unit, and an output port of the multiplication and addition matrix acceleration processing unit is connected with an input port of the logic algorithm unit; and the pixels in the pixel array are connected with the input port of the logic algorithm unit or the input port of the multiplication and addition matrix acceleration processing unit, and the output port of the logic algorithm unit outputs analysis information. According to the 3D stacked image sensor provided by the invention, the artificial intelligence algorithm module where the multiplication and addition matrix acceleration processing unit is located is integrated with the pixel array, so that the image sensor is high in integration level, low in power consumption, high in operation speed and high in energy efficiency.)

一种3D堆叠式图像传感器

技术领域

本发明涉及图像传感器领域，具体涉及一种3D堆叠式图像传感器。

背景技术

随着汽车智能化和安全性的不断提高，各类车载传感器获得了巨大发展，需求量与日俱增。目前车载图像传感器按照应用分为三个领域：1.汽车控制，利用3D相机或2D相机实现对驾驶员的手势识别及驾驶状态监测等。2.ADAS(Advanced Driver AssistantSystem高级驾驶辅助系统)，是利用安装在车上的各式各样传感器，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。3.车内外实时监测显示，利用相机系统实现车外场景显示等功能，帮助驾驶员实时了解车外环境，消除车外盲区、死角，提高驾驶安全。近年来，得益于汽车市场的持续发展和汽车电子技术的不断进步，车载传感器市场增长迅猛，预测未来车载图像传感器市场复合年均增长率将保持25.6％的增速。

近年来，随着AI技术井喷式的发展，搭载AI技术的图像传感器芯片也日益成为业界研究的热点。2017年，KAIST在ISSCC上发表的一篇论文提出了一款具备AI人脸识别功能的单片图像传感器芯片。这款芯片将人脸识别处理芯片和图像传感器集成为一块芯片，大大提高了人脸识别的速度和精度，另外由于在原始数据级即完成了人脸识别判断，大大减少了输出数据，减少了芯片输出管脚，大大降低了人脸识别芯片的应用难度，另外也非常适合产品的小型化。2018年，日本CIS厂商SONY在ISSCC上发表了一篇论文提出一款采用3D芯片堆叠技术，具备AI模式识别功能的单片图像传感器芯片。其具有智能模式识别拍摄场景的功能，可以根据识别的场景进而调整图像传感器的帧率、分辨率、曝光时间等参数。采用该技术，模式判断在图像传感器上即可完成，大大减少了向后输出的数据，减小了后续处理芯片的应用难度。另外通过采用3D堆叠技术，将AI处理器与图像传感器融合为一块芯片，有效提高了芯片的速度，并减小了功耗，另外也大大减少了芯片应用产品的体积。

目前，利用AI技术进行疲劳驾驶预警及手势识别需要一颗额外的AI处理芯片，这必然影响最终产品体积和产品设计难度。如果能将图像传感器和AI处理芯片集成在一块芯片上，将极大提高产品的竞争力。

发明内容

本发明的目的是提供一种3D堆叠式图像传感器，通过将乘加矩阵加速处理单元所在的人工智能算法模块与像素阵列集成在一起，形成3D集成芯片，使得图像传感器集成度高，功耗小，运算速度快，能效高。

为了实现上述目的，本发明采用如下技术方案：一种3D堆叠式图像传感器，包括上层像素衬底和下层处理衬底，其中，所述上层像素衬底包括像素阵列，所述下层处理衬底包括人工智能算法模块，且所述上层像素衬底和下层处理衬底连通；

所述人工智能算法模块包括逻辑算法单元和乘加矩阵加速处理单元，且所述乘加矩阵加速处理单元的输出端口连接所述逻辑算法单元的输入端口；所述像素阵列中的像元连接所述逻辑算法单元的输入端口或乘加矩阵加速处理单元的输入端口，所述逻辑算法单元的输出端口输出分析信息；

所述像素阵列中产生的像素信号传输至逻辑算法单元或乘加矩阵加速处理单元中进行逻辑运算或AI运算，且经过AI运算的像素信号传输至所述逻辑算法单元，所述逻辑算法单元用于对像素信号进行智能分析，并输出分析信息。

进一步地，所述人工智能算法模块还包括存储单元，所述存储单元同时连接所述逻辑算法单元和乘加矩阵加速处理单元。

进一步地，所述存储单元为非易失性磁性随机存储器。

进一步地，所述逻辑算法单元包括A个功能子单元，A为大于0的整数。

进一步地，所述乘加矩阵加速处理单元为阻变式存储器或者相变存储器形成的交叉矩阵。

进一步地，所述乘加矩阵加速处理单元包括M层神经网络，且上一层神经网络的输出端口连接下一层神经网络的输入端口，直至最后一层神经网络的输出端口连接所述逻辑算法单元；M为大于0的整数。

进一步地，所述上层像素衬底还包括焊盘，所述焊盘和下层处理衬底通过穿透硅的深孔3D键合或者混合3D键合进行连通。

进一步地，所述穿透硅的深孔3D键合的尺寸为0.5～10um，所述混合3D键合的尺寸为0.5～5um。

进一步地，所述下层处理衬底还包括行列地址译码模块、可编程增益放大器模块，模数转换器模块、数模转换器模块、片上温度传感器模块、上电复位模块、电流电压基准模块、锁相环模块、功率控制模块、小阵列存储模块、控制芯片工作及时序产生模块、人工智能算法模块和移动产业处理器接口MIPI模块。

进一步地，所述像素阵列包括有效像元、冗余像元、暗像元和参考像元。

本发明的有益效果为：本发明将像素阵列与处理衬底集成在一起，形成3D集成芯片，该3D集成芯片即能实现图像传感，又能在片上集成人工智能算法模块，具有集成度高的优点；本发明中存储单元为非易失性磁性随机存储器，与CMOS工艺兼容性高；本发明中乘加矩阵加速处理单元采用RRAM或者PCM，不仅与CMOS工艺兼容，而且与传统的基于CMOS单元库进行的AI乘加矩阵运算相比，具有集成度高，功耗低，运算速度快，能效高的优势。

附图说明

附图1为本发明图像传感器的集成示意图。

附图2为上层像素衬底的示意图。

附图3为像素阵列的示意图。

附图4为下层处理衬底的示意图。

附图5为RRAM或PCM形成的交叉矩阵的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

本发明提供的一种3D堆叠式图像传感器，如图1所示，包括上层像素衬底(Toplayer)和下层处理衬底(Bottom layer)，其中，上层像素衬底包括像素阵列，下层处理衬底包括人工智能算法模块，且上层像素衬底和下层处理衬底连通。人工智能算法模块包括逻辑算法单元和乘加矩阵加速处理单元，且乘加矩阵加速处理单元的输出端口连接逻辑算法单元的输入端口；像素阵列中的像元连接逻辑算法单元的输入端口或乘加矩阵加速处理单元的输入端口，逻辑算法单元的输出端口输出分析信息。像素阵列中产生的像素信号传输至逻辑算法单元或乘加矩阵加速处理单元中分别进行逻辑运算或AI运算，且经过AI运算的像素信号传输至逻辑算法单元，逻辑算法单元用于对初始像素信号(像素阵列直接产生的像素信号)和经过AI运算的像素信号进行智能分析，并输出分析信息。其中，。

如图2所示，上层像素衬底(上层像素Wafer)还包括焊盘(PAD)，且上层像素衬底中PAD和下层处理衬底连通；像素阵列中各个像元产生的像素信号通过PAD引出，其中，部分像素信号需要进行AI运算，其被传输至乘加矩阵加速处理单元的输入端口，部分像素信号不需要进行AI运算，可以在逻辑算法单元中进行传统运算，其被传输至逻辑算法单元的输入端口。经过AI运算之后的像素信号传输至逻辑算法单元，逻辑算法单元用于对像素信号进行智能分析，并输出分析信息。上层像素衬底中PAD以及下层处理衬底中逻辑算法单元或乘加矩阵加速处理单元的输入端口通过穿透硅的深孔3D键合(TSV PAD 3D bonding)或混合3D键合(Hybrid 3D bonding)进行连通。其中，TSV(Through Silicon Via)PAD 3D bonding尺寸为0.5～10um，优选为2um；Hybrid 3D bonding尺寸为0.5～5um，优选为1.5um，这里的尺寸指的是TSV PAD 3D bonding或Hybrid 3D bonding在上层像素衬底和下层处理衬底中所占的区域的长和宽，TSV PAD 3D bonding或Hybrid 3D bonding优选为正方形，此时，上述尺寸指的是正方形的边长。其中，图2中尺寸为其中一个实施例的优选尺寸，并不构成对本发明上层像素衬底的限定。

如图3所示，像素阵列包括有效像元(Active Pixel)、冗余像元(Dummy Pixel)、暗像元(Dark Pixel)、参考像元(Reference Pixel)等，其中各个像元的排列位置可参照现有技术进行设定；优选地，上述像元均采用标准的RGGB方式进行排列。其中，图3中像素像元的排列只是其中一种排列方式，并不构成对本发明保护范围的限定。

如附图4所示，为下层处理衬底(下层像素Wafer)的示意图，下层处理衬底包括行列地址译码模块(Row decoder/column decoder)、可编程增益放大器模块(PGA)，模数转换器模块(ADC)、数模转换器模块(DAC)、片上温度传感器模块、上电复位模块、电流电压基准模块、为芯片产生时钟的锁相环模块(PLL)、功率控制模块(PM)、小阵列存储模块(Efuse)、控制芯片工作及模拟IP时序生成的时序产生模块、处理图像数据的人工智能算法模块、移动产业处理器接口MIPI模块(MIPI)等，其中，片上温度传感器模块、上电复位模块、电流电压基准模块、控制芯片工作及模拟IP时序生成的时序产生模块由于尺寸过小，未在图中标出。下层处理衬底中除人工智能算法模块以外的各个模块均为现有模块，其实现方式以及功能均属于现有技术，在此不做详细介绍。其中，图4中尺寸为其中一个实施例的优选尺寸，并不构成对本发明下层处理衬底的限定。

请继续参阅附图4，本发明中人工智能算法模块包括逻辑算法单元、存储单元和乘加矩阵加速处理单元，且乘加矩阵加速处理单元的输出端口连接逻辑算法单元的输入端口；像素阵列中的像元连接逻辑算法单元的输入端口或乘加矩阵加速处理单元的输入端口，逻辑算法单元的输出端口输出分析信息；存储单元同时连接逻辑算法单元和乘加矩阵加速处理单元。

逻辑算法单元用于提供各类人工智能算法，例如可以通过智能CMOS图像传感器实现驾驶舱近红外3D信息的智能采集与处理，通过人工智能算法实现驾驶员疲劳驾驶预警、危险行为预警、人脸识别、手势识别等方面的智能分析与控制。当本发明中图像传感器为车载图像传感器时，逻辑算法单元中功能子单元可以为4个，包括人脸识别子单元，疲劳驾驶预警子单元，手势识别子单元和危险行为预警子单元，这些子单元均可以通过工艺厂提供的单元库来实现。当本发明中图像传感器用于其他场景时，逻辑算法单元中的功能子单元可以根据具体需求进行替换，以适应不同的场景。这里的功能子单元均通过现有工艺直接提供，以进行简单的逻辑分析。

由于人工智能算法在处理数据时需要存储一部分图像、或者缓存一部分中间数据，通常这部分的存储功能通过DRAM(Dynamic Random Access Memory动态随机存取存储器)来完成，但是由于DRAM工艺与CMOS标准工艺无法兼容，因此在本发明中，采用MRAM(Magnetic Random Access Memory非易失性磁性随机存储器)来实现，MRAM是一种非易失性(Non-Volatile)的磁性随机存储器。它拥有静态随机存储器(SRAM)的高速读取写入能力，以及动态随机存储器的高集成度，而且基本上可以无限次地重复写入，因此非常适合于作为人工智能算法在处理数据时用于存储或者缓存。重要的是，MRAM工艺可以与CMOS工艺兼容。

乘加矩阵加速处理单元为阻变式存储器(RRAM，Resistive Random AccessMemory)或者相变存储器(PCM，Phase-Change Memory)形成的交叉矩阵。RRAM或者PCM可以形成一种交叉矩阵，乘加矩阵加速处理单元包括M层神经网络，且第一层神经网络的输出端口连接第二层神经网络的输入端口，第二层神经网络的输出端口连接第三层神经网络的输入端口，直至第M-1神经网络的输出端口连接第M层神经网络的输入端口，第M层神经网络的输出端口连接逻辑算法单元。如图5所示，面向冯诺依曼架构存算分离瓶颈，基于忆阻器交叉矩阵，非常自然地实现向量和矩阵乘法，以极低功耗实现信号并行计算，从而提供很高的数据吞吐率。在图5中，V是某一层神经网络输入端口所输入的数据，I是某一层神经网络输出端口所输出的数据，W是神经网络对应的权重，神经网络对应的权重可存储在RRAM或者PCM中，RRAM或者PCM可以存储单值(1bit)，也可以存储多值(2～10bit)，优选为6bit。神经网络对应的权重可以存储在RRAM或者PCM中，也可以先存储在MRAM中，在计算之前从MRAM导入到RRAM或者PCM上，具体权重的存储位置可以根据实际需要进行设定。由于神经网络计算有不同的层次，每个层次有对应的输入值、输出值和权重值。乘加矩阵加速处理单元将需要进行AI运算的像素信号通过神经网络进行AI运算，并将运算之后的结果传输至逻辑算法单元，具体输入、运算和输出如下：

对于第一层神经网络而言，输入值即为需要进行AI运算的原始像素信号，第一层神经网络的权重值预先存储在MRAM中，当像素信号在第一层神经网络中进行计算时，权重值从MRAM导入到RRAM或者PCM上，输出值传输至第二层神经网络；

对于第二层神经网络而言，输入值即为第一层神经网络的输出值，第二层神经网络的权重值预先存储在MRAM中，在计算第二层时从MRAM导入到RRAM或者PCM上，输出值传输至第三层神经网络；

对于第三层神经网络而言，输入值即为第二层神经网络的输出值，第三层神经网络的权重值预先存储在MRAM中，在计算第三层时从MRAM导入到RRAM或者PCM上，输出值输出至第四层神经网络；

以此类推，直到最后一层神经网络处理完毕，将最终的输出值(计算结果)输出至逻辑算法单元，AI运算结果结合像素阵列输出的像素信号以及逻辑算法单元中的各个功能子单元，可以实现像素信号的智能分析。

本发明将含有像素阵列的上层像素衬底与下层处理衬底通过穿透硅的深孔3D键合或者混合3D键合连通在一起，将图像产生和处理集成在一个芯片上，形成3D集成芯片，该3D集成芯片即能实现图像传感，又能在片上集成人工智能算法模块，具有集成度高的优点；本发明中存储单元为非易失性磁性随机存储器，与CMOS工艺兼容性高；本发明中乘加矩阵加速处理单元采用RRAM或者PCM，不仅与CMOS工艺兼容，而且与传统的基于CMOS单元库进行的AI乘加矩阵运算相比，具有集成度高，功耗低，运算速度快，能效高的优势。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。