阅读说明：本技术 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 (Imaging device and imaging method for simultaneously acquiring visible light and near infrared wave bands based on single image sensor ) 是由 朱凝 刘琼 魏波 郑晓明 邵军 汪洋 于 2019-09-27 设计创作，主要内容包括：本发明涉及一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法,该成像装置中用于图像传感器的彩色滤光片包含有多个滤光片排布单元,其滤光片排布单元在绿色以及近红外滤光片的抽样密度达到3/8,蓝色以及红色滤光片的抽样密度达到1/8时,能够同时获取物理反射的可见光以及激发的近红外光,获得了准确的彩色数据。在包含有该彩色绿光片的图像传感器前设置陷波滤波器进一步实现了成像的准确性。该成像装置应用于医学成像中,实现了对目标组织的高灵敏度。(The invention relates to an imaging device and an imaging method for simultaneously acquiring visible light and near infrared bands based on a single image sensor, wherein a color filter used for the image sensor in the imaging device comprises a plurality of filter arrangement units, and the filter arrangement units can simultaneously acquire physically reflected visible light and excited near infrared light when the sampling density of green and near infrared filters reaches 3/8 and the sampling density of blue and red filters reaches 1/8, so that accurate color data is acquired. The notch filter is arranged in front of the image sensor containing the color green light sheet, so that the imaging accuracy is further realized. The imaging device is applied to medical imaging, and high sensitivity to target tissues is realized.)

一种基于单图像传感器同时获取可见光与近红外波段的成像 装置及其成像方法

技术领域

本发明涉及光学成像领域，具体涉及一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法。

背景技术

吲哚菁绿(ICG)作为近红外显影剂在临床治疗上已经有较为广泛的应用。然而，近红外光人眼看不到，需要特殊的光学成像系统，以近红外荧光团为造影剂，当一种波长的近红外光照射外科手术视野时，手术视野发射出另外一种波长的近红外光，摄取这种发射的近红外光可以精确确定近红外荧光团的位置。在早期诊断或手术中，使用可见光照射，光到达人体组织及操作器械等处时，反射光经内窥镜通道到达相机的图像传感器，处理可见光信号能够清晰显像各种组织结构、操作位置等重要信息，因此同时获取并处理可见光及荧光显影剂的近红外信号将能满足精准定位组织的要求。在同时成像过程中，接收并处理可见光及近红外信号有使用双相机、双CCD相机、三相机等需双通道或三通道方法，但在时间或空间上的错位可能会影响成像效果，且设备的集成度与便携度较差。

发明内容

针对现有技术中存在的技术问题，本发明的首要目的是：提供一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法。基于上述目的，本发明至少提供如下技术方案：

一种用于图像传感器的彩色滤光片，其包括多个滤光片排布单元，所述多个滤光片排布单元按照在纵横方向上反复配置的方式排布，

所述滤光片排布单元包括依次间隔排列的第一滤光片排布子单元以及第二滤光片排布子单元，所述第一滤光片排布子单元以及所述第二滤光片排布子单元均在纵横方向上以两行两列的田格状排列形成；

所述第一滤光片排布子单元中，其包括一个第一滤光片、一个第二滤光片、一个第三滤光片以及一个第四滤光片；

所述第二滤光片排布子单元中，其包括两个第一滤光片以及两个第四滤光片；

所述第一滤光片以及所述第四滤光片分别选择绿色滤光片以及近红外滤光片中的一种，所述第二滤光片以及所述第三滤光片分别选择红色滤光片以及蓝色滤光片中的一种，所述第一滤光片与所述第四滤光片不相同，所述第二滤光片与所述第三滤光片不相同。

进一步的，所述第一滤光片是绿光滤光片，所述第二滤光片是红光滤光片，所述第三滤光片是绿光滤光片，所述第四滤光片是红外滤光片。

进一步的，所述第一滤光片是绿色滤光片，所述第二滤光片是蓝色滤光片，所述第三滤光片是红色滤光片，所述第四滤光片是红外滤光片。

进一步的，所述第一滤光片以及第四滤光片的抽样密度各占所述滤光片排布单元的3/8，所述第二滤光片以及所述第三滤光片的抽样密度各占所述滤光片排布单元的1/8。

一种基于单图像传感器同时获取可见光与近红外波段的成像装置，其包括图像传感器，所述图像传感器包括上述彩色滤光片。

进一步的，还包括光源以及陷波滤波器，所述光源发射的光包括激发光，所述陷波滤波器的阻挡波段对应于所述激发光波段。

进一步的，所述光源发射的光信号经所述陷波滤波器之后传输至所述图像传感器。

进一步的，所述成像装置用于医学成像。

一种基于单图像传感器同时获取可见光与近红外波段的成像方法，其包括：

波段涉及可见光以及荧光激发光的光信号传输至权利要求5-7的所述成像装置，所述成像装置同时接受并处理所述可见光以及所述荧光激发光的光信号，并对所述可见光以及所述荧光激发光去马赛克化、颜色校正以及融合后显示成像。

进一步的，所述成像方法用于医学成像。

与现有技术相比，本发明至少具有如下有益效果：

本发明的成像装置中用于图像传感器的彩色滤光片中包含有多个滤光片排布单元，该滤光片排布单元中绿色以及近红外滤光片的抽样密度达到3/8，蓝色以及红色滤光片的抽样密度达到1/8时，能够同时获取物理反射的可见光以及激发的近红外光，获得了准确的彩色数据。且在包含有该彩色绿光片的图像传感器前设置陷波滤波器进一步实现了成像的准确性。该成像装置应用于医学成像中，实现了对目标组织的高灵敏度。

附图说明

图1是传统的滤光片排布阵列。

图2是本发明基于单图像传感器同时获取可见光与近红外波段的成像装置示意图。

图3是本发明图像传感器的结构示意图。

图4是本发明一实施例的彩色滤光片阵列。

图5是采用本发明的单图像传感器同时接收并处理彩色信号以及近红外信号的图像处理流程图。

图6为包含传统色彩滤光片阵列的CCD拍摄的图片。

图7为本发明的成像装置拍摄的图片。

具体实施方式

下面来对本发明做进一步详细的说明。

图2是本发明基于单图像传感器同时获取可见光与近红外波段的成像装置示意图，本发明的成像装置可用于医学成像。如图所示，该成像装置包括透镜模块、图像传感器、图像处理模块、显示部以及控制模块。

光源包括可见光光源以及激发光光源，光源照射待测物体时，同时发射可见光以及激发光，待测物体反射可见光，并受激发光激发后发射荧光激发带。该实施例中以吲哚菁绿荧光试剂为例，选用785nm的激光作为激发光光源。使光源照射待测物体，光源中的激发光光源激发待测物体中的吲哚菁绿荧光试剂发射荧光激发带，荧光激发带的主波长不同于激光光源的波长。

待测物体反射的可见光以及待测物体发射的荧光激发带经透镜聚焦后传输至图像传感器中，图像传感器同时采集荧光信号以及可见光信号，并将光信号转换为电信号，将其传输至图像处理模块，经过图像处理模块将电信号转换为对应波长的图像，在显示部上显示，实现荧光与可见光图像的同时成像。

在本发明的实施例中，图像传感器为CCD图像传感器，该CCD图像传感器的结构如图3所示，其包括多晶硅电极1、光电二极管、抗反射层4、彩色滤光片以及微透镜阵列5，光电二极管包括N型硅层2以及P型硅层3。

本实施例图像传感器中的彩色滤光片包括有多个滤光片排布单元，多个滤光片排布单元按照在纵横方向上反复配置的方式排布，该滤光片排布单元包括依次间隔排列的第一滤光片排布子单元以及第二滤光片排布子单元，第一滤光片排布子单元以及第二滤光片排布子单元均在纵横方向上以两行两列的田格状排列形成。

第一滤光片排布子单元包括一个第一滤光片、一个第二滤光片、一个第三滤光片以及一个第四滤光片，该第一滤光片、第二滤光片、第三滤光片以及第四滤光片可以按照顺时针或逆时针顺序排布形成田格状的第一滤光片排布子单元。第二滤光片排布子单元包括两个第一滤光片以及两个第四滤光片，两个第一滤光片以及两个第四滤光片排布形成田格状的第二滤光片排布子单元。

第一滤光片以及第四滤光片分别选择绿色滤光片以及近红外滤光片中的一种。第二滤光片以及第三滤光片分别选择红色滤光片以及蓝色滤光片中的一种，所述第一滤光片与所述第四滤光片不相同，所述第二滤光片与所述第三滤光片不相同。

在一实施例中第一滤光片是绿光滤光片，第二滤光片是红光滤光片，第三滤光片是绿光滤光片，第四滤光片是红外滤光片；在另一实施例中第一滤光片是绿色滤光片，第二滤光片是蓝色滤光片，第三滤光片是红色滤光片，第四滤光片是红外滤光片。在另一实施例中，第一滤光片是红外滤光片，第二滤光片是蓝色滤光片，第三滤光片是红色滤光片，第四滤光片是绿色滤光片。

本发明的成像装置需要较高准确率的近红外数据，单色抽样密度越大越能够采集较多单色的抽样数据，其中红色滤光片的抽样密度占滤光片排布单元的1/8，绿色滤光片的抽样密度占滤光片排布单元的3/8，蓝色滤光片的抽样密度占滤光片排布单元的1/8，近红外滤光片的抽样密度占滤光片排布单元的3/8。绿色及近红外滤光片的抽样密度达到3/8，可以使用绿色图像作为指导图像(guide image)能够得到较为准确的彩色图像，近红外图像也会较为准确，图1是传统的彩色滤光片排布阵列，图4是本发明一实施例中的彩色滤光片排布阵列示意图。基于此的四色滤光片排布阵列单元可以满足近红外数据的高准确率。

光信号经透镜聚焦之后传输至CCD图像传感器之前，设置相应波长的陷波滤波器，在该实施例中，选用与吲哚菁绿荧光试剂激发光波长相对应的陷波滤波器，该陷波滤波器的阻挡波段为765-805nm的红外光。

图5为本发明图像传感器同时接收并处理彩色信号及近红外信号的图像处理流程图。如图所示，其包括三个连续过程：去马赛克化、颜色校正以及彩色与近红外图像的融合。去马赛克化是根据指导图像将各个单色的图像数据做插值处理，重建红绿蓝及近红外各个单色的完整图像，因为在每个像素中只有一个波段的图像数据；颜色校正是除去在彩色图像中的近红外光部分并建立标准彩色图像；图像融合是将处理完全的彩色图像与近红外图像融合，由于近红外光人眼无法看到，使用伪彩将近红外标记，共同与彩色图像显示。近红外荧光和反射的可见光同时捕获，可作为物理组织的参考，为医学成像提供了一种更加准确的方式。

如图6与图7，分别为相同实验环境下，使用传统四色均匀分布(即红、绿、蓝、近红外像素各占1/4)的单CCD拍摄图片与本发明所提出的色彩阵列单CCD拍摄图片的实验鼠图片，图6及图7中的(a)图(即左图)均为近红外图像，(b)图均为彩色图像。由图可知，该发明中所提出的图像传感器在近红外荧光成像上具有更加准确、清晰、对比度更高的优点。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。