阅读说明：本技术 根据宽带光谱图像生成窄带光谱图像 (Generating narrow-band spectral images from broadband spectral images ) 是由 A·雷茨 S·卡特兹 H·加巴伊 埃弗拉特·伊默 伊利亚胡·哈伊姆·阿什肯纳兹 于 2019-03-18 设计创作，主要内容包括：一种使利用光谱成像器获得的透射曲线变窄的系统和方法,其中,使用MEMS法布里-佩罗(FP)可调谐滤光器采集光谱图像。一种方法包括：获取与相应的MEMS FP标准具状态相关联的第一多个宽带光谱图像；以及将所述第一多个宽带光谱图像处理成第二多个窄带光谱图像。(A system and method for narrowing the transmission curve obtained with a spectral imager in which spectral images are acquired using a MEMS fabry-perot (FP) tunable filter. One method comprises the following steps: obtaining a first plurality of broadband spectral images associated with respective MEMS FP etalon states; and processing the first plurality of broadband spectral images into a second plurality of narrowband spectral images.)

根据宽带光谱图像生成窄带光谱图像

交叉引用

本申请要求于2018年3月18日提交的美国临时专利62/644538的优先权，其全部内容合并于此。

背景技术

小型可调谐滤光器包括诸如微机电系统(MEMS)法布里-佩罗滤光器(以下称为FP标准具)这样的MEMS滤光器。

越来越需要从包括FP标准具的光谱成像器提供窄带图像。

发明内容

可以提供用于从宽带光谱图像产生窄带光谱图像发方法、光谱成像器和计算机程序产品。从窄带光谱图像生成宽带光谱图像可以包括通过使用重构矩阵将一组线性变换应用于宽带光谱图像来构建窄带光谱图像。可以提供一种生成窄带光谱图像的方法，该方法可以包括：由可以包括可调谐滤光器的光谱成像器获取与可调谐滤光器的相应状态相关联的第一多个(N个)宽带光谱图像；并且由处理电路将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

当将重构矩阵乘以表示与可调谐滤光器的相应状态相关联的光谱响应的矩阵H时，可以得到稀疏矩阵，该稀疏矩阵理想地类似于与理想窄带(例如高光谱)滤光器相关联的单位矩阵。

所述第一多个宽带光谱图像中的各个宽带图像可以与具有相应的宽带半峰全宽(full width half maximum)值的相应的宽带透射曲线相关联；并且其中，第二多个窄带光谱图像中的各个窄带光谱图像可以与相应的窄带透射曲线相关联，所述相应的窄带透射曲线相关联具有比所述宽带透射曲线的宽带半峰全宽值小的窄带半峰全宽。

光谱成像器可以包括图像传感器，该图像传感器具有滤光器阵列，该滤光器阵列具有第三多个(C个)滤光器类型，其中，不同类型的滤光器之间，传递函数彼此不同；并且其中，C超过2。

C可以等于3，并且滤光器阵列可以是彩色滤光器阵列。

C可以等于3，并且滤光器阵列可以是红色、绿色和蓝色彩色滤光器阵列。

C可以等于4，并且滤光器阵列可以是红色、绿色，蓝色和红外滤光器阵列。

C可以等于4，并且滤光器阵列可以是红色、绿色，蓝色和白色滤光器阵列。

C可以等于3，并且滤光器阵列可以是红色、蓝色和白色的滤光器阵列。

该方法可以包括：应用扩展处理以根据第一多个宽带光谱图像生成第四多个(Q个)宽带光谱图像，并且将第四多个宽带光谱图像处理成第二多个窄带光谱图像；并且其中，Q超过N和M中的每一者。

Q与N之间的比可以是整数。

扩展处理可以是去马赛克处理。

扩展处理与去马赛克处理不同。

将第四多个宽带光谱图像处理成第二多个窄带光谱图像可以包括通过使用重构矩阵对第四多个宽带光谱图像进行线性变换来构建第二多个窄带光谱图像。

该方法可以包括通过使用重构矩阵来构建第二多个窄带光谱图像；并且其中，重构矩阵表示成本函数和与可调谐滤光器的相应状态相关联的光谱响应。

重构矩阵可以是基于吉洪诺夫矩阵来计算的。

吉洪诺夫矩阵可以是单位矩阵的倍数。

吉洪诺夫矩阵可能是低通算子。

可以从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

一组吉洪诺夫矩阵可以与一组重构矩阵相关联；其中，该组的不同重构矩阵可以与一个或更多个光谱成像器性能属性的不同值相关联。

一个或更多个光谱成像器性能属性可以包括信噪比。

一个或更多个光谱成像器性能属性可以包括分辨率。

重构矩阵可以等于(H^TH+Γ^TΓ)^-1H^T，其中，H可以是表示与可调谐滤光器的相应状态相关联的光谱响应的矩阵，并且Γ是吉洪诺夫矩阵。

另选地，重构矩阵可以包括O^TH[(H^TH+Γ^TΓ)^-1]^T，其中，O可以是通用矩阵。

该方法可以包括从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

该选择可以基于第一多个宽带光谱图像中的至少一个宽带光谱图像的至少一个特性。

至少一个特性可以是信噪比。

至少一个特性可以是分辨率。

该方法可以包括计算重构矩阵。

成本函数可以是吉洪诺夫矩阵。

吉洪诺夫矩阵可以是单位矩阵的倍数。

吉洪诺夫矩阵可能是低通算子。

该方法可以包括从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

一组吉洪诺夫矩阵可以与一组重构矩阵相关联；其中，该组的不同重构矩阵可以与一个或更多个光谱成像器性能属性的不同值相关联。

一个或更多个光谱成像器性能属性可以包括信噪比。

一个或更多个光谱成像器性能属性可以包括分辨率。

重构矩阵可以等于(H^TH+Γ^TΓ)^-1H^T，其中，H可以是表示与可调谐滤光器的相应状态相关联的光谱响应的矩阵，并且Γ是吉洪诺夫矩阵。

另选地，重构矩阵可以包括O^TH[(H^TH+Γ^TΓ)^-1]^T，其中，O可以是通用矩阵。

图像传感器可以是单色图像传感器。

可调谐滤光器可以是法布里-佩罗标准具。

可调谐滤光器可以是当在400-1000纳米的波长范围内获取第一批多个宽带光谱图像时可以工作的单个法布里-佩罗标准具。

方法还可以包括显示M个窄带光谱图像中的一个或更多个窄带光谱图像。

可以提供一种光谱成像器，该光谱成像器可以包括可调谐滤光器和传感器；其中，传感器可以被配置为获取与可调谐滤光器的相应状态相关联的第一多个(N个)宽带光谱图像；以及

处理电路，该处理电路可以被配置为将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

所述第一多个宽带光谱图像中的各个宽带图像可以与具有相应的宽带半峰全宽值的相应的宽带透射曲线相关联；并且其中，第二多个窄带光谱图像中的各个窄带光谱图像可以与相应的窄带透射曲线相关联，所述相应的窄带透射曲线相关联具有比所述宽带透射曲线的宽带半峰全宽值小的窄带半峰全宽。

光谱成像器可以包括图像传感器，该图像传感器具有滤光器阵列，该滤光器阵列具有第三多个(C个)滤光器类型，其中，不同类型的滤光器之间的传递函数彼此不同；并且其中C超过2。

C可以等于3，并且滤光器阵列可以是彩色滤光器阵列。

C可以等于3，并且滤光器阵列可以是红色、绿色和蓝色彩色滤光器阵列。

C可以等于4，并且滤光器阵列可以是红色、绿色、蓝色和红外滤光器阵列。

C可以等于4，并且滤光器阵列可以是红色、绿色、蓝色和白色滤光器阵列。

C可以等于3，并且滤光器阵列可以是红色、蓝色和白色的滤光器阵列。

处理电路可以被配置为应用扩展处理以根据第一多个宽带光谱图像生成第四多个(Q个)宽带光谱图像，并且将第四多个宽带光谱图像处理成第二多个窄带光谱图像；并且其中，Q超过N和M中的每一者。

Q与N之间的比可以是整数。

扩展处理可以是去马赛克处理。

扩展处理与去马赛克处理不同。

处理电路可以被配置为通过使用重构矩阵对第四多个宽带光谱图像进行线性变换来构建第二多个窄带光谱图像。

处理电路可以被配置为通过使用重构矩阵来构建第二多个窄带光谱图像；其中，重构矩阵表示成本函数和与可调谐滤光器的相应状态相关联的光谱响应。

重构矩阵可以是基于吉洪诺夫矩阵来计算的。

吉洪诺夫矩阵可以是单位矩阵的倍数。

吉洪诺夫矩阵可能是低通算子。

可以从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

一组吉洪诺夫矩阵可以与一组重构矩阵相关联；其中该组的不同重构矩阵可以与一个或更多个光谱成像器性能属性的不同值相关联。

一个或更多个光谱成像器性能属性可以包括信噪比。

一个或更多个光谱成像器性能属性可以包括分辨率。

重构矩阵可以等于(H^TH+Γ^TΓ)^-1H^T，其中，H可以是表示与可调谐滤光器的相应状态相关联的光谱响应的矩阵，并且Γ是吉洪诺夫矩阵。

另选地，重构矩阵可以包括O^TH[(H^TH+Γ^TΓ)^-1]^T，其中，O可以是通用矩阵。

处理电路可以被配置为执行从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

该选择可以响应于第一多个宽带光谱图像中的至少一个宽带光谱图像的至少一个特性来进行。

至少一个特性可以是信噪比。

至少一个特性可以是分辨率。

处理电路可以被配置为计算重构矩阵。

成本函数可以是吉洪诺夫矩阵。

吉洪诺夫矩阵可以是单位矩阵的倍数。

吉洪诺夫矩阵可能是低通算子。

处理电路可以被配置为从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

一组吉洪诺夫矩阵可以与一组重构矩阵相关联；其中，该组的不同重构矩阵可以与一个或更多个光谱成像器性能属性的不同值相关联。

一个或更多个光谱成像器性能属性可以包括信噪比。

一个或更多个光谱成像器性能属性可以包括分辨率。

重构矩阵可以等于(H^TH+Γ^TΓ)^-1H^T，其中，H可以是表示与可调谐滤光器的相应状态相关联的光谱响应的矩阵，并且Γ是吉洪诺夫矩阵。

另选地，重构矩阵可以包括O^TH[(H^TH+Γ^TΓ)^-1]^T，其中，O可以是通用矩阵。

图像传感器可以是单色图像传感器。

可调谐滤光器可以是法布里-佩罗标准具。

可调谐滤光器可以是当在400-1000纳米的波长范围内获取第一批多个宽带光谱图像时可以工作的单个法布里-佩罗标准具。

可以提供一种生成窄带光谱图像的方法，该方法可以包括：通过可以包括可调谐光源的光谱成像器来获取与可调谐光源的相应状态相关联的第一多个(N个)宽带光谱图像；并且由处理电路将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

可以提供一种生成窄带光谱图像的方法，该方法可以包括：由处理电路接收第一多个(N个)宽带光谱图像；其中，所述N个宽带光谱图像由光谱成像器获取，所述光谱成像器可以包括可调谐滤光器；其中，所述N个宽带光谱图像可以与所述可调谐滤光器的相应状态相关联；并且由处理电路将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

可以提供一种生成窄带光谱图像的方法，该方法可以包括：由处理电路接收第一多个(N个)宽带光谱图像；其中，所述N个宽带光谱图像由光谱成像器采集，所述光谱成像器可以包括可调谐滤光器；其中，所述N个宽带光谱图像可以与所述可调谐滤光器的相应状态相关联；并且由所述处理电路将所述第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

可以提供一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储指令，在该指令由处理电路执行时使该处理电路接收第一多个(N个)宽带光谱图像；其中，所述N个宽带光谱图像由光谱成像器采集，所述光谱成像器可以包括可调谐滤光器；其中，所述N个宽带光谱图像可以与所述可调谐滤光器的相应状态相关联；并且将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

可以提供一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储指令，在该指令由可以包括光谱成像器和处理电路的设备执行时，使该设备通过可以包括可调谐滤光器的光谱成像器获取与可调谐滤光器的相应状态相关联的第一多个(N个)宽带光谱图像；并且由处理电路将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。

附图说明

下面参照在此段落之后列出的附图来描述本文公开的实施方式的非限制性示例。附图和说明意在例示和阐明本文公开的实施方式，并且不应以任何方式被认为是限制性的。不同附图中的相同元件可以由相同的附图标记表示。

图1示意性地例示了基于FP标准具的操作的已知光谱成像系统；

图2A示出了在本文公开的基于FP标准具的光谱成像系统的不同操作状态下获得的宽带系统响应的一半；

图2B示出了在本文公开的基于FP标准具的光谱成像系统的不同操作状态下获得的宽带系统响应的另一半；

图3以流程图示意性地示出了本文公开的方法的两个总体步骤；

图4A以流程图示意性地示出了用于具有彩色图像传感器的基于FP标准具的光谱成像器的本文公开的方法的更多细节；

图4B以流程图示意性地示出了用于具有单色图像传感器的基于FP标准具的光谱成像器的本文公开的方法的更多细节；

图5A示出了在将本文公开的方法应用于图2A至图2B的宽带系统响应之后获得的总系统响应的三分之一；

图5B示出了在将本文公开的方法应用于图2A至图2B的宽带系统响应之后获得的总系统响应的又三分之一；

图5C示出了在将本文公开的方法应用于图2A至图2B的宽带系统响应之后获得的总系统响应的再三分之一；

图6例示了方法的示例；

图7例示了方法的示例；

图8A例示了在对象与图像传感器之间设置了可调谐滤光器的系统的示例；

图8B例示了将可调谐滤光器设置在对对象照明的光源前面的系统的示例；以及

图8C例示了将第一可调谐滤光器设置在对对象照明的光源前面并且将第二可调谐滤光器设置在对象和图像传感器之间的系统的示例。

具体实施方式

对光谱成像器的任何引用都应适用于由光谱成像器执行的方法和/或存储指令的计算机程序产品，在该指令由光谱成像器执行时，将使光谱成像器执行该方法。

对方法的任何引用都应适用于被配置为执行该方法的光谱成像器和/或存储指令的计算机程序产品，在该指令由光谱成像器执行时，将使光谱成像器执行该方法。

对计算机程序产品的任何引用都应适用于由光谱成像器执行的方法和/或光谱成像器，该光谱成像器被配置为执行存储在非暂时性计算机可读介质中的指令。

术语“和/或”是附加地或另选地。

可以(a)使用金属单层涂层，或(b)使用多层介电涂层设计窄带FP标准具。

在一方面，由于金属涂层具有很高的吸收率，因此具有这种过滤涂层的FP标准具的透射实际上太低(～5％)。在另一方面，为了用多层介电涂层设计获得足够窄的透射带，涂层的层数必须很高(～22层)，从而导致涂层叠层厚，导致在MEMS基板上产生很高的残余应力并使其机械变形。

因此，由于涂层中总允许应力的限制，FP标准具上此类涂层的数量必须大大减少，与使用非MEMS法布里-佩罗滤光器中常用的显著较厚的基板可实现的透射带相比，不可避免地导致透射带变得较宽。

为了实现“高光谱”，可调谐滤光器需要提供非常窄带的透射曲线(例如，半峰全宽(FWHM)为1-10nm)。实际上，窄带FP标准具滤光器(并且特别是基于MEMS的滤光器)的透射曲线被限制为(约)在400-600nm波长范围内或(约)在600-900nm波长范围内工作，因为无法在不在透射曲线中引入高阶“斑块(blob)”的情况下在400-1000nm的宽波长范围内上使透射曲线变窄。

因此，需要并且期望具有基于MEMS FP标准具的光谱成像器，其在宽(例如400-1000nm)波长范围内提供窄带滤光器/透射曲线。

在下面的详细描述中，术语“宽带光谱”是指与具有等于或大于预定值(诸如但不限于50nm)的FWHM的单个带通滤光器或多带通滤光器的光谱类似(例如相等)的光谱，并且术语“窄带光谱”是指与具有小于预定值(诸如但不限于50nm)的FWHM的单个带通滤光器或多带通滤光器的光谱类似(例如相等)的光谱。当使用时，术语“窄带光谱”是指在FWHM上比宽带光谱窄了0-1nm、1-10nm、10-50nm、50–100nm以及甚至大于100nm的范围内的光谱。

使用诸如图1的光谱成像器这样的光谱成像器并且通过将宽带光谱图像转换为窄带光谱图像，可以在扩展的波长范围(例如400-1000nm)中获得窄带透射曲线甚至高光谱透射曲线。

使用仅提供宽带透射光谱(例如，FWHM大于约75-100nm的光谱)的FP标准具可以获得宽带光谱图像。可以使用本文公开的方法和处理将这些宽带光谱图像转换成窄带光谱图像甚至高光谱光谱图像。所提出的方法、光谱成像器和计算机程序产品提供了低价、高效(低吸收率)且高分辨率的光谱成像器。

FP标准具可以设计成使其每个状态产生的透射曲线的形式类似于多频带透射滤光器的形式，该透射曲线与滤光器的相邻状态的透射曲线部分交叠。FP标准具的每个状态提供具有给定形状的宽带光谱，从中可以获得包括多个混合波长的“宽带光谱图像”。在本文中公开了宽带光谱图像然后可被转换成一个或更多个较窄带的频谱(甚至高光谱)图像。该变换可包括通过操纵通过多频带传输曲线获得的图像数据，重建成像对象的辐射度(也称为“通量密度”和“辐照度”，并且以瓦特/平方米来表示)，如同通过一系列窄带滤光器获得一样。

在示例中，提供了一种方法，该方法可以包括：提供包括FP标准具的光谱成像器；获取与相应FP标准具状态相关联的第一多个(N个)宽带光谱图像；将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。N和M是正整数。

在示例中，第一多个的各个宽带图像与具有相应的宽带半峰全宽值FWHM_BB的相应的宽带透射曲线相关联，并且第二多个的各个窄带光谱图像与具有比FWHM_BB小的窄带半峰全宽FWHM_NB的相应的窄带透射曲线相关联。

在示例中，光谱成像器包括具有彩色滤光器阵列(CFA)的彩色图像传感器，该彩色滤光器阵列(CFA)具有第三多个(C个)滤光器类型。

在示例中，C＝3，第一多个包括N个宽带光谱图像并且该方法可以包括对图像应用扩展处理(诸如但不限于去马赛克)以获得第四多个(Q个)宽带光谱图像(例如3N个宽带光谱图像)I_1…3N并将宽带光谱图像I_1…3N处理成第二多个(M个)窄带光谱图像

M≤3N。

在示例中，C＝4，所述第一多个包括N个宽带光谱图像并且所述方法还包括对图像

应用去马赛克，以获得4N个宽带光谱图像I_1…4N，并将宽带光谱图像I_1…4N处理成M个窄带光谱图像

M≤4N。

在又一示例中，光谱成像器包括没有CFA的单色图像传感器，第一多个宽带光谱图像包括N个宽带光谱图像

并且该方法还包括将宽带光谱图像处理成M个窄带光谱图像M≤N。

图1例示了基于诸如例如FP标准具这样的可调谐滤光器的操作的光谱成像器的示例。

图1例示了光谱成像器100，其包括光学单元102和图像传感器104和控制系统105。

控制系统105包括控制单元106，控制单元106被配置用于与图像传感器104的读出电路进行数据通信以从中接收图像数据并处理所接收的数据。

光学单元102包括用作宽光谱滤光器108的可调谐滤光器，诸如可调谐色散单元/元件。

在示例中，可调谐色散单元/元件是具有宽透射峰的FP标准具。控制单元106包括数据输入工具和输出工具(未示出)、存储器模块106A和适于分析来自像素矩阵单元104的图像数据的分析器模块106B。

控制系统105还包括控制器107，该控制器107被配置为控制FP标准具108的调谐并提供关于可调谐参数的变化的数据。控制器可以是控制单元106的一部分，是单独模块，或是标准具108的一部分。

FP标准具的调谐旨在可控制地改变其光谱透射曲线(透射函数)，即旨在改变透过其的光的色散模式。在FP标准具的情况下，FP标准具108的可调谐参数是其反射表面之间的间隙。不同的间隙对应于不同的状态。

控制器107操作调谐过程，并提供关于可调谐参数的不同值的数据，例如gapi,...gapN，或提供关于标准具的相应透射函数的数据T_i,...T_N。FP标准具108示例性地沿着公共光轴位于成像透镜模块的前面，而图像传感器104位于与后焦面重合的成像面处。

诸如系统100这样的光谱成像系统可以提供N个不同的宽带图像，其是在不同的FP标准具状态(操作模式)下取得的。

系统100可以包括或在操作上连接到处理装置(包括诸如CPU、FPGA、ASIC、图像处理器等的硬件处理器)，该处理装置被配置为执行与如本文公开的从宽带图像生成窄带图像有关的操作。根据一个示例，该处理装置是控制单元106的一部分。根据另一示例，该处理装置是标准具108的一部分。根据又一示例，该处理单元是外部连接至系统100的某些其他计算机化装置的一部分。

图2A和图2B示出了在FP标准具的不同操作状态下并且使用彩色图像传感器(例如具有Bayer RGB CFA)获得的宽带系统响应的两半。

Bayer RGB CFA包括红色像素，蓝色像素和绿色像素。红色像素包括(或前面有)红色滤光器，绿色像素包括(或或前面有)绿色滤光器，蓝色像素包括(或或前面有)蓝色滤光器。

假设该FB标准具具有N个状态，则红色像素与N个不同传递函数，该N个不同传递函数与(a)红色滤光器的传递函数和(b)FB标准具的N个不同状态相关联。

假设该FB标准具具有N个状态，则绿色像素与N个不同传递函数，该N个不同传递函数与(a)绿色滤光器的传递函数和(b)FB标准具的N个不同状态相关联。

假设该FB标准具具有N个状态，则蓝色像素与N个不同传递函数，该N个不同传递函数与(a)蓝色滤光器的传递函数和(b)FB标准具的N个不同状态相关联。

光谱响应还由

表示，请参见以下等式(4)。在附图中例示的示例示出了用N＝20个标准具状态获得的60个光谱带。每个标准具状态可以具有不同的光谱响应，标记为R1,R2,…R20、G1,G2,…G20和B1,B2,…和B20.。

宽带且不对称的系统响应(光谱透射)对理想高光谱滤光器的相应不同，理想高光谱滤光器提供窄光谱(例如FWHM<50nm)和基本对称的带频谱响应。

如所提及的，本发明人已经确定图2A和图2B的宽带非对称透射曲线可以在扩展的波长范围(例如400-1000nm)中被转换成相对窄带透射曲线(以下称为“高光谱透射曲线”或“高光谱带”)。

当使用彩色图像传感器获得宽带透射曲线时，可以处理在光谱成像器的相应的N个法布里-佩罗标准具状态下获得的N个宽带光谱图像，以提供超过N个中间宽带图像。

用于生成超过N个中间宽带图像的扩展处理的非限制性示例是去马赛克处理。这仅是非限制性示例，并且与去马赛克处理不同的其他扩展处理可以用于生成超过N个中间宽带图像。扩展处理可以使用任何外推、内插、估计或评估操作。

为了简化说明，以下示例将引用去马赛克处理作为扩展处理。

在去马赛克算法可用于重构全分辨率的所有颜色通道。本文公开的方法适用于所有已知的CFA。例如，对于RGB Bayer CFA，可以如下应用去马赛克算法：对于图像的具有索引[m,n]的各个像素，重建与红色图像、绿色图像和蓝色图像对应的红色像素、绿色像素和蓝色像素作为相邻像素值(在所获取的图像的每个方向上多至2个像素远)的函数。

在去马赛克处理的以下示例中，应用五乘五个相邻像素的组的不同函数(针对红色图像的fR、针对绿色图像的fG和针对蓝色图像的fB)以生成不同的图像。

红色图像的像素标记为I_3k-2[m,n]。

绿色图像的像素标记为I_3k-1[m,n]。

蓝色图像的像素标记为I_3k[m,n]。

在这种情况下，图像总数变为三倍，并等于

一般地，对于具有超过三种有区别颜色的CFA，例如，RGB-IR或RGBW CFA，在去马赛克后的图像总数等于

对于具有任意数量c种有区别颜色(包括两种或三种)的CFA来说，这是成立的。应该注意的是，CFA可能对两个或更多个频率范围敏感，并且频率范围可以是可见颜色频率范围和/或可以包括至少一个不可见频率范围(例如，红外、近红外等)。对于单色(没有CFA)的传感器，

并且图像的总数N被保留。

获得“光谱立方体”，其包括由两个空间坐标定义的图像集和由FP标准具的状态和颜色通道确定的第三坐标。目的是将光谱立方变换为高光谱立方，以使第三坐标与窄带滤光器的波长相关(correlate)。

在一般情况下(例如，单色传感器或具有任何CFA的传感器)，对于FP标准具的每个状态k，对应的系统信号

由下式给出：

其中R(尺寸M×1)是对象的辐射度(即，图像传感器上涌入的光子)的离散化，

是在每个间隙的“噪声”，并且

(尺寸1×M)是在标准具的各间隙处的透射光谱的离散化，由下式给出：

其中T(gap_k,λ₁)是在波长λ₁的附近在间隙k处的等效滤光器的透射。矩阵

为系统的总响应，由下式给出：

在

N≥M中，即，标准具状态的数量等于或大于离散波长的数量。假设噪声只是R的弱函数，即应注意，可以使用关于噪声的其他假设。

在彩色传感器的情况下，前面描述的去马赛克过程(由等式(1)给出并应自此由通过定义)(或可以用于生成多个宽带图像的任何其他处理)应用于系统信号：

其中，

是对系统的总响应函数应用去马赛克函数的结果，并且现在是间隙和颜色通道两者的函数(例如图2A和图2B中的R1,R2..,G1,G2,..,B1,B2..的函数)。

对于具有c>1种有区别颜色的CFA：

对于单色传感器情况，所使用的符号H此后简单为

通过重构矩阵

将对象辐射度R示例性地估计成：

当重建对象辐射度R时，应当记住对于大多数情况，噪声具有高斯统计分布，因此对R的最大似然估计

为在R上使最小化的最小二乘估计。

根据一些非限制性示例，可以如下使用成本函数：

其中第二项是一些一般的正则化函数，σ为一些调谐参数，其本身潜在地是波长的函数。

可以构建正则项以在重构信号上应用一些特性，例如信号的平滑性。其可以示例性地基于每个波长λ的所需的光谱分辨率和信噪比(SNR)得出。

例如，使用吉洪诺夫的正则化方法，可以使用以下成本函数来进行最小化(其中Γ是一些适当选择的吉洪诺夫矩阵)：

然后以下给出使成本函数最小化的问题的解：

并且因此：

吉洪诺夫矩阵Γ例如可以被选择为单位矩阵的一些倍数(Γ＝αI)，优先考虑具有较小范数的解，这被称为L2型正则化。另选地，由于假设对象辐射度R是连续的，可以将Γ构造为一些低通算子(例如，差分算子或加权傅立叶算子)，其对所重构的施加平滑。

对于Γ的任何选择，然后可以根据得到的分辨率和SNR来评估系统性能。通过为这些参数分配不同的权重，可以构建最佳的Γ。

例如，通过扫过某个预定范围内的α值，可以创建系统分辨率和SNR相对于波长的图。通过这些图的加权和可以评估系统在每个重建波长处作为α的函数的性能。然后，通过为每个波长选择使该波长处的加权和最小化的不同的值α_i，执行优化。在这种情况下，α实际上是对角矩阵α＝diag(α_i)乘以吉洪诺夫算子矩阵使得：

根据另一非限制性示例，当选择重构矩阵

时，目标可以被设定为例如使以下成本函数的大小最小化：

该式右侧的第一项

(数据项)负责重建的偏差。最小化此项等效于最小化其平方，这通常较方便用于计算。独立于物体的辐射度，使总系统响应类似于理想的窄带(例如高光谱)滤光器是有益的。通过使用归纳范数的兼容性，关于等式(11)中的数据项可以进行如下确定：

其中Identity_MxM是尺寸M×M的单位矩阵。

随着限制噪声放大的可能的目标，例如以下成本函数可用于此示例方法：

如前所述，在此σ是一些调谐参数，可以将其构建为波长的函数。该一般正则项可被构造以对所重构信号的施加一些特性，例如，噪声放大、或信号的光滑。可基于每个波长的所需光谱分辨率和信噪比(SNR)示例性地得出该正则项。

由于使用单位矩阵对最小化提出了非常严格的要求，因此可以代替使用通用矩阵O_M×M，并且将通用成本函数写为：

在这个最小化问题中，矩阵O的行的FWHM实际上表示重建光谱分辨率。

如前所举例的，使用吉洪诺夫的正则化方法，可以使用以下成本函数(其中Γ是一些适当选择的吉洪诺夫矩阵)来进行该最小化：

在此，使用了矩阵的L2范数等效于其转置的范数的事实。然后通过以下方式给出使该成本函数最小化的解：

除了上述示例，可以实施各种回归方法来估计图像的光谱带，线性和非线性两者均可。此外，可以实施不同于回归的各种方法，例如机器学习、神经网络或人工智能方法来以估计物体的辐射度R。

可以针对任何特定的应用需求来调谐所提到的算法。值得注意的是，重建所需要的光谱分辨率可以是可调谐的，并且相应地宽带图像的数目，即，针对不同应用，数据将被预处理并且不同地处理。例如，不同的最佳重构矩阵可用于不同的SNR要求。

图8A示出了系统的示例，该系统包括传感器以及在物体和图像传感器之间的可调谐滤光器。该系统的信号是

其中R(λ_i)是对象的表面的辐射度，其可以被估计，例如，通过至此描述的方法来估计。

可以通过例如可调谐光源(例如led阵列)或带有可调谐滤光器的白光源来增强该系统。这种可调谐光源通过细化所收集的数据并且增强估计，可以改善光谱估计的结果。

图8B示出了系统的示例，该系统包括传感器和可调谐光源，在传感器前面没有滤光器。可调谐光源可以包括LED的(或其它类型的光源)的阵列，每个LED在不同的波长带发光，或可以包括宽带光源，在宽带光源前面有可调谐滤光器(如附图中举例)。在任一情况中，重构对象的辐射度的方法实际上是与至此所讨论的方法相同。此外，其仍然可以使用相同的方法来相对于原始光源频带获得更窄的频带。

假设物体的表面的发射率是ε(λ_i)，则该对象的表面的辐射度是其中

涉及可调谐滤光器的响应，E(λ_i)是滤光前的光源强度，并且

是对象的表面上的辐照度。在LED阵列(或其他类型的光源)的情况下，仍然可以将在对象表面上的辐照度写为

根据至此描述的方法，对象的光谱响应可以根据系统的信号来估计，其中R被定义为R＝Eε。

图8C示出了系统的另一示例，其为图8A和图8B中的示例的组合，并且包括可调谐光源(如上所述)连同位于图像传感器前面的附加的可调谐滤光器。在这个示例中R＝Eε，并且滤光器的总响应是其中是以间隙k₁设置在光源前面的滤光器的响应，并且

是以间隙k₂设置在图像传感器前面的滤光器的响应。

在这种情况下，只改变滤光器和光源光谱即可获得窄带图像。在这种方法中，到达传感器的光将仅包括处于其设置间隙的两个滤光器可透射的共同波长。

在较简洁的方式，图3以流程图示意性地示出了本文公开的方法的两个总体步骤：在步骤300中，通过处于一系列序列状态下操作可调谐FP标准具来获取对象的一系列宽带光谱图像。在步骤302中，将宽带光谱图像处理成较窄带图像。

步骤302之后是以下步骤：使用窄带图像，例如在计算机显示设备上显示一个或更多个图像(例如，一次显示一个图像)，存储一个或更多个图像，发送一个或更多个图像等，或其他一些用法。

图4A以流程图示意性地示出了方法的更多细节。

在步骤400，获取N个宽带光谱图像在步骤402中，对这N个宽带光谱图像应用去马赛克算法，以按全分辨率重建所有颜色通道，从而获得cN个宽带光谱图像(例如，当对于Bayer CFA，C＝3时为3N)或4N个宽带光谱图像(其中当使用RGB-IR或RGBW CFA时C＝4)。

在步骤404，通过使用矩阵

对

进行线性变换来构建一系列窄带光谱图像

图4B以流程图示意性地示出了根据本文公开的示例的方法的更多细节，其用于具有单色图像传感器的基于FP标准具的光谱成像器。在步骤410中，获取N个宽带光谱图像I_1…N。在步骤412，通过使用矩阵对I_1…N进行线性变换来构建一系列窄带光谱图像

图5A至图5C在三个单独的图示出了“经修改的”总系统响应措辞“经修改的”是指这样的事实：作为在上述方法中应用的处理的结果，总系统响应从图2A和图2B中所示的响应改变了。每个图中提供了多个窄带HHi曲线(光谱)。

总之，本发明人已经设法使用基于FP标准具的光谱成像器来执行窄带光谱成像甚至是高光谱成像，该基于FP标准具的光谱成像器能够提供这种光谱或高光谱成像是未知的。

图6例示了根据本公开的主题的方法600的示例。下面参照图6(以及以上描述的图7和图3、图4a和图4b)描述的一些操作可以由为此目的配置的处理电路执行。如上所述，这样的处理电路可以是系统100的一部分(例如，作为控制单元106和/或标准具108的一部分)，或者根据其他示例，是可以外部连接到系统100的计算机化设备的一部分。

方法600可能涉及生成窄带光谱图像。

方法6 00可以包括步骤610和620。

步骤610可以包括由包括可调谐滤光器的光谱成像器获取与可调谐滤光器的相应状态相关联的第一多个(N个)宽带光谱图像。N是大于1的整数。可调谐滤光器可以是法布里-佩罗可调谐滤光器，诸如MEMS法布里-佩罗标准具(如上面参照图1作为示例所示)。可调谐滤光器的相应状态可以包括N个不同的状态。相应状态的传递函数彼此不同。

步骤610之后可以是步骤620，由处理电路(诸如硬件处理器)将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。M是超过1的整数。该处理可以包括由处理电路执行指令和/或代码。

处理电路可以是中央处理单元、图形处理器、硬件加速器、FPGA、ASIC等。

光谱成像器可以包括图像传感器，该图像传感器可以是单色传感器或具有第三多个(C个)滤光器类型的彩色滤光器。不同类型的滤光器的传递函数彼此不同。C是大于2的整数。

图像传感器可以包括任何数量的滤光器类型的任意组合，例如(a)红色、绿色和蓝色，(b)红色、绿色、蓝色和白色，(c)红色、绿色、蓝色和红外，(d)红色、蓝色和白色，等等。

步骤620可包括应用扩展处理以根据第一多个宽带光谱图像生成第四多个(Q个)宽带光谱图像的步骤622。Q是正整数。Q超过N。Q超过M。Q与N之间的比可以是整数，也可以不是整数。

扩展处理增加信息量。扩展处理可以是去马赛克处理，但是可以不同于去马赛克处理。

步骤622之后可以是将第六多个宽带光谱图像处理成第二多个窄带光谱图像的步骤624。

步骤624可包括通过使用重构矩阵对第四多个宽带光谱图像进行线性变换来构建第二多个窄带光谱图像。

在上面的页面中，特别是在算式(1)-(10)和相关文本中，例示了在步骤624期间执行的计算的示例。

步骤624可以包括通过使用重构矩阵来构建第二多个窄带光谱图像；其中，重构矩阵表示成本函数和与所述可调谐滤光器的相应状态相关联的光谱响应。重构矩阵可以基于吉洪诺夫矩阵来计算。吉洪诺夫矩阵可以是单位矩阵的倍数(α)。

可以从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。例如，参见α的选择。

该组吉洪诺夫矩阵可以与一组重构矩阵相关联。不同的重构矩阵的基团的可与一个或更多个光谱成像器性能属性的不同值相关联。一个或更多个光谱成像器性能属性可以是信号噪声比和/或分辨率。

步骤624可以包括计算重构矩阵。

步骤624可以包括从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

根据一个示例，重构矩阵(例如吉洪诺夫矩阵)的计算或选择可以在产生第四多个宽带光谱图像之前执行。根据另一示例，可以在产生第四组多个宽带图像之后但在将第四多个宽带光谱图像处理成第二多个窄带光谱图像之前执行该计算或选择。根据又一示例，可以在将第四多个宽带光谱图像处理成第二多个窄带光谱图像期间执行该计算或选择。

该选择可以基于第一多个宽带光谱图像中的至少一个宽带光谱图像的至少一个特性来进行。

因此，在在步骤610期间获取了一个或更多个宽带光谱图像之后，该方法可以评估一个或更多个特性，然后决定选择哪个吉洪诺夫矩阵。例如，假设第一宽带光谱图像被获取并且具有低信噪比，则应该选择与低信噪比相关联的吉洪诺夫矩阵。在本示例中，可能需要增加在步骤620期间生成的一个或更多个窄带光谱图像的信噪比，并且可以将较多的重点分配给信噪比。

图7例示了方法700的示例。

方法700可以涉及生成窄带光谱图像。

方法700可以包括步骤610和步骤621。

步骤610可以包括：由包括可调谐滤光器的光谱成像器获取与可调谐滤光器的相应状态相关联的第一多个(N个)宽带光谱图像。N是大于1的整数。可调谐滤光器可以是法布里-佩罗可调谐滤光器，例如MEMS法布里-佩罗标准具。可调谐滤光器的相应状态可以包括N个不同的状态。相应状态的传递函数彼此不同。

步骤610之后可以是步骤621，由处理电路将第一多个宽带光谱图像处理成第二多个(M个)窄带光谱图像。M是超过1的整数。

步骤621与步骤620的不同之处在于包括步骤626而不是步骤622和624。值得注意的是，步骤621不包括执行扩展处理。

步骤626可以包括通过使用重构矩阵对第一多个宽带光谱图像进行线性变换的来构建第二多个窄带光谱图像。

步骤626可以包括通过使用重构矩阵来构建第二多个窄带光谱图像；其中，重构矩阵表示成本函数和与所述可调谐滤光器的相应状态相关联的光谱响应。重构矩阵可以基于吉洪诺夫矩阵来计算。该吉洪诺夫矩阵可以是单位矩阵的倍数(α)。

可以从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。参见，例如，以上描述的α的选择。

该组吉洪诺夫矩阵可以与一组重构矩阵相关联。该组的不同重构矩阵可以与一个或更多个光谱成像器性能属性的不同值相关联。所述一个或更多个光谱成像性能属性可以是信噪比和/或分辨率。

步骤626可以包括计算重构矩阵。

步骤626可以包括从一组吉洪诺夫矩阵中选择吉洪诺夫矩阵。

可以在将第一多个宽带光谱图像处理成第二多个窄带光谱图像期间执行选择。

该选择可以基于第一多个宽带光谱图像中的至少一个宽带光谱图像的至少一个特性。

本领域普通技术人员可以混合和匹配上面讨论的各种特征和步骤以及每个这样的特征或步骤的其他已知等效物，以执行根据本文所述原理的方法。虽然已经在某些实施方式和示例的上下文中提供了本公开，但是本领域技术人员将理解，本公开超出了具体描述的实施方式，延伸至其他另选实施方式和/或用途及其明显的修改和等同物。因此，本公开内容不旨在由本文的实施方式的具体公开内容限制。

对于例如，任何数字计算机系统可以被配置或以其他方式编程以实现本文所公开的一种，以及一个特定的数字计算机系统被配置为实现这种方法的范围内，它是在本公开的范围和精神内。一旦数字计算机系统被编程为根据来自实现本文公开的方法的程序软件的计算机可执行指令来执行特定功能，则其实际上变为专用于本文公开的方法的实施方式的专用计算机。实现此目的所需的技术对于本领域技术人员是众所周知的，因此在此不再进一步描述。本文公开的方法和/或过程可以被实现为计算机程序产品，例如有形地体现在信息载体中的计算机程序，例如非暂时性计算机可读或非暂时性机器可读的计算机程序。存储设备和/或在传播的信号中，以由数据处理装置执行或控制该数据处理装置的操作，该数据处理装置包括例如一个或更多个可编程处理器和/或一个或更多个计算机。术语“非暂时性”用于排除暂时性的、传播的信号，但是以其他方式包括适合于该应用的任何易失性或非易失性计算机存储技术，包括例如分发介质、中间存储介质、计算机的执行存储器。以及能够存储以供实现本发明方法实施方式的计算机程序以后读取的任何其他介质或设备。可以将计算机程序产品部署为在一个站点上的一台计算机或多台计算机上执行，或分布在多个站点上并通过通信网络互连。

可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，从而使得该指令经由计算机的处理器或其他可编程数据处理来执行。在该装置中，创建用于实现流程图和/或框图方框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机，可编程数据处理装置和/或其他设备以特定方式起作用，从而使得其中存储有指令的计算机可读存储介质。包括制品的制品，该制品包括用于实现流程图和/或框图方框中指定的功能/动作的各方面的指令。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程设备或其他设备上执行一系列操作步骤以产生计算机实现的过程，例如在计算机、其他可编程装置或其他设备上执行的指令实现了流程图和/或框图方框中指定的功能/动作。

除非另有说明，否则在选择选项列表的最后两个成员之间使用表达“和/或”表示选择一个或更多个所列选项是适当的，并且可以进行。

应该理解的是，在权利要求书或说明书中提及“一”(a或an)要素的情况下，这种引用不应被解释为该要素仅存在一个。

应当理解，为清楚起见在单独的实施方式或示例的上下文中描述的本发明的某些特征也可以在单个实施方式中组合提供。相反，为简洁起见，在单个实施方式的上下文中描述的本发明的各种特征，也可以单独地或以任何合适的子组合或在本发明的任何其他所述的实施方式中合适地提供。在各种实施方式的上下文中描述的某些特征不应被认为是那些实施方式的必要特征，除非该实施方式没有那些要素就不能工作。

出于在此阐述的所有目的，该申请中提及的所有专利和专利申请均通过引用整体并入本文。要强调的是，在本申请中对任何参考文献的引用或标识均不应解释为承认该参考文献作为现有技术可用或被承认为现有技术。

术语“包括”、“包含”、“具有”、“由...组成”和“基本上由...组成”以可互换的方式使用。例如，任何方法都可以至少包括附图和/或说明书中包括的步骤，仅包括附图和/或说明书中包括的步骤。光谱成像器和移动计算机也是如此。

将理解的是，为了图示的简单和清楚起见，图中所示的元件未必按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。此外，在认为适当的情况下，可以在附图之间重复附图标记以指示对应或相似的元件。

在前述说明书中，已经参照本发明的实施方式的特定示例描述了本发明。然而，将明显的是，在不脱离所附权利要求书所阐述的本发明的更广泛精神和范围的情况下，可以在其中进行各种修改和改变。

此外，说明书和权利要求书中的术语“前”、“后”、“顶部”、“底部”、“上方”、“下方”等(如果有的话)仅用于描述目的，而不一定用于描述永久的相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，以使得本文所述的本发明的实施方式例如能够以不同于本文所示或其他方式的取向进行操作。

本领域技术人员将认识到，逻辑块之间的边界仅是示例性的，并且另选实施方式可以合并逻辑块或电路元件，或者对各种逻辑块或电路元件施加功能的替代分解。因此，应当理解，本文描述的架构仅是示例性的，并且实际上可以实现实现相同功能的许多其他架构。

实现相同功能的组件的任何排列都是在效果上“关联”从而实现所需的功能，因此，本文中组合以实现特定功能的任何两个组件都可以视为彼此“关联”从而可以实现所需的功能。无论架构或中间组件如何。同样，如此关联的任何两个组件也可以被视为彼此“在操作上连接”或“在操作上耦接”以实现期望的功能。

此外，本领域技术人员将认识到，上述操作之间的边界仅仅是示例性的。可以将多个操作组合成单个操作，可以将单个操作分散在附加操作中，并且可以在时间上至少部分交叠地执行操作。此外，另选实施方式可以包括特定操作的多个实例，并且在各种其他实施方式中可以改变操作的顺序。

又例如，在一个实施方式中，所例示的示例可以被实现为位于单个集成电路上或在同一装置内的电路。另选地，示例可以被实现为以合适的方式彼此互连的任何数量的单独集成电路或单独设备。

又例如，示例或其部分可以实现为物理电路的软件或代码表示或可转换为物理电路的逻辑表示，例如以任何适当类型的硬件描述语言。

而且，本发明不限于以非可编程硬件实现的物理设备或单元，还可以应用于能够通过根据合适的程序代码进行操作来执行期望的设备功能的可编程设备或单元，例如大型机、小型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理、电子游戏、汽车和其他嵌入式系统、手机和各种其他无线设备，在本申请中通常称为“计算机系统”。

但是，其他修改、变化和替代也是可能的。因此，说明书和附图应被认为是说明性的而不是限制性的。

在权利要求中，置于括号之间的任何附图标记不应解释为对权利要求的限制。措辞“包括”并不排除权利要求中列出的元件或步骤之外的其他元件或步骤的存在。此外，本文所使用的措辞“一”或“一个”被定义为一个或更多个。而且，在权利要求中使用诸如“至少一个”和“一个或更多个”之类的介绍性短语不应解释为暗示不定冠词“一”或“一个”引入另一种权利要求要素限制了任何特定的内容。包含该引入的权利要求要素的权利要求，对于仅包含一个这样的要素的发明，即使同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及不定冠词，例如“一个”或“一个”。适用于定冠词。除非另有说明，否则诸如“第一”和“第二”之类的术语用于任意地区分此类术语所描述的要素。因此，这些术语不一定旨在指示这些元素的时间或其他优先次序，仅在彼此相同的权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。

涉及本专利申请的任何系统、装置或设备都包括至少一个硬件组件。

虽然已经在本文中例示和描述了本发明的某些特征，但是本领域普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解，所附权利要求书旨在涵盖落入本发明的真实精神内的所有此类修改和改变。

可以提供在任何附图和/或说明书和/或权利要求中例示的光谱成像器的任何组件和/或单元的任何组件的任何组合。

可以提供在任何附图和/或说明书和/或权利要求中例示的任何光谱成像器的任何组合。

可以提供在任何附图和/或说明书和/或权利要求中例示的光谱成像器的任何集合的任何组合。

可以提供在任何附图和/或说明书和/或权利要求中例示的步骤，操作和/或方法的任何组合。

可以提供在任何附图和/或说明书和/或权利要求中例示的操作的任何组合。

可以提供在任何附图和/或说明书和/或权利要求中例示的方法的任何组合。

尽管已经根据某些实施方式和通常相关的方法描述了本公开，但是对本领域技术人员而言，实施方式和方法的变更和置换将是明显的。应当理解，本公开内容不受本文所描述的具体实施方案的限制，而仅受所附权利要求书的范围的限制。