一种基于自适应字典的压缩光谱成像方法
阅读说明：本技术 一种基于自适应字典的压缩光谱成像方法 (Compressed spectrum imaging method based on adaptive dictionary ) 是由 赵巨峰 朱骏捷 崔光茫 郁嘉恺 于 2021-07-21 设计创作，主要内容包括：本发明公开了一种基于自适应字典的压缩光谱成像方法,一种基于自适应字典的压缩光谱成像方法对应的系统由两路组成,一路由编码模板、棱镜、灰度相机组成,一路由彩色相机组成。所述步骤如下：将彩色相机的三个通道的图像块分别进行聚类分成K个簇,并为每个簇训练一个PCA字典；对于每一个谱段图像的图像块,在邻近的三维光谱块中进行块匹配,寻找相似块；利用相似块对稀疏表示进行约束,提升稀疏表示准确度,求解目标函数,之后重复相似块的搜索和选择,直到目标函数收敛。利用彩色相机得到的图像和目标光谱图像之间的相关性进行光谱图像的重建,并结合光谱图像的非局部相似性、光谱相邻谱段图像间的相似性进一步提高重建的质量。(The invention discloses a compressed spectrum imaging method based on an adaptive dictionary, and a system corresponding to the compressed spectrum imaging method based on the adaptive dictionary consists of two paths, wherein one path consists of a coding template, a prism and a gray camera, and the other path consists of a color camera. The steps are as follows: clustering image blocks of three channels of a color camera into K clusters respectively, and training a PCA dictionary for each cluster; for the image block of each spectral band image, carrying out block matching in the adjacent three-dimensional spectrum block, and searching for a similar block; and constraining the sparse representation by using the similar blocks, improving the sparse representation accuracy, solving an objective function, and then repeating the searching and selecting of the similar blocks until the objective function is converged. The spectral image is reconstructed by utilizing the correlation between the image obtained by the color camera and the target spectral image, and the reconstruction quality is further improved by combining the non-local similarity of the spectral image and the similarity between the adjacent spectral band images of the spectrum.)
技术领域
本发明涉及压缩感知、计算光谱成像领域，尤其是涉及一种基于自适应字典的压缩光谱成像方法。
背景技术
目前使用的成像系统一般是采用RGB三种颜色进行成像，它只能获得三个光谱通道因而丢失了很多目标的信息。相比之下高光谱图像可以获得更多的光谱通道，因此包含了更多的目标信息，从而可以在环境监测、军事、医疗等方面广泛使用。传统的光谱成像方式一般采用基于扫描的方法，例如点扫描、线扫描等方法，它们以牺牲时间分辨率为代价获取目标光谱信息，这种成像方式就决定了它无法拍摄动态的场景。编码孔径光谱成像是基于压缩感知理论提出的一种成像方式，它主要由编码模板和棱镜组成。编码模板和棱镜分别对目标场景的光进行编码和色散，然后在灰度相机上获得混叠的光谱数据，通过计算重建出目标光谱数据，只需要一次曝光能获得目标的光谱信息，具有获取光谱视频的能力。
例如，一种在中国专利文献上公开的“一种结合空间正则化与半盲光谱解混的光学功能成像方法”，其公告号为“CN113066142A”，本发明属于生物医学多光谱光学功能成像技术领域，公开了一种结合空间正则化与半盲光谱解混的光学功能成像方法，输入多波长光学吸收系数图谱μa；初始化目标生物组织内各生色团的光谱特征及其浓度分布；构建优化的目标函数形式，引入已匹配的先验光谱，加入各生色团浓度空间分布的稀疏正则化项；利用提出的迭代求解框架对目标函数进行求逆，迭代更新生物组织中外源造影剂的未知的在体光谱特征与各生色团的浓度分布图像；判断是否达到迭代停止条件；否则停止迭代，同时输出外源性造影剂的在体光谱以及各生色团的浓度分布图像。本发明可规避传统梯度下降迭代过程中对搜索方向步长的选择，且保证迭代过程的收敛性与解析结果的非负性。如何提升光谱图像重建的质量是编码孔径光谱成像的关键点之一，由于从二维的采样中恢复出三维的光谱数据是一个欠定的问题，所以需要利用一些重建目标的先验信息来对重建过程进行约束，过去的方法中使用TV正则化进行约束，但是这种方法可能会使重建的图像过于平滑，损失一些边缘信息。
发明内容
本发明是为了克服上述光谱图像重建的质量不高等问题。提出了一种基于自适应字典的压缩光谱成像方法，利用彩色相机得到的图像和目标光谱图像之间的相关性进行光谱图像的重建，并结合光谱图像的非局部相似性、光谱相邻谱段图像间的相似性进一步提高重建的质量。
为了实现上述目的，本发明采用以下技术方案：一种基于自适应字典的压缩光谱成像方法，其特征是，包括以下步骤：
S1，彩色相机获得RGB三个通道的图像；
S2，对于每一个通道，先将图像块分成n×n的小块，然后进行K均值聚类，得到K个簇，然后为每个簇训练一个PCA字典；
S3，为每个图像块选择字典，根据获得的字典对光谱图像的重建进行约束，得到初始的光谱图像；
S4，根据得到的光谱图像，在邻近的一个三维区域内搜索相似块，利用这些相似块对稀疏表示进行约束，提升稀疏表示准确度，从而进一步提升重建质量；
S5，对重建后的光谱图像的目标函数进行求解，多次重复步骤S4，直到重复步骤S4时目标函数基本不再变化为止，就得到了目标场景在不同波段下的图像；
搭建好成像装置，彩色相机获得图像后，对于每个通道的图像，先将图像块分成n×n的小块，然后进行K均值聚类，得到K个簇，为每个簇训练一个PCA字典。初始化参数和光谱图像，用上面提到的方法，先根据RiF取出的块i所处的波段，选择在这个波段下对应曲线上最大值所处的通道，然后根据这个图像块i的位置，在这个通道图像中找到和图像块i同样位置的块，使用这个块所属的簇的字典，同样方法为每个图像块寻找最合适的字典。对于每一个谱段的图像块，在这个块临近的m×m×l的三维光谱块内搜索相似块，得到估计的稀疏表示系数θi并求解目标函数，经过多次重复步骤S3，直到重复步骤S3时目标函数基本不再变化为止，利用彩色相机得到的图像和目标光谱图像之间的相关性进行光谱图像的重建，并结合光谱图像的非局部相似性、光谱相邻谱段图像间的相似性进一步提高重建的质量。
作为优选，本方法涉及到的装置有：分光镜、编码模板、棱镜、灰度相机、彩色相机，光进入系统后经过分光镜分成两路，一路进入有编码模板、棱镜、灰度相机的第一系统，一路进入彩色相机的第二系统，灰度相机得到编码后的图像，彩色相机得到彩色图像。
作为优选，所述方法对应有相应的系统，整个系统的模型为：Y＝HF+V，其中：
Yc和Yp分别是灰度相机彩色相机的图片的向量表示形式，Yp＝[Yr T,Yg T,Yb T]T中Yr T，Yg T，Yb T是彩色相机三个通道的图像的向量表示，Hc和Hp分别是第一系统和第二系统的前向响应矩阵，F是目标光谱数据的向量表示形式，Vc和Vp分别第一系统和第二系统的噪声。
作为优选，所述PCA字典训练方法为：这里用Sk表示某一通道第k个簇的所有图像块，Sk是一个矩阵，里面的每一列是一个图像块，列数就是这个簇中图像块的个数，每一列有n2个元素，对Sk进行主成分分析，提取特征，这里提取前n2个特征向量组成的矩阵作为这个簇的PCA字典。
作为优选，所述步骤S3中图像块选择字典的方法具体为：根据这个图像块i所处的波段和相机的响应曲线确定选择哪个通道的字典，然后根据图像块所处的位置在这个通道的图像上找到对应位置的图像块，这个图像块所处的簇的字典作为这个图像块i的字典。
作为优选，所述步骤S3中光谱图像的重建目标函数为：
RiF是从三维的光谱立方体中提取一个图像块的操作，Ri是提取图像块的矩阵，Y是观测图像，H是系统前向响应矩阵，Ck是属于第k个簇的图像块集合，一共有K个簇，αi是图像块的稀疏表示系数，Di第i个图像块的字典，中下标2表示L2范数，右上角的2表示平方，||·||1下标1表示L1范数，θi是根据相似块估计的稀疏表示系数，λ，η，γ是正则项参数，这个式子第二项是利用彩色相机图像和要重建的目标光谱图像之间的相似性和图像的非局部相似性对重接结果进行约束。
作为优选，所述步骤S4中选择相似块并且利用相似块对稀疏表示约束的具体方法为：光谱图像谱段内谱谱段间的图像有很多重复的相似块，根据RiF取出的块，设置一个阈值，在这个块附近的一个m×m×l三维图像块中选择距离小于这个阈值的相似块。利用相同的字典求出这些相似块的稀疏表示系数αi,j，则其中δi,j是块xi的第j个相似块xi,j的权重，xi和xi,j分别是RiF取出的块和它的第j个相似块，xi,j＝Diαi,j，xi＝Diαi，Ci是图像块xi的相似块的集合，W是归一化的参数，h是预先设置好的一个值。
因此，本发明具有如下的有益效果：利用彩色相机得到的图像和目标光谱图像之间的相关性进行光谱图像的重建，并结合光谱图像的非局部相似性、光谱相邻谱段图像间的相似性进一步提高重建的质量。
附图说明
图1为本发明一种基于自适应字典的压缩光谱成像方法的流程图；
图2为本发明一种基于自适应字典的压缩光谱成像方法对应的系统图；
图3为本发明相机的光谱响应曲线图；
图4是本发明实施例中430nm波段下的图像和B通道的图像图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
参考图1和图2，一种基于自适应字典的压缩光谱成像方法，包括以下步骤：
S1，彩色相机获得RGB三个通道的图像；
S2，对于每一个通道，先将图像块分成n×n的小块，然后进行K均值聚类，得到K个簇，然后为每个簇训练一个PCA字典；
S3，为每个图像块选择字典，根据获得的字典对光谱图像的重建进行约束，得到初始的光谱图像；
S4，根据得到的光谱图像，在邻近的一个三维区域内搜索相似块，利用这些相似块对稀疏表示进行约束，提升稀疏表示准确度，从而进一步提升重建质量；
S5，对重建后的光谱图像的目标函数进行求解，多次重复步骤S4，直到重复步骤S4时目标函数基本不再变化为止，就得到了目标场景在不同波段下的图像；
搭建好成像装置，彩色相机获得图像后，对于每个通道的图像，先将图像块分成n×n的小块，然后进行K均值聚类，得到K个簇，为每个簇训练一个PCA字典。初始化参数和光谱图像，用上面提到的方法，先根据RiF取出的块i所处的波段，选择在这个波段下对应曲线上最大值所处的通道，然后根据这个图像块i的位置，在这个通道图像中找到和图像块i同样位置的块，使用这个块所属的簇的字典，同样方法为每个图像块寻找最合适的字典，对于每一个谱段的图像块，在这个块临近的m×m×l的三维光谱块内搜索相似块，得到估计的稀疏表示系数θi并求解目标函数，经过多次重复步骤S3，直到重复步骤S3时目标函数基本不再变化为止，利用彩色相机得到的图像和目标光谱图像之间的相关性进行光谱图像的重建，并结合光谱图像的非局部相似性、光谱相邻谱段图像间的相似性进一步提高重建的质量。
参考图2，本方法涉及到的装置有：分光镜、编码模板、棱镜、灰度相机、彩色相机。光进入系统后经过分光镜分成两路，一路进入有编码模板、棱镜、灰度相机的第一系统，一路进入彩色相机的第二系统。灰度相机得到编码后的图像，彩色相机得到彩色图像。整个系统的模型为：Y＝HF+V，其中：
Yc和Yp分别是灰度相机彩色相机的图片的向量表示形式，Yp＝[Yr T,Yg T,Yb T]T中Yr T，Yg T，Yb T是彩色相机三个通道的图像的向量表示，Hc和Hp分别是第一系统和第二系统的前向响应矩阵，F是目标光谱数据的向量表示形式，Vc和Vp分别第一系统和第二系统的噪声。
PCA字典训练方法为：这里用Sk表示某一通道第k个簇的所有图像块，Sk是一个矩阵，里面的每一列是一个图像块，列数就是这个簇中图像块的个数，每一列有n2个元素。对Sk进行主成分分析，提取特征，这里提取前n2个特征向量组成的矩阵作为这个簇的PCA字典。
参考图3和图4，步骤S3中图像块选择字典的方法具体为：根据这个图像块i所处的波段和相机的响应曲线确定选择哪个通道的字典，然后根据图像块所处的位置在这个通道的图像上找到对应位置的图像块，这个图像块所处的簇的字典作为这个图像块i的字典，图4中A表示430mm图像第i个图像块，B表示RGB图像B通道第i个图像块。
步骤S3中光谱图像的重建目标函数为：
RiF是从三维的光谱立方体中提取一个图像块的操作，Ri是提取图像块的矩阵，Y是观测图像，H是系统前向响应矩阵，Ck是属于第k个簇的图像块集合，一共有K个簇，αi是图像块的稀疏表示系数，Di第i个图像块的字典，中下标2表示L2范数，右上角的2表示平方，||·||1下标1表示L1范数，θi是根据相似块估计的稀疏表示系数，λ，η，γ是正则项参数。这个式子第二项是利用彩色相机图像和要重建的目标光谱图像之间的相似性和图像的非局部相似性对重接结果进行约束。
步骤S4中选择相似块并且利用相似块对稀疏表示约束的具体方法为：光谱图像谱段内谱谱段间的图像有很多重复的相似块，根据RiF取出的块，设置一个阈值，在这个块附近的一个m×m×l三维图像块中选择距离小于这个阈值的相似块。利用相同的字典求出这些相似块的稀疏表示系数αi,j，则其中δi,j是块xi的第j个相似块xi,j的权重，xi和xi,j分别是RiF取出的块和它的第j个相似块，xi,j＝Diαi,j，xi＝Diαi，Ci是图像块xi的相似块的集合，W是归一化的参数，h是预先设置好的一个值。
步骤S5中重建的光谱图像的目标函数如下所示：
其中α是所有αi的级联，这里假设一共有Ω个图像块，则α＝[α1,α2,……,αΩ]。这个式子可以通过固定一个变量优化另一个变量的方式交替优化。首先固定F优化α，稀疏编码α的优化如下式所示：
对于这个式子使用双变量收缩算法来计算，α中每个元素可以由下面式子更新：
其中c是一个常数，下标l表示向量中的第l个元素，
然后固定α求F：
求解结果如下：
迭代步骤S4的F和α直到收敛，然后继续相似块的搜索并继续步骤4的过程，一直到结果收敛。最后得到的目标场景在不同波段下的图像。