一种基于染色强度矩阵的病理图像自动分类方法
阅读说明：本技术 一种基于染色强度矩阵的病理图像自动分类方法 (Pathological image automatic classification method based on dyeing intensity matrix ) 是由 朱闻韬 薛梦凡 李少杰 杨德富 于 2021-09-13 设计创作，主要内容包括：本发明公开了一种基于染色强度矩阵的病理图像自动分类方法,该方法直接提取病理图像中与染色剂配比、染色平台、扫描平台以及一些人为因素无关的染色强度矩阵作为分类的特征信息,不需要恢复归一化后的染色图像,在保留与诊断相关的所有无杂质信息的同时,避免了现有的基于传统颜色归一化方法的病理图像计算机辅助诊断方法会出现的诊断效果随选取的标准病理切片的变化而变化的现象,且避免了因需要恢复染色后的图像所引入的误差,诊断精度更高且诊断效果更稳定,同时可以在更短的时间内实现对病理图像的诊断,易于实现,更具有实用性。(The invention discloses a pathological image automatic classification method based on a dyeing intensity matrix, which directly extracts the dyeing intensity matrix irrelevant to a dyeing agent proportion, a dyeing platform, a scanning platform and some human factors in a pathological image as classified characteristic information without recovering a normalized dyeing image, avoids the phenomenon that the diagnosis effect can change along with the change of a selected standard pathological section in the conventional pathological image computer-aided diagnosis method based on the traditional color normalization method while keeping all impurity-free information relevant to diagnosis, avoids errors introduced by the image after dyeing needing to be recovered, has higher diagnosis precision and more stable diagnosis effect, can realize the diagnosis of the pathological image in shorter time, is easy to realize and has higher practicability.)
技术领域
本发明涉及医疗图像处理技术领域，特别涉及一种基于染色强度矩阵的病理图像自动分类方法。
背景技术
组织病理检查是通过检查组织中的病理改变来分析诊断疾病的病理形态学方法，是目前诊断癌症最准确的方法。全切片数字病理图像（Whole Slide Image,WSI）是通过专用的显微成像系统扫描组织病理切片而形成的可供计算机显示、传输及处理的高倍率大规模数字图像。尽管数字病理切片成像技术已经在各大医疗机构得到了推广应用，但是目前关于WSI的诊断分析还是需要医生在不同尺度的放大镜倍数下进行反复观测得到诊断结果，诊断结果依赖于医生的综合医学素养与主观经验判断，存在一定的误诊率。近年来随着人工智能技术的快速发展，基于全切片数字病理图像的计算机辅助诊断方法已经受到越来越多的关注。
基于全切片数字病理图像的计算机辅助诊断方法区别于其他医学图像的一大特点是需要对病理图像做颜色归一化处理以消除不同染色剂配比、染色平台、扫描平台以及一些人为因素所造成的病理图像颜色差异。颜色归一化的效果直接影响基于病理图像的计算机辅助诊断方法的准确度。
目前，苏木精-伊红(HE)染色剂是制作数字病理图像最常用的染色剂，国内外学者已经提出了多种针对HE染色病理图像的颜色归一化方法。有学者直接采用自然场景图像颜色增强的方法来对数字病理图像进行归一化，如直方图均衡，直方图标准化，Retinex增强等，这些方法由于没有考虑病理图像的本质颜色特点，不能取得满意的归一化效果。基于颜色反卷积的算法利用病理图像的颜色是由有限种染色剂混合而成的这一先验知识，在光密度空间对病理图像进行线性变换，先分离出独立的颜色成分，再合成归一化后的HE染色图像。然而，该算法需要通过实验的手段测得反卷积参数，且同一组参数无法适应来自不同平台的病理图像。基于细胞核检测的颜色归一化算法将病理图像中的细胞核与细胞质进行分类，以此作为先验计算得到自适应的颜色反卷积参数。这种方法不再依赖实验获得反卷积参数，极大的提高了算法的适应性。但是，该类方法的效果依赖于细胞核检测与分割算法，一旦细胞核检测算法失效，则无法得到合理的归一化效果，且细胞核检测与分割算法的计算量较大，拖慢了整个归一化过程。而现有的基于病理图像的计算机辅助诊断方法都需要先利用颜色归一化算法获得归一化后的病理图像，再基于归一化后的病理图像得到分类结果，其分类精度以及处理速度都受制于颜色归一化算法的性能。
发明内容
本发明为解决现有基于病理图像的计算机辅助诊断方法的精度以及处理速度都受制于颜色归一化算法的性能这一技术问题，提出一种基于染色强度矩阵的病理图像自动分类方法。
本发明采用的技术方案具体如下：
一种基于染色强度矩阵的病理图像自动分类方法，该方法包括如下步骤：
步骤S1:利用滑动窗口对全切片数字病理图像进行切分，并剔除背景空白区域保留前景组织区域，获得K个n×n大小的图像块，其中n为每个图像块的像素宽度；
步骤S2:计算全切片数字病理图像的染色与颜色对应矩阵W ϵR m×r ，其中m = 3代表RGB三个颜色通道，r 表示染色通道数；
步骤S3:计算步骤S1中获得的每个图像块的染色强度矩阵H k ϵR n×n×r ,其中k表示第k个图像块；
步骤S4:分别将各图像块的染色强度矩阵输入至训练好的分类网络，得到每个图像块的分类结果；
步骤S5:综合各图像块的分类结果，得到全切片数字病理图像的分类结果。优选地，可以采用随机森林算法等进行综合各图像块的分类结果。
进一步地，所述步骤S2具体包括如下子步骤：
步骤S21：估计全切片数字病理图像的光照强度i0；
步骤S22：在步骤S1中获得的图像块中随机不重叠采样l个图像块，并利用比尔-朗伯定律分别计算每个图像块的相对光密度矩阵V j ：
其中，I j ϵR n×n×3为第j个图像块在RGB色彩模式下的表示矩阵；
步骤S23：根据相对光密度矩阵V j 利用字典学习的方法计算每个图像块的染色与 颜色对应矩阵，并将所有图像块的染色与颜色对应矩阵的中值矩阵作为全切片数字病理 图像的染色与颜色对应矩阵W。
进一步地，所述步骤S21具体为：在全切片数字病理图像上采样足够多的满足RGB三通道值都大于230的像素点，在RGB三个颜色通道上，分别取这些像素点的第90百分位数作为该通道的光照强度值，得到光照强度i0。
进一步地，所述步骤S3具体包括如下子步骤：
步骤S31：利用比尔-朗伯定律分别计算每个图像块的相对光密度矩阵V k ；
其中，I k ϵR n×n×3 为第k个图像块在RGB色彩模式下的表示矩阵；
步骤S32: 利用反卷积法计算每个图像块的染色强度矩阵H k ：
H k = (W T W)-1 W T V k 。
进一步地，所述步骤S4中，所述训练好的分类网络通过如下方法训练获得：
收集Z张带有诊断标签的全切片数字病理图像，利用步骤S1-S3对每张全切片数字病理图像进行处理，获得Z×K个图像块的染色强度矩阵H i ϵR n×n×r ，构建获得训练数据集（H i ,y i ），i=1,2,…, Z×K；y i 为H i 对应图像块的原始全切片数字病理图像对应的诊断标签，反应H i 所对应的组织区域有无病变以及病变类型。
构建以染色强度矩阵为输入，以分类结果为预测目标的分类网络，利用获得的Z×K个图像块的染色强度矩阵及每个图像块原始来源的全切片数字病理图像诊断标签训练所述分类网络，直至预测结果与诊断标签的损失收敛或达到设定的迭代次数，获得训练好的分类网络。
进一步地，所述分类网络的结构为ResNet50。
与现有技术相比，本发明的有益效果是：
（1）本发明对可以依据组织病理图像进行诊断的各类疾病具有普适性。
（2）本发明所提出的病理图像分类方法直接提取病理图像中与染色剂配比、染色平台、扫描平台以及一些人为因素无关的染色强度矩阵作为分类的特征信息，保留了与诊断相关的所有无杂质信息，不需要恢复归一化后的HE染色图像，可以在更短的时间内实现对病理图像的诊断，易于实现。
（3）本发明避免了现有的基于传统颜色归一化方法的病理图像计算机辅助诊断方法会出现的诊断效果随选取的标准病理切片的变化而变化的现象，且避免了因需要恢复染色后的HE图像所引入的误差，诊断精度更高且诊断效果更稳定，更具有实用性。
附图说明
图1为本发明一种基于染色强度矩阵的病理图像自动分类方法的流程图；
图2为本发明中计算全切片数字病理图像的染色与颜色对应矩阵的流程图；
图3为本发明中计算图像块的染色强度矩阵的流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明，其中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
本实施例以肺腺癌与肺鳞癌的诊断及分型为例，图像块分类网络采用ResNet50,采用随机森林算法综合各个图像块的分类诊断结果，训练数据为已经由专业影像科医生标注过癌症种类及区域的200张全切片数字病理图像，其中肺腺癌100张，肺鳞癌100张。利用所提的基于染色强度矩阵的病理图像自动分类方法进行肺腺癌与肺鳞癌的诊断及分型包括以下步骤（如图1所示）：
步骤S1:利用滑动窗口将全切片数字病理图像切分为n×n大小的图像块，剔除背景空白区域的图像块，最后获得K（K>30）个保留前景组织区域的图像块，其中n为每个图像块的像素宽度，则每个图像块的总像素个数nn =n×n。
步骤S2:计算全切片数字病理图像的染色与颜色对应矩阵W ϵR m×r ，其中m = 3代表RGB三个颜色通道，r = 2代表苏木精、伊红两种染色通道，具体步骤如下（如图2所示）：
步骤S21: 估计全切片数字病理图像的光照强度i0，具体方法为：
在全切片数字病理图像上采样足够多的满足RGB三通道值都大于230的点，在RGB三个颜色通道上，分别取这些像素点的第90百分位数作为该通道的光照强度值。
步骤S22:在全切片数字病理图像的前景组织区域即在步骤S1中获得的图像块中进行随机不重叠采样得到30个大小为n×n的图像块；并利用比尔-朗伯定律分别计算每个图像块的相对光密度矩阵V j ：
（1）
其中I j ϵR n×n×3为第j个图像块在RGB色彩模式下的表示矩阵。
步骤S23：根据相对光密度矩阵V j 利用字典学习的方法计算每个图像块的染色与 颜色对应矩阵, j=1,…30；求解过程具体为：
将V j 整理写为大小为3×nn的矩阵V j ’，再利用式（2）得到染色与颜色对应矩阵：
（2）
其中，αϵR 2×nn 为字典学习分解过程中所得到的稀疏阵，||*||表示矩阵的核范数；
最后求取所有图像块的染色与颜色对应矩阵的中值矩阵，作为全切片数字病理图像的染色与颜色对应矩阵W。
步骤S3:计算步骤S1中获得的每个图像块的染色强度矩阵H k ϵR n×n×r ,，其中k表示第k个图像块，具体步骤如下（如图3所示）：
步骤S31: 利用比尔-朗伯定律分别计算每个图像块的相对光密度矩阵V k ：
（3）
其中K为剔除背景空白区域的图像块后保留下来的前景组织区域的总图像块个数；I k ϵR n×n×3 为第k个图像块在RGB色彩模式下的表示矩阵。
步骤S32: 利用反卷积法计算每个图像块的染色强度矩阵H k ：
H k = (W T W)-1 W T V k （4）
步骤S4:分别将各图像块输入训练好的ResNet50分类网络，得到每个图像块的分类诊断结果。
进一步地，在步骤S4中，ResNet50分类网络的训练数据集制备过程为：利用滑动窗口对训练集中的每一张全切片数字病理图像进行切片操作，重复步骤S1至步骤S3，得到每一个图像块的染色强度矩阵作为分类网络的输入，训练标签为每个图像块所对应的医生标注，在该实施例中为肺腺癌、肺鳞癌或者正常。直至网络输出与诊断标签的损失收敛或达到设定的迭代次数，从而获得训练好的分类网络。
步骤S5:利用随机森林算法综合各个图像块的分类诊断结果，得到全切片数字病理图像的分类结果。
本发明所提出的病理图像分类方法直接提取病理图像中与染色剂配比、染色平台、扫描平台以及一些人为因素无关的染色强度矩阵作为分类的特征信息，保留了与诊断相关的所有无杂质信息，不需要恢复归一化后的HE染色图像，可以在更短的时间内实现对病理图像的诊断，易于实现。
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。