阅读说明：本技术 使用载玻片重新染色创建组织病理学基准真值掩膜的方法 (Method for creating histopathology ground truth masks using slide re-staining ) 是由 L.彭 M.施通佩 于 2018-01-11 设计创作，主要内容包括：用于生成其上放置有组织样本的显微镜载玻片的基准真值掩膜的方法包括用苏木精和曙红(H&E)染色剂对组织样本进行染色的步骤。例如用整个载玻片扫描仪获得H&E染色组织标本的第一放大图像。然后从组织样本中清洗H&E染色剂。将第二不同染色剂施加到组织样本,例如,特定染色剂,例如IHC染色剂。获得用第二不同染色剂染色的组织样本的第二放大图像。然后将第一放大图像和第二放大图像彼此配准。然后在第一放大图像或第二放大图像上执行标注(例如,绘制操作),以形成基准真值掩膜,基准真值掩膜是包围存在于第一放大图像或第二放大图像中的肿瘤细胞的闭合多边形区域的形式。(A method for generating a ground truth mask for a microscope slide on which a tissue sample is placed includes the step of staining the tissue sample with a hematoxylin and eosin (H & E) stain. A first magnified image of the H & E stained tissue specimen is obtained, for example, with a whole slide scanner. The H & E stain is then washed from the tissue sample. A second, different stain is applied to the tissue sample, e.g., a particular stain, e.g., an IHC stain. A second magnified image of the tissue sample stained with a second different stain is obtained. The first and second magnified images are then registered with each other. Annotation (e.g., a rendering operation) is then performed on the first or second magnified images to form a ground truth mask in the form of a closed polygonal region that encompasses tumor cells present in the first or second magnified images.)

使用载玻片重新染色创建组织病理学基准真值掩膜的方法

背景技术

本公开涉及数字病理学领域，并且更具体地，涉及一种用于在组织样本的数字图像中生成基准真值掩膜(ground truth mask)的方法。在本文档中，术语“掩膜”是指组织样本图像中包围感兴趣区域(诸如肿瘤细胞(例如癌症))的闭合多边形区域。在本文档中，术语“基准真值”是指与通过推理提供的信息相反、通过直接观察样本(即经验证据)来提供掩膜，以及可以分配给组织样本的标签(例如“癌性”)。

具有针对样本的基准真值掩膜和相关联的标签(例如“癌性”)的组织样本的数字图像被用于多种情景下，包括作为用于构建机器学习模型的训练示例。可以出于各种目的而开发这样的机器学习模型，包括帮助诊断、临床决策支持以及对提供组织样本的患者做出预测，诸如预测生存或对治疗的反应。

用于从包含组织样本的载玻片的图像做出预测的机器学习模型需要对于样本的准确的基准真值掩膜和标签分配。如上所述，掩膜采用描绘诸如肿瘤细胞的感兴趣区域的轮廓的多边形的形式。在C.Gammage的2017年6月13日提交的、序列号为15/621837的未决美国专利申请中，描述了用于创建掩膜的方法的一个示例，其内容通过引用并入本文。创建准确的基准真值掩膜并且分配标签是劳力密集且疲劳的，以及此外，病理学家还会做出评级错误(grading error)。本公开描述了用于更加准确和更加快速创建基准真值掩膜的方法。

在2017年2月23日提交的序列号为PCT/US2017/019051的PCT申请及其中所引用的科学和技术文献中公开了用于识别组织样本的数字放大图像中的癌细胞的神经网络模式识别器，其内容通过引用并入本文。在科学文献中描述了目前的模式识别器所基于的Inception-v3深度卷积神经网络架构。参见以下参考文献，其内容通过引用并入本文：C.Szegedy et al.,Going Deeper with Convolutions,arXiv:1409.4842[cs.CV](September 2014)；C.Szegedy et al.,Rethinking the Inception Architecture for Computer Vision,arXiv:1512.00567[cs.CV](December 2015)；另请参见C.Szegedy等人的2015年8月28日提交的序列号为14/839,452的美国专利申请“Processing Images Using Deep Neural Networks”。***(称为Inception-v4)被认为是模式识别器的替代架构。参见C.Szegedy et al.,Inception-v4,Inception-ResNet and the Impact of ResidualConnections on Learning,arXiv:1602.0761[cs.CV](February 2016)。另请参见C.Vanhoucke的2016年12月30日提交的序列号为15/395,530的美国专利申请“ImageClassification Neural Networks”。这些论文和专利申请中对卷积神经网络的描述通过引用并入本文。

在当今的病理学中，从组织样本中进行癌症分期和诊断通常是在H&E(苏木精和曙红)染色的组织样本上进行的。此外，机器学习模型通常根据H&E染色的组织样本的图像进行训练。H&E染色剂是非特定染色剂，其突出组织的整体形态。与之相反，存在特定染色剂(包括免疫组织化学染色剂、IHC、Verhoeffs染色剂、Masson的三色染色剂等)，其突出特定抗原，诸如肿瘤标志物。病理学家通常可以提供(render)诊断，并且在H&E图像上描绘肿瘤轮廓，但有时对于疑难病例，需要特定染色剂，诸如HC染色的图像。还相信，使用IHC染色(或其他特定染色)的载玻片可以加快人体检查和标注处理。然而，一般而言，组织载玻片可以具有H&E染色剂或IHC染色剂，但通常不能同时具有两者。因此，常见的解决方案是切割组织的连续切片，并且使其两者经受染色、显微镜检查和数字图像捕获，其中，切片N采用H&E染色，切片N+1采用IHC染色剂染色，使得IHC染色的组织在形态上足够相似(约5微米远，是人类细胞直径的约5％)，以与H&E染色的组织图像一起使用。然而，连续切片的形态差异仍然显著，并且可能导致这种方式下生成的基准真值标签和掩膜不准确。进一步增加连续切片形态差异的另一个因素是，在处理期间分开处理两个切片，并且在处理期间(例如，将刚切下的玻璃切片放在玻璃载体上)两个组织的拉伸可能会轻微不同。

发明内容

在一个方面，本公开利用一种被称为“重新染色”载玻片上的单个组织样本的技术，以创建用于组织样本的准确的基准真值掩膜和相关联的标签。尽管在上述现有技术方法中，获得了组织样品的不同连续切片，并且使两个不同组织样品经受H&E染色/成像和IHC(或其他特定)染色/成像，但是本公开的方法提供了使用H&E和从单个组织样本进行特定染色来创建基准真值掩膜。这样，用于两个图像的组织将是相同的，并且因此，从特定染色的图像和H&E染色的图像两者转换基准真值掩膜是可能的并且容易地完成。

在一个方面，提供了一种用于生成用于组织样本的数字图像的掩膜的方法。该方法包括：接收第一图像数据，该第一图像数据表示采用第一染色剂(例如，H&E)染色的组织样品；接收第二图像数据，该第二图像数据表示清洗组织样本以从组织样本中去除第一染色剂并且采用第二染色剂(例如，特定染色剂)对组织样本染色之后的组织样本；配准(register)第一图像数据和第二图像数据以生成配准数据；接收指示第二图像数据中表示的感兴趣区域的数据；以及基于接收的指示第二图像数据中表示的感兴趣区域的数据和配准数据确定第一图像数据中的掩膜。指示第二图像数据中的感兴趣区域的数据的识别可以由用户(在本文中为标注)执行，或者可以通过算法执行。一旦识别出感兴趣区域并且在第二图像数据中创建了掩膜，则由于第一图像和第二图像的配准，其可以被转移到第一图像数据。

该方法当然可以在包含组织样本的大量载玻片上执行，从而在癌细胞或其他细胞周围构建具有基准真值掩膜的H&E载玻片训练集。可以将这样的数字图像集提供给神经网络模式识别器，作为用于训练模式识别器的训练集。神经网络模式识别器可以是例如先前引用的科学和专利文献中引用的设计。

在一些方面，该方法还可以包括以下特征中的一个或多个。可以将掩膜和第二图像数据提供给神经网络模式识别器，作为自动识别感兴趣区域的训练示例。指示第一图像数据中表示的感兴趣区域的数据可以是包括被确定为癌细胞的细胞的感兴趣区域。接收指示第一图像数据中表示的感兴趣区域的数据可以包括例如以软件中的算法或自动处理来处理第一图像数据。例如，处理第一图像数据可以包括确定具有预定值(例如，高于染色剂颜色阈值)的第一图像数据的像素。处理第一图像数据可以包括使用训练的分类器或模式识别器来处理第一图像数据。指示第一图像数据表示的感兴趣区域的数据可以是由用户输入的标注数据。接收指示第一图像数据中表示的感兴趣区域的数据可以包括向用户显示第一图像数据。接收指示第一图像数据中表示的感兴趣区域的数据可以包括并排显示第一图像数据和第二图像数据。

在一个方面，提供了一种用于生成与包含组织样本的显微镜载玻片相关联的基准真值掩膜和标签的方法。该方法假定，作为输入，准备组织样品(例如，***固定和石蜡包埋)并且将其施加到显微镜载玻片上。方法如下：

1.采用第一染色剂(例如，苏木精和曙红(H&E)，广泛知晓的细胞染色过程)对载玻片染色。

2.染色的载玻片由具有高分辨率数字相机的整个载玻片扫描仪扫描并且成像，通常以诸如10X、20X或40X的放大率M。采用第一染色剂(例如，H&E)染色的载玻片的该第一数字图像存储在存储器中，例如，在整个载玻片扫描仪的存储器或相关联的病理工作站的存储器中。

3.然后使载玻片经受清洗步骤以从载玻片上的组织中洗去第一染色剂。

4.将第二不同(即特定)染色剂施加在载玻片上。该第二或特定染色剂可以用于多种免疫组化化学(IHC)染色剂中的一种，诸如用于***癌的PIN4、或用于***上皮细胞转移的细胞角蛋白AE1/AE3、Verhoeff染色剂、Masson三色染色剂等。在本公开中，由术语“第二染色剂”表示的重新染色旨在涵盖由单个特定染色剂以及还由多个特定染色剂组成的第二染色剂，有时在本领域中称为“多重染色剂”。

5.采用第二染色剂染色的载玻片由具有电子相机的整个载玻片扫描仪以相同放大率等级M进行扫描和成像。载玻片的该第二数字图像再次存储在存储器中。

6.载玻片的第一数字图像和第二数字图像相对于彼此对准并且配准。假设组织在物理上是相同的，则残余对准误差应当接近零。

7.标注第一数字图像或第二数字图像，以便形成基准真值掩膜，基准真值掩膜是包围第一图像或第二图像中存在的肿瘤细胞的闭合的多边形区域的形式。例如，使用工作站上的工具将配准的第一数字图像和第二数字图像一起显示(叠加或作为图像对并排显示)并且由人类标注者使用，以在载玻片图像上生成(即绘制)基准真值掩膜并且为载玻片分配标签。例如，人类标注者可以在第二图像或第一图像上绘制癌细胞的多边形轮廓(即，掩膜)。附图的一个示例可以根据C.Gammage的2017年6月13日提交的序列号为15/621837的未决美国专利申请的教导。如果标注者在第二个图像上绘制掩膜，则该掩膜被转移到第一(H&E)图像，这是可能的，因为两个图像相互对准或配准。

在上述方法的一个变型中，执行步骤1-6，但是通过算法(即，使用软件指令自动地)从第二(特定染色剂)图像创建基准真值掩膜，并且将基准真值掩膜转移到第一(H&E)图像。可以使用以下几种可能的技术之一执行在第二图像中算法创建基准真值掩膜：

a)在特定染色剂颜色上对第二图像进行阈值处理，并且在具有染色剂颜色高于阈值的像素的区域周围绘制多边形；或

b)使用被训练以辨别染色组织样品图像中的癌细胞的神经网络或其他分类器，并且将分类器应用于第二图像。

在一个可能的实施例中，在创建基准真值掩膜和标签之后，在上述任一变型中，然后将具有掩膜和标签的第一数字图像(H&E)作为训练实例提供给被训练以辨别染色组织图像中的癌细胞的机器学习系统。

在另一方面，提供了一种用于生成用于组织样本的数字图像的基准真值掩膜的方法。将组织样品放置在显微镜载玻片上。方法包括以下步骤：

a)获得采用第一染色剂染色的组织样本的第一放大图像；

b)获得采用第二不同染色剂染色的组织样本的第二放大图像；

c)将第一放大图像和第二放大图像彼此配准；以及

d)在第二放大图像中形成基准真值掩膜，该基准真值掩膜是包围存在于第二放大图像的感兴趣细胞的区域的闭合多边形区域的形式；以及

e)将基准真值掩膜从第二放大图像转移到第一放大图像。

在又一方面，提供了一种工作站，其包括处理单元和显示器。显示器被配置为显示单个载玻片的配准数字放大图像，该单个载玻片包含分别采用(1)苏木精和曙红和(2)第二不同染色剂依次染色的组织样本。工作站配置有(a)用户界面工具，通过该用户界面工具，检查显示器上的配准数字放大图像的操作员可以对采用第二染色剂染色的组织样本的数字放大图像进行标注，以在包含感兴趣细胞的区域的所述图像的区域周围形成闭合多边形，从而创建基准真值掩膜；或者(b)代码，通过算法在图像中创建基准真值掩膜。工作站还被配置为将基准真值掩膜转移采用苏木精和曙红染色的组织样本的数字放大图像。

在另一方面，公开了一种用于在组织样本的数字放大图像中创建基准真值掩膜的系统。该系统组合地包括用于扫描包含组织样品的染色载玻片的整个载玻片扫描仪，配置有用于从组织样品中清洗H&E染色剂的装置和化学品的清洗台；以及如之前段落所述的病理工作站。

上面的病理学工作站或系统还可以包括机器学习系统，用于根据训练示例来构建机器学习模型，该训练示例来自采用苏木精和曙红染色的组织样本的数字放大图像。训练示例采用由本公开的病理工作站和方法标注的数字放大的病理图像的形式。

本文所述的方法可用于获得采用常用染色剂(例如苏木精和曙红)染色的组织样品的图像，其中，识别出通常难以在采用常用染色剂染色的图像中识别的感兴趣区域。这可以通过识别在采用不同染色剂(例如，免疫组织化学(IHC)染色)染色的相同组织样本的图像中的感兴趣区域来实现，通过由训练的操作员使用图像进行手动输入或通过使用图像处理技术，允许更容易地识别感兴趣区域。可以将采用常用染色剂染色的具有识别的感兴趣区域的图像用于训练神经网络，以识别采用相同染色剂染色的图像中的相对应的感兴趣区域。这种训练的神经网络可能能够使用人类操作者通常发现对于识别感兴趣区域是挑战性的图像来识别具有某种性质的感兴趣区域，例如包括癌细胞的感兴趣区域。以这种方式，使用诸如H&E的常用染色剂获得的图像可以用于识别通常不能够由人类操作员识别的感兴趣区域。

将意识到，可以以任何方便的形式来实现各方面。例如，各方面可以通过适当的计算机程序来实现，该计算机程序可以在适当的载体介质上承载，该适当的载体介质可以是有形的载体介质(例如，盘)或无形的载体介质(例如，通信信号)。各方面也可以使用适当的装置来实现，该适当的装置可以采取运行被布置为实现本发明的计算机程序的可编程计算机的形式。可以组合各方面，使得可以在另一方面中实现在一个方面的上下文中描述的特征。

附图说明

图1是包括在实践该方法的病理工作站的实验室环境的图示。

图2是示出根据一个实施例的用于生成基准真值掩膜的方法的流程图。

图3是并排显示的相同组织样品的配准H&E和IHC放大图像的图示，其中，IHC图像具有指示组织样品中的癌细胞的对比度较暗的区域。

图4是方法的第二实施例的流程图，其中，在第二放大图像(例如，IHC图像)中通过算法创建基准真值掩膜。

图5是组织样本图像的一部分的图示，其中，在感兴趣区域(诸如肿瘤细胞)上通过算法绘制或创建掩膜。将理解，对于某些组织样本，可能存在针对给定载玻片图像创建的多于一个掩膜。

图6是图1的机器学习系统的更详细的说明。

具体实施方式

现在将注意力转向图1，图1是在其中实践该方法的实验室100环境的图示。将通常被***固定并且通常被石蜡包埋的组织样品放置在显微镜载玻片102上，并且将组织样品放置到将染色剂施加到组织样品的染色器104中。用于将H&E、IHC和其他特定染色剂施加到组织样本的商业染色器是已知的，并且从许多供应商处可获得。最初，染色器104采用H&E染色剂对载玻片染色，并且将盖玻片(cover slip)放置在组织样品上。然后，如105所示，将载玻片提供给整个载玻片扫描仪106。这种扫描仪也是广泛知晓的，并且从许多供应商处可获得。整个载玻片扫描器106以诸如10X、20X或40X的用户指定放大率扫描载玻片。整个载玻片扫描仪包括数字相机，用于捕获样本的放大彩色数字图像。然后，对H&E染色的载玻片的数字放大图像进行存储，在整个载玻片扫描仪106中本地地、在云网络中或在病理工作站110的本地硬盘114上。

在由整个载玻片扫描仪106扫描之后，载玻片随后被送至包含清洗装置和相关联的化学药品的清洗台108以及受过训练的人员，以洗出(即去除)H&E染色剂，使得可以采用第二不同染色剂(诸如特定染色剂，例如IHC染色剂或多重染色剂)重新染色载玻片。例如。清洗台108包括装置和化学药品，使得用户可以执行任何公知的、从组织样本中清洗H&E染色剂的程序。在一个示例中，采用以下程序：

1.将载玻片浸入二甲苯中以除去盖玻片。

2.一旦除去盖玻片，采用二甲苯冲洗载玻片几次。然后采用EtOH对载玻片执行2至3次冲洗，然后采用水冲洗几次。大多数曙红通常在水中冲洗掉。现在将载玻片放入酸性酒精中一或两分钟。再次用水冲洗载玻片。

在执行用于从组织样本中清洗H&E染色剂的程序之后，然后如109所示将载玻片送回染色器104，并且采用第二不同或特定染色剂(例如，IHC染色剂)对载玻片进行染色，然后如105所示将其送至整个载玻片扫描仪106。载玻片在扫描仪106中以与第一(H&E)图像相同的放大率被扫描和成像，并且采用第二不同染色剂染色的载玻片的第二数字放大图像被存储在例如扫描仪中的存储器中、云中或工作站110的硬盘114上。

然后将组织样本的两个数字放大图像彼此配准。可以任何方便的方式执行配准，例如，使用公知的图像处理技术来确定图像中各种关键特征(诸如高对比度区域、拐角、边界等)的X/Y坐标，使得图像之一的每个关键特征的X/Y像素位置可以与另一图像中相同关键特征的X/Y像素位置相关或匹配。在一个实施例中，使用SIFT(特征提取方法)来确定具有锐度或颜色分布梯度的区域，以识别图像中的关键特征或位置(例如，10个关键特征)并且确定匹配特征向量。针对两个原因来执行配准步骤：1)使得第一图像118和第二图像120以协调的方式分别地(图1)可以在工作站的显示器112上并排显示或彼此重叠显示，以及2)当用户标注一个图像(通常是第二(IHC)图像120)以绘制掩膜时，可以将掩膜(多边形)中每个顶点的X/Y位置转移到第一(H&E)图像中。工作站包括用户界面工具，该用户界面工具包括键盘116、鼠标和显示器112，以促进图像的标注，以对于样本绘制掩膜并且分配标签，例如，“癌性”。

在执行对于样本生成掩膜并且分配标签的标注处理之后，在一个实施例中，具有掩膜的组织样本的标注H&E图像被提供给机器学习系统130，作为训练系统130中的机器学习模型的训练示例。该方面将在本文档的后面部分结合图6进行更详细的描述。

图2是示出使用以上描述的图1的系统根据一个实施例的用于生成染色组织样本中的基准真值掩膜的方法的流程图。在步骤202中，采用H&E染色剂对样本进行染色。在步骤204，在整个载玻片扫描仪106中以放大率M(例如，10X、20和/或40X)扫描包含染色组织样本的载玻片。扫描仪产生第一数字(H&E)图像118。在步骤206，例如使用图1的清洗台108从样本清洗H&E染色剂。在步骤208，例如经由图1的染色器104将第二不同染色剂施加到样本。第二染色剂可以是例如IHC染色剂、细胞核染色剂或与组织类型或讨论的可能疾病状态相关的一些其他特定染色剂。在步骤210，采用整个载玻片扫描仪扫描载具有采用第二不同染色剂染色的样本的载玻片。通常以与采用H&E染色时扫描载玻片相同的放大率M来扫描载玻片，然而也可能以一个放大率进行扫描，然后对图像数据进行下采样或上采样以获得可以使用的其他放大率的数字图像数据。在图1和图2中，第二数字图像以120表示。

如上所述，在步骤212，将两个数字图像彼此配准。

在步骤214，例如使用用户界面工具和配准图像的并排显示执行基准真值掩膜的创建。用户在工作站112上标注第一数字图像或第二数字图像，如图1所示。用户标注用于生成数字图像中的基准真值掩膜。如果在第二图像中创建了掩膜，则将其转移到第一(H&E)图像中。

图3是并排显示的相同组织样品的配准的H&E 118和IHC 120放大图像的图示，其中，IHC图像具有指示组织样品中的癌细胞的对比度较暗的区域。作为标注处理的一个示例，现在参考图3，用户查看两个数字图像的并排显示，并且通过检查IHC图像120可以看到IHC图像中高对比度的深褐色区域300，然后使用简单的绘图工具(使用键盘或更典型地使用鼠标(或触敏显示器112))在高对比度区域300内的暗区域周围绘制多边形。可以采用先前引用的Gammage的美国专利申请的技术来完成该绘制。用户可能希望放大以更加详细地查看区域300。当在显示器上使用缩放控件时，图像118和120两者一并放大并且保持配准或对准状态，使得用户可以在两个图像中看到相同的细节。当在图像的一个图像中绘制多边形区域时，由于这两个图像已配准，因此在图像的另一个图像中相同像素X/Y地址上自动创建掩膜。还要注意，在该方法中，由于仅使用了一个组织样本，并且依次以H&E和IHC染色剂对其进行染色和成像，因此两个图像118和120是相同的精确组织。图5是在具有各种组织特征502的组织样本500的图像中创建的掩膜504(线)的说明性示例。掩膜504是具有由顶点和连接线组成的任何任意边界的闭合多边形区域。通常，掩膜的形状高度不规则，以及由操作工作站并且使用工作站的用户界面上的简单控件的用户(通常是受过训练的病理学家)根据图2的过程手动地构造，以绘制掩膜的周边。IHC图像中掩膜边界的顶点的X/Y位置存储在存储器中，使得可以将掩膜转移到第一(H&E)图像。

结合图4描述这种自动或通过算法生成基准真值掩膜的方法的第二实施例。直到图像配准步骤为止，该方法与图6的过程基本上相同。具体地，在步骤402，采用H&E对组织样本进行染色，在步骤404，在整个载玻片扫描仪中以放大率M对样本进行扫描，并且在118生成第一数字H&E图像。在步骤406，从样本中清洗H&E染色剂。在步骤408，将载玻片返回到图1的染色器中，并且将第二不同染色剂施加到样品上，例如，IHC染色剂。在步骤410，在整个载玻片扫描仪中以放大率M扫描具有第二染色剂的载玻片，产生第二数字图像120。在步骤412，如上所述，第一数字图像和第二数字图像彼此配准。

在步骤414，在第二数字图像120中通过算法生成基准真值掩膜。在软件中对第二(IHC)图像执行图像分析或分类方法，以识别图像中的癌细胞，然后在这些细胞周围构造闭合多边形。闭合多边形的构造可能仅限于检测具有最小尺寸的区域中的癌细胞，从而创建更多有用的掩膜，并且避免创建孤立细胞或小细胞群的掩膜。可以使用以下几种可能的技术之一执行在第二图像中基准真值掩膜的算法创建：

a)在特定染色剂颜色上对第二图像进行阈值处理，并且在具有染色剂颜色高于阈值的像素的区域周围绘制多边形；或

b)使用被训练以辨别染色组织样品图像中的癌细胞来找到第二图像中的癌细胞的神经网络或其他分类器。例如，基于染色数字图像中的细胞形态和像素强度变化，用于自动检测数字图像中的感兴趣区域和癌细胞的神经网络和其他分类方法在本领域中是已知的，并且因此，为了简洁在此省略详细描述。参见例如2017年2月23日提交的PCT/US2017/019051和先前引用的科学和专利文献的讨论。

一旦执行了上述任何一种方法，就存储形成掩膜的多边形的顶点的X/Y坐标。然后可以通过在IHC图像120中示出掩膜来在工作站显示器上再现掩膜。

另外，从IHC图像算法创建的掩膜然后被转移到H&E图像120。这可能是由于两个图像的配准，以及因为IHC图像120中顶点的已知X/Y位置直接转换到H&E图像。该步骤对于为图1的机器学习系统130生成训练实例很有用。具体地，图6中更详细地示出的机器学习系统130包括组织样本的放大的H&E数字图像形式的大量训练实例600，每个样本具有掩膜或边界(在图6中显示为小矩形)，其描绘了该区域癌细胞的基准真值存在。训练实例600用于训练分类引擎，诸如卷积神经网络(CNN)模式识别器602，以辨别训练实例600的类型(例如，***、乳腺、淋巴，脑或其他组织类型)的组织样本中癌细胞的存在。如604所示，将具有掩膜505(根据图2或图4过程创建)的H&E图像118添加到训练实例集600中。另外，一旦获得了适当数量的训练实例600，并且CNN模式识别器602的性能达到了高精度的点(并且通过适当的单独图像测试集进行了验证)，则可以使用CNN模式识别器602执行图4的步骤414并且生成掩膜505。训练集600可以从可以经受本公开的染色、重新染色和成像步骤的组织切片库中获得。

与仅使用H&E图像创建基准真值掩膜相比，特定染色(例如IHC)图像提供了对细胞和细胞核形态的更具体的洞察力，并且由于染色引起的感兴趣区域的对比度更高，因此更易于查看。与使用H&E和IHC染色的连续组织切片(通常相隔5微米)相比，本公开的重新染色方法提供以下优点：(1)可以以最小可能残留对准误差完美对准两个图像，以及(2)由于使用完全相同的组织，因此一个图像中存在的每个特征也存在于另一图像中。例如，如果一个载玻片中有一个很小的肿瘤区域，则可能在相邻的连续切片载玻片中不可见。然而，采用重新染色则不是这样。此外，重新染色方法允许对H&E和IHC图像进行几乎精确的配准，因此可以容易地将基准真值掩膜从IHC图像转换到H&E图像。

虽然在大多数情况下，预计组织样本将首先采用H&E染色，然后再采用第二特定染色剂染色，但这并不是绝对必要的，并且可能初始地采用特定染色剂(例如，IHC染色剂)进行染色，收集放大率M的数字图像，清洗掉特定染色剂，然后采用H&E重新染色，以及然后以放大率M捕获H&E图像。这种“反向”方式可能会导致H&E图像的图像质量降低，因为尝试清洗掉特定染色剂时会产生更多重新染色痕迹。