具体实施方式

还应该理解的是，除非指明是相反情况，否则在本文所要求保护的包括一个以上步骤或动作的任何方法中，所述方法的所述步骤或动作的顺序不必限于表述所述方法的所述步骤或动作的所述顺序。

如本文所用，除非上下文另有明确指示，否则单数形式“一(a/an)”和“该/所述”包括复数个指代物。同样，除非上下文另有明确指示，否则词语“或”旨在包括“和”。术语“包括”定义为包容性，如“包括A或B”是指包括A、B或A和B。

如本文在说明书和权利要求书中所用，“或”应理解为与上文定义的“和/或”具有相同的含义。例如，在分隔列表中的项目时，“或”或“和/或”应解释为具有包容性，即包含若干元素或元素列表中的至少一个元素，但也包含一个以上元素，以及可选地包含额外的未列出的项目。只有指明与之相反的术语，如“只有一个”或“恰好一个”，或者在权利要求中使用的“由...组成”，将指包含若干元素或元素列表中的恰好一个元素。一般来说，本文使用的术语“或者”只有在前面有“或”、“其中之一”、“只有一个”或“恰好一个”等排他性术语时，才应解释为表示排他性的替代选择(即“一个或另一个，但不是两个”)。在权利要求书中使用的“基本上由...组成”应具有在专利法领域使用的普通含义。

“包括”、“包含”、“具有”等术语可互换使用，且含义相同。同样，“包括”、“包含”、“具有”等可互换使用，且含义相同。具体而言，每个术语的定义都与普通美国专利法对“包括”的定义一致，因此每个术语都可理解为一个开放性术语，其含义为“至少以下”，并且也可理释为不排除额外的特征、限制、方面等。因此，例如“具有组件a、b和c的装置”是指所述装置至少包括组件a、b和c。同样，短语：“涉及步骤a、b和c的方法”是指所述方法至少包括步骤a、b和c。此外，尽管本文可以特定的顺序概述步骤和过程，但是本领域技术人员将认识到，所述顺序步骤和过程可能会有所不同。

如本文在说明书和权利要求书中所用，就一个或多个元素的列表而言，短语“至少一个”应理解为选自元素列表中任何一个或多个元素的至少一个元素，但不一定包括元素列表中具体列出的每个元素中的至少一个，也不排除元素列表中的任何元素组合。除了在短语“至少一个”所涉及的元素列表中具体确定的元素之外，该定义还允许其他元素可选地存在，无论这些元素与具体确定的元素相关与否。因此，作为一个非限制性实例，“A和B中的至少一个”(或者等效地，“A或B中的至少一个”，或者等效地，“A和/或B中的至少一个”)在一个实施例中可以指至少一个可选地包括一个以上的A，但没有B(以及选择性地包括B以外的元素)；在另一个实施例中，指至少一个选择性地包括一个以上的B，但没有A(以及选择性地包括A以外的元素)；在又一个实施例中，指至少一个选择性地包括一个以上的A，以及至少一个选择性地包括一个以上的B(以及选择性地包括其他元素)等。

如本文所用，术语“生物学样品”、“组织样品”、“标本”或类似的术语是指从包括病毒在内的任何生物体中获得的包括生物分子(例如蛋白质、肽、核酸、脂质、碳水化合物或其组合)在内的任何样品。其他生物体的实例包括哺乳动物(例如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物学样品包括组织样品(例如组织切片和组织的穿刺活检)、细胞样品(例如细胞学涂片，如子宫颈涂片或血液涂片或通过显微解剖获得)，或细胞级分、碎片或细胞器(例如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物学样品的其他实例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(例如口腔拭子)、或任何含有生物分子且从第一生物学样品导出的材料。在某些实施例中，本文使用的术语“生物学样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化处理的样品)。

本文使用的“斑点”或“点”是数字图像中的一些属性恒定或近似恒定的区域；在某种意义上，斑点中的所有像素可以认为是彼此相似。根据具体的应用和要检测的原位信号，一个“点”通常包括5-60个像素，由此，例如一个像素可对应于约0.25微米乘以0.25微米的组织切片。

如本文所用，短语“双原位杂交”或“DISH”是指使用两个探针检测两个不同的靶序列的原位杂交(ISH)方法。通常，这两个探针的标记不同。在一些实施例中，DISH可以是一种通过将肿瘤样品与HER2特异性探针和17号染色体着丝粒探针接触，并确定HER2基因组DNA与17号染色体着丝粒DNA的比率(例如HER2基因拷贝数与17号染色体着丝粒拷贝数的比率)来确定所述HER2基因扩增状态的测定。所述方法包括对HER2基因组DNA和17号染色体着丝粒DNA中的每一者使用不同的可检测标记和/或检测系统，从而可以在单个样品中单独地、可见地检测到每一者。

如本文所用，术语“EGFR”是指表皮生长因子受体，其是ErbB受体家族的成员，是四个密切相关的受体酪氨酸激酶的亚族：EGFR(ErbB-1)、HER2/neu(ErbB-2)、Her 3(ErbB-3)和Her 4(ErbB-4)

如本文所用，术语“图像数据”涵盖从生物组织样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“图像”、“图像扫描”或“扫描的图像”涵盖从生物组织样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“多通道图像”或“多路图像”涵盖从生物组织样品中获得的数字图像，在所述样品中，使用特定的荧光染料、量子点、染色体等同时对细胞核和组织结构等不同的生物结构进行染色，其中每一者都发出荧光或可以其他方式在不同的光谱带中检测到，从而构成多通道图像中的通道之一。

如本文所用，术语“探针”或“寡核苷酸探针”是指用于检测互补核酸靶基因的核酸分子。

如本文所用，术语“载片”是指任何合适尺寸的、可将生物学标本置于上面进行分析的任何基质(例如，全部或部分由玻璃、石英、塑料、硅等制成的基质)，更特别地是指标准3x 1英寸显微镜载片或标准75mm x25mm显微镜载片等“显微镜载片”。可以置于载片上的生物学标本的实例包括但不限于细胞学涂片、薄的组织切片(例如来自活检)和生物标本阵列，例如组织阵列、细胞阵列、DNA阵列、RNA阵列、蛋白质阵列或其任何组合。因此，在一个实施例中，将组织切片、DNA样品、RNA样品和/或蛋白质置于载片的特定位置上。在一些实施例中，术语“载片”可指SELDI和MALDI芯片，以及硅片。

如本文所用，术语“特异性结合实体”是指特异性结合对的成员。特异性结合对是特征在于彼此结合以实质性地排除与其他分子结合的分子对(例如，特异性结合对的结合常数可以比生物学样品中其他分子的结合对的两个成员中的任一者的结合常数大至少10^3M-1、10^4M-1或10^5M-1)。特异性结合部分的特定实例包括特异性结合蛋白(例如，抗体、凝集素、链霉亲和素和蛋白A等抗生物素蛋白)。特异性结合部分也可以包括由这种特异性结合蛋白特异性结合的分子(或其部分)。

如本文所用，术语“染色剂”、“染色”或类似的术语通常是指对生物学标本的任何处理，所述处理检测和/或区分生物学标本中特定分子(例如脂质、蛋白质或核酸)或特定结构(例如正常或恶性细胞、细胞质、细胞核、高尔基氏体或细胞骨架)的存在、位置和/或量(例如浓度)。例如，染色可以将生物学标本的特定分子或特定细胞结构与周围部分进行比对，并且染色的强度可以测定所述标本中特定分子的量。染色不仅可以和明视野显微镜一起使用，而且还可以和相衬显微镜、电子显微镜和荧光显微镜等其他观察工具一起使用，以用于辅助观察分子、细胞结构和生物体。一些由系统进行的染色可以让细胞的轮廓清晰可视。由所述系统进行的其他染色可依赖于染色的且不对其他细胞组分染色或对其他细胞组分相对极少染色的特定细胞组分(例如分子或结构)。由所述系统进行的各类染色方法的实例包括但不限于，组织化学方法、免疫组化方法和基于核酸分子间的杂交反应等分子间反应(包括非共价结合相互作用)的其他方法。特定的染色方法包括但不限于，初级染色方法(如H&E染色、子宫颈染色等)、酶联免疫组化方法，以及原位RNA和DNA杂交方法，例如荧光原位杂交(FISH)。

如本文所用，术语“靶标”是指确定或可以确定存在、位置和/或浓度的任何分子。靶分子的实例包括蛋白质、核酸序列和半抗原，例如与蛋白质共价结合的半抗原。通常，使用一个或多个特异性结合分子的共轭物和一个可检测的标记来检测靶分子。

概述

本公开提供了用于检测细胞内，如自动选择的进行评定的细胞内基因畸变(例如高拷贝数或染色体异常)的系统和方法。在一些实施例中，自动选择进行评定的细胞位于肿瘤组织区域内，所述肿瘤组织区域包括满足预定蛋白生物标记物染色标准的细胞。通过自动选择细胞进行评定，可减少或消除主观性。据信，由于与人工分析方法相比，所述公开的系统和方法利用了比较多的数据，因此本文所述的自动化系统和方法能够改善患者的治疗成效，并改善治疗方案的选择。

尽管本文的实例可指特定的组织和/或应用特定的染色剂或检测探针来检测特定生物标记物(并因此检测疾病)，但本领域技术人员将认识到，可以应用不同的组织和不同的染色剂/检测探针来检测不同的标记物和不同的疾病。例如，尽管某些实例可以指量化对应于HER2和Chr17核酸生物标记物的信号，但是本文所述的系统和方法可以应用于检测和量化来自单个核酸探针、两个或多个核酸探针的任意组合等的信号。事实上，本文所述的系统和方法可适用于使用任何ISH测定或双ISH测定(包括那些利用作为标记的染色体或荧光团或其任意组合的测定)来确定基因拷贝数或染色体畸变。

在乳腺癌和/或胃癌的HER2状态的背景下，以HER2为靶标的治疗在临床上取得了很好的效果，进而说明了精准判断HER2状态的必要性。由于曲妥珠单抗和拉帕替尼对过表达HER2的癌细胞有相对特异性的效果，因此患者的耐受性良好且毒副作用极小。因此，确定乳腺癌或胃癌的HER2状态是决定治疗方案的重要一步。

HER2蛋白在人的正常和肿瘤性乳腺组织的细胞膜中均有表达。人类的HER2基因位于17号染色体上，编码HER2蛋白。大约15％至25％的乳腺癌中会发生HER2蛋白的过表达、HER2基因的扩增或两者，这被认为与侵袭性肿瘤行为有关。乳腺癌细胞中HER2基因的拷贝数至多可达25个至50个，HER2蛋白至多可增加40倍至100倍，从而使得200万个受体在肿瘤细胞表面表达。因此，正常组织和肿瘤之间HER2表达的差异有助于将HER2定义为理想的治疗靶标。

传统上，检查包括确定细胞膜染色完整性在内的组织切片的模式和染色强度(参见图12)。在针对所述HER2蛋白的存在进行染色的乳腺组织的背景下，完全包围细胞膜的染色记为“2+”或“3+”分。所述细胞膜的部分、不完全染色记为“1+”分。最难解释的区域是落于强度水平“1+”和“2+”之间的边界线的情况，或者是不同表达水平交织在一起的情况。在这些情况下，使用ISH(如HER2双ISH)的替代测试可用于进一步解释。

通过双ISH染色可实现可视化，其中HER2以黑色离散信号(SISH)出现，Chr17以红色信号(Red ISH)出现在正常细胞的细胞核以及癌细胞中。该策略可以根据HER2基因的染色体状态来确定其状态。在肿瘤细胞核中计数两种探针的拷贝数，以HER2/17号染色体的比率报告作为计数结果，进而确定HER2的扩增状态(HER2/Chr17比率≥2.0属于扩增，比率<2.0属于非扩增)。

人工处理时，病理学家在显微镜下目视观测双ISH组织切片，并目视选择一组二十到四十个肿瘤细胞，记录每个细胞中双探针(红探针和银探针/点)的计数，计算银/黑点之和与红点之和的比率，并将所述计算出的比率与阈值(＝2.0)进行比较，进而将患者组织切片分为双ISH阳性或双ISH阴性。在算法工作流程中，使用数字显微镜或整个载片扫描仪(如本文所述)将双ISH组织切片数字化，并由病理学家在可查看整个载片的软件应用程序(例如Ventana Medical Systems,Inc.的Virtuoso软件，Tucson,AZ)上审查数字图像，并手动选择图像区域进行分析。病理学家对二十个或四十个细胞进行数字化标注，从而计算出载片评分。利用可自动检测并输出每个细胞中的红点和黑/银点数量的图像分析算法对所述标注的细胞进行算法分析，并采用与人工方法相同的评分准则，输出载片评分和载片的双ISH阳性/阴性状态，供病理学家进一步审查和批准。这些过程被认为是比较耗时的。本公开提供了一种较快速、有效的工作流程，用于在一些实施例中确定双ISH的阳性/阴性状态。与人工过程相比，所述工作流程能够分析更多的细胞和/或其他结构、加强分析、改善患者的治疗和成效。

鉴于上述情况，在一些实施例中，本公开提供了用于双ISH载片临床解读的系统和方法，其中(i)自动选择要评分的细胞，从而减轻了人工选择细胞的主观性；(ii)与传统方法相比，评分时可以考虑增加的细胞数量，即可以分析20个以上的细胞；以及(iii)可以向病理学家提供相关反馈(如可视化)，以便进行更稳定(和更快速)的分析。最终，本公开的系统和方法能够增强患者护理并改善患者的治疗成效。

本公开的至少一些实施例涉及用于分析从生物学样品(包括组织样品)捕获的图像数据的数字病理系统和方法，所述样品用一种或多种初染剂(如苏木精和曙红(H&E))和一种或多种检测探针(如含有特异性结合实体的探针，所述实体有助于标记所述样品内的靶标)染色。图1示出了一个根据一些实施例的用于成像和分析标本的数字病理系统200。在一些实施例中，数字病理系统包括例如数字数据处理设备(如计算机，包括用于从载片扫描仪、照相机、网络和/或存储介质接收图像数据的接口)。在其他实施例中，数字病理系统200可以包括成像设备12(如具有扫描承载标本的显微镜载片装置的设备)和计算机14，据此，所述成像设备12和计算机可以通信的形式联接在一起(如直接地，或通过网络20间接地联接)。所述计算机系统14可以包括台式计算机、笔记本电脑、平板电脑或类似物、数字电子电路、固件、硬件、存储器、计算机存储介质、计算机程序或指令集(如所述程序存储在所述存储器或存储介质内)、一个或多个处理器(包括编程处理器)，以及任何其他硬件、软件或固件模块或其组合。例如，所述图1中示出的计算系统14可以包括一台具有显示装置16和外壳18的计算机。所述计算机可以二值形式存储数字图像(存储在本地，如存储器中、服务器上，或另一个网络连接设备上)。所述数字图像也可以分为像素矩阵。所述像素可以包括由比特深度定义的一个或多个比特的数字值。本领域技术人员将认识到，可以利用其他计算机设备或系统，并且本文所述的计算机系统可以通信的形式与附加组件(如标本分析仪、显微镜、其他成像系统、自动化载片制备设备等)联接。本文将进一步对这些附加组件中的一些附加组件以及各种可利用的计算机、网络等进行说明。

一般来说，所述成像设备12(或包括存储于存储器或一个或多个存储器中的预扫描的图像的其他图像源)可以包括但不限于一个或多个图像捕捉装置。图像捕捉装置可以包括但不限于照相机(如模拟相机、数字相机等)、光学器件(如一个或多个透镜、传感器聚焦透镜组、显微镜物镜等)、成像传感器(如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)、感光胶片等。在数字实施例中，所述图像捕捉装置可以包括多个镜头，这些镜头可协作证明具备即时对焦功能。图像传感器，例如，CCD传感器可以捕获所述标本的数字图像。在一些实施例中，所述成像设备12是明视野成像系统、多光谱成像(MSI)系统或荧光显微镜系统。所述数字化组织数据可以例如由图像扫描系统生成，例如VENTANAMEDICAL SYSTEMS，Inc.(Tucson,Arizona)的VENTANA iScan HT扫描仪或其他合适的成像设备。本文将进一步描述其他成像设备和系统。本领域技术人员将认识到，由所述成像设备12采集的数字彩色图像通常可以由基本彩色像素组成。每个彩色像素均可以在三个数字分量上进行编码，每个分量均包含相同数量的比特数，且每个分量均对应于一种原色，一般是红、绿或蓝，也用术语“RGB”分量表示。

图2概述了在本公开的数字病理系统200内利用的各种模块。在一些实施例中，所述数字病理系统200采用具有一个或多个处理器220和至少一个存储器201的计算机设备或计算机实现的方法，所述至少一个存储器201存储了用于由一个或多个处理器执行的非暂时性计算机可读指令，以使一个或多个处理器(220)执行一个或多个模块(如模块202至210)中的指令(或存储数据)。

同样参照图2，在一些实施例中，所述系统可以包括：(a)一个成像模块202，其适于生成染色生物学样品的图像数据，如针对一种或多种蛋白生物标记物的存在进行染色的第一图像和针对一种或多种核酸生物标记物的存在进行染色的第二图像；(b)解混模块203，其用于将采集的具有一个以上染色的图像解混为单个通道图像；(c)细胞检测和分类模块204，其用于检测和分类染色的细胞，例如针对细胞核或膜蛋白生物标记物进行染色的细胞；(d)评分模块205，其用于评估染色强度和/或导出表达评分；(e)组织区域识别模块206，其用于识别不同的组织区域，例如肿瘤组织区域；(f)图像配准模块207，其用于将第一图像中的区域映射到第二图像中的相应区域；(g)点检测模块208，其用于识别对应于一种或多种核酸生物标记物的信号；(h)点分类模块209，其用于将识别的信号分类为对应于特定核酸生物标记物的信号；(i)点计数和分类模块210，其用于返回细胞或细胞核内所有检测和分类的点的总计数；以及(j)可视化模块211，其用于基于计数的点和由此导出的任何数据生成重叠图像或某些图形(如分组直方图)。本文将更详细地描述这些模块中的每一者。

参照图2至图5，本公开提供了一种计算机实现的系统和方法，其用于评定针对一种或多种生物标记物的存在进行染色的生物学样品的图像内的细胞是否具有基因畸变，如基因的异常高拷贝数、某些染色体异常等。在一些实施例中，所述系统运行多个模块(如模块204和模块205)，以识别针对一种或多种生物标记物的存在进行染色的第一图像中的满足预定蛋白生物标记物的表达水平的细胞，如预定最低染色强度水平(步骤311)。例如，在HER2蛋白生物标记物的背景下，使用模块204和模块205识别那些满足最低膜染色强度水平的染色的细胞。按照该实例，并根据确立的最低阈值，满足最低膜染色强度水平的细胞很可能表现出异常的HER2基因状态。

随后，识别所述第一图像中涵盖满足预定蛋白生物标记物表达水平的识别的细胞的组织区域(如肿瘤组织区域)(步骤312；也可参见步骤412)(例如用组织区域识别模块206)。继续上述实例，在HER2的背景下，导出涵盖满足最低膜染色强度阈值的识别的细胞的上皮肿瘤组织区域。据信，在这些识别的肿瘤组织区域中，很可能会发现具有基因畸变的细胞。

在一些实施例中，将所述识别的组织区域从所述第一图像映射到所述第二图像中的相应区域(步骤313；也可参见步骤413)(例如使用图像配准模块207)。例如，如果所述第一图像是第一组织连续切片，所述第二图像是第二组织连续切片，则所述图像配准技术允许所述第一图像中识别的结构、对象或区域在所述对应的第二图像中被识别。在上述实例中，完成图像配准后，将那些识别的上皮肿瘤组织区域从所述第一图像转入所述第二图像。通过这种方式，可分析所述第二图像内属于识别的上皮肿瘤组织区域的细胞的基因畸变。

接下来，使用多个模块(如模块208、模块209和模块210)在映射的组织区域内检测和/或量化对应于一种或多种核酸生物标记物的信号(步骤314；也可参见步骤414)。在一些实施例中，对应于一种或多种核酸生物标记物的信号为点或斑点。然后，检测到的和/或量化的信号可用于评定映射的组织区域中的细胞核(如肿瘤细胞核)具有基因畸变，例如高拷贝数或染色体异常(步骤315；也可参见步骤415)。在HER2实例的背景下，在已识别和配准的具有例如正常的基因拷贝和倍性状态(HER2的2个信号和17号染色体的2个信号)的上皮肿瘤组织区域内的细胞核；HER 2扩增；17号染色体多体性；和/或17号染色体多体性与HER2扩增。

随后，可使用可视化模块211将所进行的评定(步骤315；也可参见步骤415)可视化，或者可将所进行的评定存储在数据库240中(如，存储单个细胞核及其位置的评定；存储整个映射的组织区域的评定等)。例如，可以生成重叠图像，然后叠加到整个切片图像或其任何部分。在HER2的背景下，并仅以举例的方式，可将黑点与红点比率大于2的那些细胞可视化为具有一种颜色，而可将比率小于或等于2的那些细胞可视化为具有第二种不同的颜色。同样，还可以生成用于存储或输出的计算比率的分组直方图。

本领域技术人员将认识到，图2中未描述的附加模块或数据库可纳入到所述工作流程中。例如，可以运行图像预处理模块，以将某些滤波器应用于采集的图像或识别所述组织样品内的某些组织学和/或形态学结构。此外，可以利用目标区域选择模块来选择图像的特定部分实施分析。

图像采集模块

在一些实施例中，参照图2，所述数字病理系统200运行成像模块202以捕获具有一种或多种染色剂的生物学样品的图像或图像数据(例如来自扫描设备12)(步骤310；也可参见步骤410)。在一些实施例中，接收或采集的图像是RGB图像或多光谱图像(例如多路明视野和/或暗视野图像)。在一些实施例中，所述捕获的图像存储在存储器201中。

图像或图像数据(本文可互换使用)可使用所述扫描设备12采集，例如实时采集。在一些实施例中，如本文所述，所述图像是从显微镜或其他能够捕获承载标本的显微镜切片的图像数据的仪器中采集。在一些实施例中，使用能够扫描图像贴片的扫描仪等二维扫描仪，或者VENTANA DP 200扫描仪等能够逐行扫描图像的线型扫描仪来采集图像。替代地，所述图像可以是先前已经采集(如扫描)并存储于一个或多个存储器201中的图像(或者通过网络20从服务器中检索的图像)。

在一些实施例中，所述接收到的作为输入的图像是整个切片图像。在其他实施例中，所述接收到的作为输入的图像是整个切片图像的一部分。在一些实施例中，整个切片图像被分解成几个部分，如贴片，并且每个部分或贴片可以单独分析(如使用图2中列出的模块和至少图3和图4中示出的方法)。在单独分析所述部分或贴片后，每个部分或贴片的数据可以单独存储和/或在整个载片水平下报告。

所述生物学样品可以通过应用一种或多种染色剂进行染色，并且由此产生的图像或图像数据包括对应于一种或多种染色剂中每一者的信号。在一些实施例中，所述输入图像是仅具有单一染色剂的单纯形图像(如，用3,3'-二氨基联苯胺(DAB)染色)。在一些实施例中，所述生物学样品可以在两种或多种染色剂的多路分析中染色(从而提供多路图像)。在一些实施例中，针对至少两种生物标记物对所述生物学样品进行染色。在其他实施例中，针对至少两种生物标记物的存在对所述生物学样品进行染色，并且还用初染剂(如苏木精)对所述生物学样品进行染色。在一些实施例中，针对至少一种蛋白生物标记物和至少两种核酸生物标记物(如DNA、RNA、microRNA等)的存在对所述生物学样品进行染色。

在一些实施例中，所述生物学样品针对一种或多种蛋白生物标记物的存在以免疫组化测定进行染色。例如，可以针对人表皮生长因子受体2蛋白(HER2蛋白)的存在对所述生物学样品进行染色。目前，美国有两种食品和药物管理局(FDA)批准的用于HER2评定的方法。HerceptTest^TM(DAKO,Glostrup Demark)和HER2/neu(4B5)兔单克隆一级抗体(Ventana,Tucson,Arizona)。

在其他实施例中，针对雌激素受体(ER)、孕激素受体(PR)或Ki-67的存在对所述生物学样品进行染色。在其他实施例中，针对EGFR或HER3的存在对所述生物学样品进行染色。Zamay等人“Current and Prospective Biomarkers of Long Cancer”，Cancers(Basel)，2018年11月；9(11)描述了其他蛋白生物标记物的实例，其公开内容通过引用整体合并于本文。Zamay描述的蛋白生物标记物的实例包括CEACAM、CYFRA21-1、PKLK、VEGF、BRAF和SCC。

在其他实施例中，生物学样品针对一种或多种核酸，包括mRNA的存在在原位杂交(ISH)测定中进行染色。美国专利第7,087,379号(其公开内容通过引用整体合并于本文)描述了用ISH探针对样品进行染色进而可以观察和检测代表单个基因拷贝的单个斑点(或点)的方法。在一些实施例中，通过将细胞或组织样品暴露在多个核酸探针上来同时分析多个靶基因，所述核酸探针已经由多个不同的核酸标签标记。

例如，来自Ventana Medical Systems,Inc.(Tucson,AZ)的INFORM HER2双ISHDNA探针混合物测定旨在通过计算所述HER2基因与17号染色体的比率来确定HER2基因的状态。在人乳腺癌组织标本或人胃癌组织标本等福尔马林固定的石蜡包埋组织样品上使用双色显色原位杂交技术检测所述HER2和17号染色体探针。对于所述HER2双ISH测定，信号为银色信号(“黑色信号”)和红色信号，分别对应于输入图像中的黑点和红点。对于所述HER2双ISH测定，基于细胞的评分涉及对所选细胞内的红点和黑点进行计数，其中所述HER2基因表达通过黑点表达，并且17号染色体通过红点表达。

在一些实施例中，针对至少HER2蛋白生物标记物，以及针对HER2和17号染色体核酸生物标记物对所述生物学样品进行染色。在一些实施例中，针对至少HER2蛋白生物标记物、针对HER2和17号染色体核酸生物标记物，以及针对至少一种附加蛋白生物标记物(如ER、PR、Ki-67等)对所述生物学样品进行染色。例如，第一连续组织切片可以针对所述HER2蛋白生物标记物(和可选地其他蛋白生物标记物)进行染色，并且第二连续组织切片可以使用HER2双ISH探针混合物进行染色(如参见图7A和图7B)。在一些实施例中，针对至少EGFR蛋白生物标记物，以及针对EGFR/CEP核酸生物标记物对所述生物学样品进行染色。

显色染色剂可包括苏木精、曙红、固红或3,3'-二氨基联苯胺(DAB)。在一些实施例中，所述组织样品用初染剂(如苏木精)染色。在一些实施例中，所述组织样品用二次染色剂(如曙红)染色。在一些实施例中，所述组织样品在IHC测定中针对特定生物标记物进行染色。当然，本领域技术人员将认识到，任何生物学样品也可以用一种或多种荧光团染色。

典型的生物学样品在对所述样品进行染色的自动化染色/测定平台中进行处理。市场上有多种适合用作染色/测定平台的商用产品，Ventana Medical Systems,Inc.(Tucson,AZ)的Discovery^TM产品就是其中一个实例。所述照相机平台还可以包括明视野显微镜，例如Ventana Medical Systems,Inc.的VENTANA iScan HT或VENTANA DP 200扫描仪，或任何具有一个或多个物镜和数字成像器的显微镜。可以使用其他技术捕获不同波长的图像。进一步地，适用于染色生物学标本成像的照相机平台是本领域中已知的，并且可从Zeiss、Canon、Applied Spectral Imaging等公司商购获得，并且这种平台可容易地适于在本主题公开的系统、方法和设备中使用。

在一些实施例中，对所述输入图像进行掩蔽，使得所述图像中只存在组织区域。在一些实施例中，生成组织区域掩模以从组织区域中掩蔽非组织区域。在一些实施例中，可以通过识别所述组织区域并自动或半自动地(即以最小的用户输入)排除背景区域(如对应于无样品玻璃的整个切片图像区域，例如仅存在来自成像源白光的区域)来创建组织区域掩模。本领域技术人员将认识到，除了从组织区域掩蔽非组织区域外，所述组织掩蔽模块还可以根据需要掩蔽其他目标区域，例如识别为属于某种组织类型或属于疑似肿瘤区域的组织的一部分。在一些实施例中，使用分割技术通过从所述输入图像中的非组织区域对组织区域进行掩蔽来生成组织区域掩蔽图像。同样，合适的分割技术在现有技术中也是已知的，(参见Digital Image Processing，第三版，Rafael C.Gonzalez、Richard E.Woods，第10章，第689页和Handbook of Medical Imaging，Processing and Analysis，IsaacN.Bankman Academic Press，2000，第2章)。在一些实施例中，利用图像分割技术对所述图像中的数字化组织数据和载片进行区分，所述组织对应于所述前景并且所述载片对应于所述背景。在一些实施例中，所述组件计算整个切片图像中的目标区域(AOI)，以检测AOI中的所有组织区域，同时限制所分析的背景非组织区域的量。多种不同的图像分割技术(如基于HSV颜色的图像分割、实验室图像分割、均值偏移彩色图像分割、区域生长、水平集方法、快速推进法等)可用于确定例如组织数据和非组织或背景数据的边界。基于至少部分分割技术，所述组件还可以生成可用于识别数字化载片数据中那些对应于所述组织数据的部分的组织前景掩模。替代地，所述组件可生成用于识别那些数字化载片数据中与组织数据不对应的部分的背景掩模。

该识别可以通过图像分析操作(例如边缘检测等)实现。组织区域掩模可用于去除图像(例如非组织区域)中的非组织背景噪声。在一些实施例中，所述组织区域掩模的生成包括以下一个或多个操作(但不限于以下操作)：计算低分辨率分析输入图像的亮度、生成亮度图像、将标准偏差滤波器应用到所述亮度图像、生成滤波后的亮度图像，并将阈值应用到滤波后的亮度图像，从而将亮度高于给定阈值的像素设定为1，并将低于阈值的像素设定为0，以及生成所述组织区域掩模。与组织区域掩模的生成有关的其他信息和实例在题为“An Image Processing Method and System for Analyzing a Multi-Channel ImageObtained from a Biological Tissue Sample Being Stained by Multiple Stains”的美国公开第2017/0154420号中公开，其公开内容通过引用整体合并于本文。

解混模块

在一些实施例中，接收到的作为输入的图像可以是多路图像，即接收到的图像是用一种以上染色剂染色的生物学样品的图像(如针对HER2和17号染色体探针的存在进行染色的图像；针对蛋白生物标记物或核酸生物标记物的存在进行染色的图像)。在这些实施例中，在进一步处理前，首先将多路图像解混成其组成通道，例如用解混模块203，其中每个解混通道对应于特定的染色剂或信号。

在一些实施例中，在包含一种或多种染色剂的样品中，可以为每条含一种或多种染色剂的通道产生单个图像。本领域技术人员将认识到，从这些通道中提取的特征可用于描述存在于组织的任何图像中的不同生物结构(如细胞核、膜、细胞质、核酸等)。

例如，在本文所述的HER2双ISH探针的背景下，解混将生成具有银(或黑)信号(对应于黑点)的第一解混图像通道图像、具有红色信号(对应于红点)的第二解混图像通道图像，以及具有苏木精信号的第三解混图像通道图像。这些解混的黑点和红点图像中的每个均可以用作本文所述的点检测和分类模块的输入。同样地，以另一个非限制性实例举例，针对两种蛋白生物标记物(如HER2和Ki-67)的存在进行染色的输入图像将解混成具有对应于HER2的信号的第一图像通道图像(如DAB膜染色)和具有对应于Ki-67的信号的第二图像通道图像。同样，HER2蛋白生物标记物图像和Ki-67蛋白生物标记物图像可用作本文所述的细胞检测和分类的输入图像。

在一些实施例中，由所述成像模块202提供的多光谱图像是与单个生物标记物和噪声分量相关联的基础光谱信号的加权混合物。在任何特定像素处，混合权重与所述组织中特定位置的基础同定位生物标记物的标记物表达和该位置的背景噪声成正比。因此，不同像素之间的混合权重不同。本文公开的光谱解混方法将多通道像素值矢量在每个像素处分解成组成生物标记物端员或组分的集合，并估计所述每个生物标记物的单个组成染色剂的比例。

解混是指将一个混合像素的测量光谱分解为表示所述像素中每个端员比例的一组组成光谱或端员，以及一组相应的级分或丰度的程序。具体而言，所述解混过程可以提取染色剂特异性通道，从而可使用对于标准类型的组织和染色剂组合来说公知的参照光谱来确定单个染色剂的局部浓度。所述解混可以使用从控制图像中检索或从观察中的图像估计的参照光谱。解混每个输入像素的分量信号可以检索和分析染色特异性通道，例如H&E图像中的苏木精通道和曙红通道，或IHC图像中的二氨基联苯胺(DAB)通道和复染(如苏木精)通道。术语“解混”和“颜色反卷积”(或“解卷积”)或类似的术语(如“去卷积”、“解混”)在现有技术中可互换使用。

在一些实施例中，所述多路图像与解混模块205以线性解混方式进行解混。例如，在“Zimmermann‘Spectral Imaging and Linear Unmixing in Light Microscopy’(光学显微镜中的光谱成像和线性解混)Adv Biochem Engin/Biotechnology(2005)95:245-265'和在C.L.Lawson和R.J.Hanson，‘Solving least squares Problems’(求解最小二乘方问题)，PrenticeHall，1974，第23章，第161页”中描述了线性解混，两者的公开内容通过引用整体并入本文。在线性染色解混中，任何像素处的测量光谱(S(λ))被认为是染色剂光谱分量的线性混合物，并且等于所述像素处表示的每个单个染色剂的彩色基准(R(λ))的比例或权重(A)之和。

S(λ)＝A₁·R₁(λ)+A₂·R₂(λ)+A₃·R₃(λ).......A_iry(λ)

更普遍地，可以矩阵形式表示为

S(λ)＝ΣA_iry(λ)或S＝R·A

举例来说，如果具有M个采集到的通道图像和N个单个染色剂，则所述M x N矩阵R的列是本文导出的最佳表色系，所述N x 1向量A为单个染色剂比例的未知数，并且M x 1向量S为像素处测量的多通道光谱向量。在这些方程中，在采集多路图像期间测量每个像素(S)中的信号，并导出本文所述的参照光谱，即最佳表色系。通过计算各种染色剂(A_i)对测量光谱中每个点的贡献来确定它们的贡献。在一些实施例中，使用反最小二乘方拟合法求解，该方法通过求解以下方程组来最大程度地减小测量和计算光谱间的平方差。

在该方程中，j代表检测通道的数量，i等于染色剂的数量。所述线性方程的解通常允许受约束的解混，迫使权重(A)相加到一起。

在其他实施例中，使用2014年5月28日提交的题为“Image AdaptivePhysiologically Plausible Color Separation”的WO2014/195193中所述的方法来完成解混，其公开内容通过引用整体并入本文。通常，WO2014/195193描述了一种通过使用迭代优化的参照向量来分离所述输入图像的分量信号的解混方法。在一些实施例中，将测定中的图像数据与特定于所述测定的特征的预期或理想结果相关联以确定质量度量。在图像质量较低或与理想结果相比相关性较差的情况下，调整矩阵R中的一个或多个参照列向量，利用调整后的参照向量迭代重复解混，直到所述相关性显示出满足生理和解剖要求的高质量图像。所述解剖学、生理学和测定信息可用于定义应用于测量的图像数据以确定质量度量的规则。该信息包括如何对组织进行染色，组织内的哪些结构打算或不打算进行染色，以及结构、染色剂与特定于待处理测定的标记物之间的关系。迭代过程会产生可以生成图像的染色特异性向量，所述图像可准确识别目标结构和生物相关信息，并且没有任何噪声或不需要的光谱，因此所述过程适合分析。所述参照向量调整到搜索空间内。所述搜索空间定义了参照向量可以代表染色剂的取值范围。所述搜索空间的确定可以通过扫描包括已知或通常发生的问题在内的各种代表性的训练测定，并确定训练测定的高质量参照向量集来实现。

蛋白生物标记物检测

在使用所述成像模块202(并且可选地使用解混模块203解混)从如连续组织切片中采集一个或多个图像(步骤310；也可参见步骤410)后，在所述采集的图像(或解混图像通道图像)中识别满足预定标准的细胞，如阈值蛋白生物标记物表达水平(步骤311；也可参见步骤411)。在一些实施例中，可以使用所述细胞检测和分类模块204来检测和分类针对蛋白生物标记物的存在进行染色的细胞。在检测和分类之后，例如可使用所述评分模块205导出染色强度水平或表达水平。然后，利用满足所述预定标准的识别的细胞来识别组织区域，如肿瘤组织区域。

例如，并且在针对所述HER2蛋白生物标记物的存在进行染色的样品的背景下，可以对表达HER2蛋白的细胞膜进行检测、分类和/或评分(如参见图8B、图9A和图9B)。在一些实施例中，然后可以评估每个检测和分类的细胞，从而可以确定染色强度水平。在其他实施例中，膜染色可以通过自动评分算法进行评估和评分(如0、+1、+2或+3)。举例来说，可以识别那些检测的满足最低阈值染色强度或评分的细胞，且其可用于确定肿瘤组织区域(参见图8和图9)。

自动细胞检测和分类模块

在图像采集和/或解混后，将输入图像或解混图像通道图像提供给细胞检测和分类模块204，以自动检测、识别和/或分类细胞和/或细胞核。本文所述的程序和自动算法可适应于基于所述输入图像内的特征识别和分类各种类型的细胞或细胞核，包括识别和分类肿瘤细胞、非肿瘤细胞、基质细胞和淋巴细胞。

本领域技术人员将认识到，所述细胞核、细胞质和细胞膜具有不同的特征，以及不同染色的组织样品可显示出不同的生物学特征。事实上，本领域技术人员将认识到，某些细胞表面受体可以具有定位到细胞膜或细胞质的染色模式。因此，“细胞膜”染色模式与“细胞质”染色模式在分析上是不同的。同样，“细胞质”染色模式与“细胞核”染色模式在分析上是不同的。这些不同的染色模式中的每一者都可以用作识别细胞和/或细胞核的特征。

美国专利第7,760,927号描述了在具有一种或多种染色剂的生物学样品的图像中对细胞核、细胞膜和细胞质进行识别、分类和/或评分的方法，其公开内容通过引用整体并入本文。例如，US 7,760,927描述了一种用于在以生物标记物染色的生物组织的输入图像中同时识别多个像素的自动化方法，其包括考虑所述输入图像的前景中的多个像素的第一彩色平面，从而同时识别细胞质和细胞膜像素，其中所述输入图像已经过处理去除其背景部分和复染成分；确定所述数字图像前景中的细胞质和细胞膜像素之间的阈值水平；以及使用所确定的阈值水平通过所述前景中选定的像素及其八个相邻像素来同时确定所选像素是数字图像中的细胞质像素、细胞膜像素还是过渡像素。

美国专利公开第2017/0103521号也描述了用于自动识别生物学样品图像中的生物标记物阳性细胞的合适系统和方法，其公开内容通过引用整体并入本文。例如，US2017/0103521描述了(i)将第一数字图像和第二数字图像读取到一个或多个存储器中，所述第一数字图像和第二数字图像描绘了第一载片的相同区域，所述第一载片包括多个已被第一染色剂和第二染色剂染色的肿瘤细胞；(ii)通过分析所述第一数字图像中的光强度来识别多个细胞核和所述细胞核的位置信息；(iii)通过分析所述第二数字图像中的光强度和分析所述已识别的细胞核的位置信息来识别包含所述生物标记物的细胞膜；以及(iv)识别区域中的生物标记物阳性肿瘤细胞，其中生物标记物阳性肿瘤细胞是一个已识别的细胞核和一个围绕所述已识别的细胞核的已识别的细胞膜的组合。US2017/0103521内还公开了检测使用HER2蛋白生物标记物或EGFR蛋白生物标记物进行染色的方法。

在一些实施例中，首先通过识别候选细胞核，然后自动区分肿瘤细胞核与非肿瘤细胞核来自动识别肿瘤细胞核。现有技术中已知有多种识别组织图像中候选细胞核的方法。例如，通过应用基于径向对称的方法自动检测候选细胞核，例如在解混后的苏木精图像通道或生物标记物图像通道上进行检测(参见Parvin、Bahram等人，“Iterative votingfor inference of structural saliency and characterization of subcellularevents”(迭代表决推理的结构显著性和亚细胞事件的表征)Image Processing,IEEETransactions on16.3(2007):615-623，其公开内容通过引用整体并入本文)。

更具体地，在一些实施例中，对接收到的作为输入的图像进行处理，例如检测细胞核中心(种子)和/或分割细胞核。例如，可提供指令以使用Parvin(如上所述)的技术基于径向对称表决来检测细胞核中心。在一些实施例中，使用径向对称性检测细胞核以检测细胞核的中心，然后基于细胞中心周围的染色强度对细胞核进行分类。在一些实施例中，如共同受让和共同在审的专利申请WO/2014/140085A1所述进行基于径向对称性的细胞核检测操作，该申请通过引用整体并入本文。例如，可以在图像内计算图像大小，并通过将选定区域内的大小之和相加累积每个像素处的一个或多个表决。均值漂移聚类可用于寻找所述区域的局部中心，所述局部中心代表实际的细胞核位置。基于径向对称性表决的细胞核检测可在彩色图像强度数据上执行，并明确使用了细胞核是大小不一、偏心性不同的椭圆状斑点的先验域知识。为了完成上述操作，除了所述输入图像中的颜色强度，图像梯度信息还被用于径向对称性表决，并与适应性分割过程相结合，以精确检测和定位细胞核。例如，本文使用的“梯度”是指在考虑所述特定像素周围一组像素的强度值梯度情况下计算出的特定像素的强度梯度。每个梯度相对于坐标系可以有一个特定的“方向”，该坐标系的x轴和y轴由所述数字图像的两个正交边缘定义。例如，细胞核种子的检测包括将种子定义为被假定为位于细胞核内的点，并且作为定位细胞核的起点。第一步是使用一种基于径向对称性的非常稳定的方法检测与每个细胞核相关的种子点，进而检测类似于细胞核的椭圆状斑点结构。在径向对称性方法中，可使用基于内核的表决程序对所述梯度图像进行处理。处理每个通过表决内核来累积表决数的像素，由此创建一个表决响应矩阵。所述内核基于在该特定像素处计算出的梯度方向、最小和最大细胞核尺寸的预期范围，以及表决内核角度(通常在[π/4,π/8]范围内)。在由此产生的表决空间中，将具有表决值高于预定阈值的局部极大值位置保存为种子点。在随后的分割或分类过程中，将无关联的种子丢弃。美国专利公开第2017/0140246号讨论了其他方法，其公开内容通过引用整体并入本文。

细胞核可以使用本领域普通技术人员已知的其他技术识别。例如，可以从H&E或IHC图像之一的特定图像通道计算出图像大小，并且可以为每个指定大小周围的像素分配多个以所述像素周围区域内的大小之和为准的表决的数量。替代地，还可以进行均值漂移聚类操作，以定位代表细胞核实际位置的表决图像内的局部中心。在其他实施例中，细胞核分割可用于基于目前已知的细胞核中心，通过形态操作和局部阈值来分割整个细胞核。在其他实施例中，可利用基于模型的分割来检测细胞核(即，从训练数据集学习细胞核的形状模型，并将其作为先验知识来分割所述测试图像中的细胞核)。

在一些实施例中，随后使用为每个细胞核单独计算的阈值，对所述细胞核进行分割。例如，由于据信所述细胞核区域中的像素强度可变化，因此Otsu的方法可用于在已识别的细胞核周围的区域中进行分割操作。正如本领域普通技术人员将认识到的，Otsu的方法用于通过最小化类内方差来确定最佳阈值，并且所述方法对本领域技术人员而言是已知的。更具体地，Otsu的方法用于自动执行基于聚类的图像阈值化，或者将灰度级图像还原为二值图像。所述算法假设图像包含两类遵循双模态直方图的像素(前景像素和背景像素)。然后，计算出分隔所述两类像素的最佳阈值，这样可实现最小或相等的组合式扩散(类内方差)(因为成对平方距离之和是常数)，进而使它们的类间方差最大。

在一些实施例中，所述系统和方法还包括自动分析图像中识别的细胞核的光谱和/或形状特征，从而识别非肿瘤细胞的细胞核。例如，可在第一步骤的第一数字图像中识别斑点。本文所用的“斑点”可以是例如数字图像的区域，其中一些属性(如强度或灰度值)保持恒定或在规定的数值范围内变化。在某种意义上，一个斑点中的所有像素可认为彼此相似。例如，可以使用基于数字图像上位置函数的导数的微分方法和基于局部极值的方法来识别斑点。细胞核斑点是一个像素和/或轮廓形状表明其可能由一个以第一染色剂进行染色的细胞核产生的斑点。例如，可以评估一个斑点的径向对称性，以确定是否应该将所述斑点识别为细胞核斑点或任何其他结构，如染色假象。例如，在斑点为长条形状并且不具有径向对称性的情况下，所述斑点可能不会被识别为细胞核斑点，而是会被识别为染色假象。根据实施例，识别为“细胞核斑点”的斑点可以代表一组被识别为候选细胞核并且可以进一步分析以确定所述细胞核斑点是否代表细胞核的像素。在一些实施例中，任何种类的细胞核斑点均被直接用作“识别的细胞核”。在一些实施例中，对已识别的细胞核或细胞核斑点进行过滤操作，以识别不属于生物标记物阳性的肿瘤细胞的细胞核，并从已识别的细胞核的列表中去除所述已识别的非肿瘤细胞核，或者从开始就不将所述细胞核添加到所述已识别的细胞核列表中。例如，可以分析所述识别的细胞核斑点的附加光谱和/或形状特征，以确定所述细胞核或细胞核斑点是否为肿瘤细胞的细胞核。例如，淋巴细胞的细胞核比其他组织细胞(如肺细胞)的细胞核大。在所述肿瘤细胞是从肺组织导出的情况下，通过识别所有最小尺寸或直径显著大于正常肺细胞的细胞核平均尺寸或直径的细胞核斑点来识别淋巴细胞的细胞核。与淋巴细胞核有关的已识别的细胞核斑点可以从已识别的细胞核的集合中去除(即“过滤”)。通过过滤非肿瘤细胞的细胞核，可以提高所述方法的准确性。由于根据所述生物标记物，非肿瘤细胞在一定程度上也可以表达所述生物标记物，因此可以在所述第一数字图像中产生非源于肿瘤细胞的强度信号。通过从已识别的细胞核总数中识别和过滤不属于肿瘤细胞的细胞核，可以提高识别生物标记物阳性肿瘤细胞的准确性。美国专利公开2017/0103521描述了这些方法和其他方法，这些方法的公开内容通过引用整体并入本文。在一些实施例中，一旦检测到种子，可以使用局部适应性阈值化方法，并在检测的中心周围来创建斑点。在一些实施例中，还可以引入其他方法，例如也可以使用基于标记物的分水岭算法来识别所述检测的细胞核中心周围的细胞核斑点。PCT公开第WO2016/120442号描述了这些方法和其他方法，这些方法的公开内容通过引用整体并入本文。

在检测到所述细胞核后，从所述输入图像中导出特征(或度量)。从细胞核特征导出度量是现有技术中众所周知的，任何已知的细胞核特征均可在本公开的背景下使用。可计算的度量的非限制性实例包括：

(A)从形态特征导出的度量

例如，本文所用的“形态特征”是指示细胞核形状或尺寸的特征。在不希望被任何特定理论约束的情况下，据信形态特征提供了一些关于细胞或其细胞核大小和形状的重要信息。例如，可以通过对细胞核斑点或种子中包含的或其周围的像素应用各种图像分析算法来计算形态特征。在一些实施例中，所述形态特征包括面积、短轴和长轴长度、周长、半径、体积等。在细胞水平上，这样的特征用于将细胞核分类为健康细胞类或病变细胞类。在组织水平上，在组织上充分利用这些统计的特征，从而将组织分类为病变组织或非病变组织。

(B)从颜色导出的度量

在一些实施例中，从颜色导出的度量包含颜色比，R/(R+G+B)或颜色的主成分。在其他实施例中，从颜色导出的度量包含局部图像窗口中每个颜色的局部统计(平均值/中间值/方差/标准偏差)和/或颜色强度相关性。

(C)从强度特征导出的度量

在组织病理切片图像中表示的灰色细胞的黑色和白色阴影之间，设置了具有某些特定属性值的相邻细胞组。由于所述颜色特征的相关性定义了尺寸分级的示例，因此通过这种方式，这些彩色细胞的强度可从其周围的暗细胞簇中确定受影响的细胞。

(D)从空间特征导出的度量

在一些实施例中，空间特征包含细胞的局部密度；两个相邻检测的细胞之间的平均距离；和/或从细胞到分割区域的距离。

当然，本领域普通技术人员已知的其他特征也可以认为是并用作特征计算的依据。

在一些实施例中，所述细胞检测和分类模块204的运行次数超过一次。例如，所述细胞检测和分类模块204首次运行，以提取特征并对第一图像中的细胞和/或细胞核进行分类；然后，第二次运行，以提取特征并对一系列附加图像中的细胞和/或细胞核进行分类，其中所述附加图像可以是其他单纯形图像或解混图像通道图像，或其任意组合。

在导出特征后，所述特征可单独使用，也可以与训练数据一起使用(如在训练期间，将示例细胞与由专家观察员根据本领域普通技术人员已知的程序提供的基本真值识别一起呈现)以对细胞核或细胞进行分类。在一些实施例中，所述系统可以包括分类器，所述分类器至少部分地基于每个生物标记物的一组训练或参照载片进行训练。本领域技术人员将认识到不同的载片组可用于训练每个生物标记物的分类器。相应地，对于单个生物标记物，经过训练后得到一个单个分类器。本领域技术人员还将认识到，由于从不同的生物标记物获得的图像数据之间存在差异性，因此可以针对每个不同的生物标记物训练不同的分类器，从而确保在未见的测试数据上有更好的性能，其中所述生物标记物型测试数据是已知的。可以至少部分地基于如何最好地处理训练数据的差异性，例如，组织类型、染色协议和其他目标特征，来选择所述针对载片说明而训练的分类器。

评分模块

在一些实施例中，所述评分模块205利用在细胞检测和分类期间采集的数据。例如，如本文所述，所述细胞检测和分类模块204可包括一系列图像分析算法，并可用于确定在所述识别的细胞簇内是否存在一种或多种细胞核、细胞壁、肿瘤细胞或其他结构。在一些实施例中，可使用导出的染色强度值和每个视野的特定细胞核的计数来确定各种标记物表达评分，例如阳性百分比或H-Score评分。美国专利公开第2017/0103521号描述了合适的评分方法，其公开内容通过引用整体并入本文。

举例来说，所述细胞检测和分类模块204中的自动化图像分析算法可用于解释系列中的每个IHC载片，以检测针对特定生物标记物(例如Ki67、ER、PR、HER2等)阳性和阴性染色的肿瘤细胞核。基于所述检测到的阳性和阴性肿瘤细胞核，各种载片级别评分，例如标记物阳性百分比、H-Score评分等可以使用一种或多种方法计算。

在一些实施例中，所述表达评分是H-Score评分。在一些实施例中，所述“H”评分用于评定细胞膜染色等级为“弱”、“中等”或“强”的肿瘤细胞的百分比。将等级相加，总评分最高为300分，区分“阳性”和“阴性”的分界点为100分。例如，确定固定视野中的每个细胞(或此处为肿瘤或细胞簇中的每个细胞)的膜染色强度(0、1+、2+或3+)。H-score评分可以简单地以一个主要的染色强度为准，或者更复杂地，可以包括每个看到的强度水平的单独H-score评分的总和。通过一种方法，计算出细胞在每个染色强度水平下的百分比，最后，用下面的公式分配一个H-score评分。[1x(％细胞1+)+2x(％细胞2+)+3x(％细胞3+)]。最终的介于0到约300的评分在一个给定的肿瘤样品中对较高强度的膜染色提供了更多的相对权重。然后，可以根据特定的判别阈值，将所述样品视为阳性或阴性。美国专利公开第2015/0347702号描述了计算H-score评分的附加方法，其公开内容通过引用整体并入本文。

在一些实施例中，所述表达评分是Allred评分。所述Allred分是一个评分系统，用于显示激素受体测试呈阳性的细胞的百分比，以及所述受体在染色后的呈现程度(称之为“强度”)。然后，将结合该信息对所述样品进行0到8分的评分。据信，评分越高、受体越多且在所述样品中越容易看到。

在其他实施例中，所述表达评分是阳性百分比。同样，在针对PR和Ki-67生物标记物进行染色的乳腺癌样品进行评分的背景下，对于所述PR和Ki-67载片，在单一载片中计算所述阳性百分比(如，将染色后在载片的数字图像的每个视野下呈阳性的细胞(如恶性细胞)的细胞核总数相加，然后除以在数字图像的每个视野下阳性和呈阴性染色的细胞核的总数)，如下所示：阳性百分比＝阳性染色的细胞数/(阳性染色的细胞数+阴性染色的细胞数)。

在其他实施例中，所述表达评分为免疫组化组合评分，其是基于若干IHC标记物的预后评分，其中所述标记物的数量大于1。美国专利公开第2017/0082627号描述了这些联合评分，其公开内容通过引用整体并入本文。

组织区域识别模块

在识别满足阈值蛋白生物标记物表达水平的细胞之后(步骤311；也可参见步骤411)，例如通过使用所述组织区域识别模块206，导出涵盖所述识别的细胞的组织区域(如肿瘤组织区域)(步骤312；也可参见步骤412)。例如，在识别具有最小HER2细胞膜染色强度的单个细胞后，可以导出涵盖所述识别的细胞的肿瘤组织区域。

根据2015年1月23日提交的题为“Adaptive Classification for Whole SlideTissue Segmentation”的PCT公开第WO2015/113895号中描述的方法进行组织类型的识别，其公开内容通过引用整体并入本文。一般来说，PCT公开第WO2015/113895号描述了通过与区域分类相关的操作从图像中的其他区域中分割出所述肿瘤区域，所述操作包括识别所述组织图像中的网格点，将所述网格点分类为多种组织类型中的一种，以及基于已知组织类型特征的数据库生成分类的网格点；向所述分类的网格点分配至少一个高置信度分数和低置信度分数，基于所述分配了高置信度分数的网格点修改已知组织类型特征的数据库，以及生成修改的数据库；基于所述修改的数据库对所述分配了低置信度分数的网格点重新分类，然后分割所述组织(如识别图像中的组织区域)。

替代地，或此外，可使用自动化图像分析操作，例如分割、阈值化、边缘检测等，以及基于检测区域自动生成的FOV，自动检测肿瘤区域或其他区域。

在一些实施例中，可以导出组织区域掩模。美国专利申请公开第2017/0154420号描述了生成这种组织区域的方法，其公开内容通过引用整体并入本文。

自动化图像配准模块

在第一图像，如具有对应于一种或多种蛋白生物标记物的信号的图像(步骤312；也可参见步骤412)中识别组织区域后，将所述识别的组织区域映射到第二图像，如具有对应于一种或多种核酸生物标记物的信号的图像(步骤313；也可参见步骤413)。在利用了连续组织切片，如针对一种或多种蛋白生物标记物的存在进行染色的第一连续切片和针对一种或多种核酸生物标记物的存在进行染色的第二连续切片的情况下，尤其可用于识别的组织区域的映射。用这种方法，尽管连续组织切片之间存在差异，但是映射过程能够在每个连续切片中识别相应的结构、细胞和组织。

一般来说，配准包括选择一个输入图像或其一部分(如细胞簇)作为参照图像，并计算每个其他输入图像到所述参照图像坐标系的转换。因此，可以通过图像配准将所有输入图像对齐到相同的坐标系(如所述参照坐标可以是在连续组织切片的情况下组织块中间的切片部分或具有特定标记物的切片)。因此，每个图像可以从其旧坐标系对齐到新的参考坐标系。

配准是将不同的数据集(这里指图像或图像内的细胞簇)转换为一个坐标系的过程。更具体地，配准是将两个或多个图像对齐的过程，一般来说，包括指定一个图像作为参考(也称为参考图像或固定图像)，并对其他图像进行几何变换，以使这些图像与参考对齐。几何变换将一个图像中的位置映射到另一个图像中的新位置。确定正确的几何变换参数的步骤是图像配准过程的关键所在。计算每个图像到参考图像变换的方法是本领域技术人员所熟知的。例如，在“第11届国际生物医学成像研讨会(11th International Symposium onBiomedical Imaging(ISBI)”(2014IEEE，2014年4月29日-2014年5月2日)中描述了一种图像配准算法，其公开内容在此通过引用整体并入本文。以下详细概述了图像配准方法

任何配准方法均可在本文公开的系统和方法中使用。在一些实施例中，使用2014年9月30日提交的题为“Line-Based Image Registration and Cross-Image AnnotationDevices,Systems and Methods”WO/2015/049233中描述的方法进行图像配准，其公开内容在此通过引用整体并入本文。WO/2015/049233描述了一个配准过程，其包括单独使用或与精密配准过程结合的粗配准过程。在一些实施例中，所述粗配准过程可包含选择数字图像用于对齐，从所述选定的数字图像的每一者中生成前景图像掩模，以及在因此生成的前景图像之间匹配组织结构。在其他实施例中，生成前景图像掩码包含从染色的组织切片的整个切片图像中生成软加权前景图像，并对所述软加权前景图像进行OTSU阈值化以产生二值软加权图像掩模。在进一步的实施例中，生成前景图像掩模包括从染色的组织切片的整张切片图像中生成二值软加权图像掩模，从同一整张切片图像中分别生成梯度幅值图像掩模，对所述梯度图像掩模进行OTSU阈值化以生成二值梯度幅值图像掩模，以及通过二进制OR运算将所述二值软加权图像和二值梯度幅值图像掩模合并以生成所述前景图像掩模。本文所用的术语“梯度”是指在考虑所述特定像素周围一组像素的强度值梯度情况下计算出的特定像素的强度梯度。每个梯度相对于坐标系可以有一个特定的“方向”，该坐标系的x轴和y轴由所述数字图像的两个正交边缘定义。“梯度方向特征”可以是指示所述坐标系内梯度方向的数据值。在一些实施例中，匹配组织结构包含从每个因此生成的前景图像掩模的边界计算基于线的特征，计算第一前景图像掩模上的第一组线特征和第二前景图像掩模上的第二组线特征之间的全局变换参数，以及基于所述变换参数对所述第一图像和第二图像进行全局对齐。在又一个实施例中，粗配准过程包括基于全局变换参数将所述选定的数字图像映射到公共网格，该网格可以涵盖所述选定的数字图像。在一些实施例中，所述精密配准过程可以包含识别对齐数字图像集中的第一数字图像的第一子区域；识别对齐数字图像集中的第二数字图像上的第二子区域，其中所述第二子区域大于所述第一子区域，并且所述第一子区域基本位于公共网格上的第二子区域内；以及计算所述第一子区域在所述第二子区域中的优化位置。

在本文的图6中说明了这些方法，其中所述方法600开始于起始块602。在块604处，采集一组图像数据或数字图像(如扫描或从数据库中选择)进行操作。每组图像数据包括对应于例如来自单一患者的一组相邻组织切片的组织切片的图像数据。在块606处，如果只选择了单一图像对，则直接转到块610。如果选择了一对以上的图像，则在转到块610之前，在块608处将选定的图像集分组成对。在一些实施例中，将图像对选定为相邻对。因此，例如，如果所选的图像集包括10个平行、相邻的切片(LI....LI 0)，则将LI和L2分组为一对，L3和L4分组为一对，等。另一方面，如果没有关于哪些图像对彼此最相似的信息，则在一些实施例中，根据图像相距的距离(如对应于各种图像边缘图之间倒角距离的边缘间或图像间的距离)将它们分组，将彼此最接近的图像配对在一起。在本公开的示例性实施例中，利用边缘间/图像间的距离进行图像配对。在一些实施例中，可以使用基于边缘的倒角距离计算图像间/边缘间的距离。如果图像对之前已经通过粗配准过程，使得已粗略地对齐了所述图像且保存了结果，则所述过程前进到块614。否则，在块612处对选定的图像对执行粗配准过程。下文将进一步详细介绍粗配准过程。

转到块614，当前选定的已配准(对齐)的图像显示在一个公共网格上，图像叠加在一个单一图像中，且作为单独的图像显示，或两者一起显示在一个显示器上或分布在几个显示器上。在块616处，客户端用户可以从一对图像中选择一个图像作为源图像。如果源图像已经按照要求标注，则所述过程转到块622。否则，所述客户端用户在块620处按照要求对所述源图像进行标注。在可(也可不)与块620基本同时发生的块622处，将所述标注映射到所述对中的另一图像(靶标图像)，并在所述靶标图像上以图表形式再现所述标注。在其中标注发生在粗配准之前的实施例中，所述标注可以在与配准图像对(对齐)基本同一时间从所述源图像映射到靶标图像。在块624处，用户可以选择是否执行精密配准过程。如果用户选择不执行精密配准而直接显示结果，则所述过程转到块626。

否则，在块624处对所述选定的图像对执行精密配准过程，例如，以优化所述映射的标注的位置和/或图像对齐。下文将进一步详细讨论精密配准过程。在块626处，所述标注的图像对与精密配准过程的结果一起显示(或者如果不进行精密配准，则所述标注的图像对可以仅与粗配准过程的结果一起显示)。然后，所述方法最终结束于块628处。

自动化核酸生物标记物检测

在将所述识别的组织区域从第一图像映射到第二图像后(步骤313；也可参见步骤413)，可以使用所述点检测模块208和所述点分类模块209在所述第二图像中的映射的组织区域中识别对应于一种或多种核酸生物标记物的信号(或点)(步骤314；也可参见步骤414)。随后，点计数和分类模块210可用于解释所述识别的信号，从而识别细胞核中的基因畸变进行评定(步骤315；也可参见步骤415)。

在一些实施例中，模块208、模块209和模块210用于检测所述第二图像的每个映射的组织区域中对应于至少一种核酸生物标记物的信号。基于对所述对应于至少一种核酸生物标记物的信号的检测，可以评定所述映射的组织区域内的细胞或细胞核是否具有基因畸变(如异常的高拷贝数；染色体异常)。在一些实施例中，通过确定每个细胞核中对应于来自至少一个核酸生物标记物的一个或多个信号的识别的点的总数是否满足预定阈值来评定所述细胞核的基因畸变。例如，在生物学样品用单一核酸探针染色的情况下，可以检测、分类、然后计数对应于来自所述单一核酸探针的信号的点。然后，可将每个细胞核中存在的拷贝数与预定阈值进行比较。

在其他实施例中，通过以下方式评定细胞核的基因畸变：计算对应于第一核酸生物标记物的第一识别的点与对应于第二核酸生物标记物的第二识别的点的比率；以及将每个细胞核的计算比率与预定阈值进行比较。在一些实施例中，识别每个细胞核的点，例如识别对应于每个细胞核中每个不同信号类型的点。例如，在用两个核酸探针对生物学样品进行染色的情况下，可以检测和分类对应于来自每个探针的信号的点(如在针对HER2和17号染色体进行染色的背景下的黑点或红点)，并且可以基于对应于每个探针的点的总数来计算比率，最终利用所述比率来确定细胞核内是否存在基因畸变(参见图10和图11)。

以另一个实例举例，可以使用EGFR/CEP 7双探针对生物学样品进行染色，并计算EGFR基因与7号染色体的比率，并与临床相关阈值进行比较。通过比较，可以观察到以下情况：二体性(评分＝1)、低三体性(评分＝2)、高三体性(评分＝3)、低多体性(评分＝4)、高多体性(评分＝5)和扩增(评分＝6)(参见Dahle-Smith，“Epidermal Growth Factor(EGFR)copy number aberrations in esophageal and gastro-esophageal junctioncarcinoma(表皮生长因子(EGFR)拷贝数畸变在食管和胃食管交界部癌中的应用)”，MolCytogenet，2015；8:78，其公开内容在此通过引用整体并入本文。

本文描述并在图10中说明了通过染色检侧是否存在HER2和17号染色体背景下的点检测、点分类和点计数的进一步非限制性实例。同样，本文所述的系统和方法并不局限于使用针对HER2的双ISH测定来确定基因畸变，更确切地说，这种实例仅用于说明用途。

点检测模块

一般来说，用点检测模块208进行点检测，以识别输入图像中的所有点像素(如，参见图11)。然后将所述检测的点提供给点分类模块209，以进一步处理和分析。

在一些实施例中，可以使用一个或多个不同的导出的图像特征执行点检测，所述特征包括但不限于吸光度、多尺度高斯差分(DoG)以及来自颜色反卷积后获得的解混图像通道的特征。根据本公开方法的点检测，通过考虑如上述特征等多个特征，支持准确且稳定的点检测。在一些实施例中，采用了能够特异性检测对应于黑点和/或红点的信号的方法，例如在HER2双ISH测定中使用的方法。本领域技术人员还将认识到，尽管本文中的某些实例可能指用染色体(如HER2双ISH测定的黑点和红点)标记的生物标记物，但是可以用荧光团(如FISH)标记的生物标记物进行点检测。

在一些实施例中，使用美国专利公开第2014/0377753号中描述的方法执行点检测，其公开内容通过引用整体并入本文。例如，可以首先通过将细胞的彩色图像转换为单色图像来识别点。在一个实施例中，首先通过将细胞的彩色图像的彩色空间从RGB彩色空间转换为L*a*b彩色空间来创建单色图像。在L*a*b彩色空间中，“L”通道代表像素的亮度，“a”通道反映像素的红色和绿色成分，并且“b”通道代表像素的蓝色和黄色成分。然后，创建一个新的图像，其强调了在每个像素位置通过线性组合“L”、“a”和“b”值获得的图像中的红色和黑色。在一些实施例中，通过使增强的图像经过一些滤波器来检测红色和黑色增强图像中的点。

在一些实施例中，所述滤波器是高斯差分(“DoG”)滤波器，其中基于待检测的点/点团的预期大小选择每个滤波器的大小。一般来说，高斯差分是一种特征增强算法，其涉及将原始图像的一个模糊版本从另一个不太模糊的版本中减去。在灰度图像的简单情况下，所述模糊图像是通过将原始灰度图像经过具有不同标准差的高斯核进行卷积得到的。据信，使用高斯核对图像进行模糊处理，只能压制高频空间信息。从一幅图像中减去另一幅可以保持在两幅模糊图像中保持的介于频率范围之间的空间信息。因此，高斯差分就相当于一个带通滤波器，其能够去除除了那些在原始灰度图像中被保留下来的少数空间频率之外的所有空间频率。在一些实施例中，DoG滤波器的尺寸范围为约0.05微米至约5微米。在一些实施例中，结合每个通过所述DoG滤波器的结果，创建一个滤波后可用作掩模的灰度图像，以代表每个细胞内的染色细胞核材料和一些“废弃材料”。美国专利申请公开第2017/0337695号描述了生成这种掩模的方法，其公开内容通过引用整体并入本文。然后，可以使用例如基于Otsu方法的适应性阈值化技术对所述组合的灰度图像进行二值化，以产生点掩模图像，其中所述点外的每一个均具有一个二进制值(如，逻辑0)，并且点内的每一个均具有相反的二进制值(如逻辑1)。

在其他实施例中，对代表不同颜色的原位杂交信号的第一点和第二点的检测包括通过对所述数字图像进行颜色反卷积(如，使用解混模块203)生成第一颜色通道图像和第二颜色通道图像，所述第一颜色通道图像对应于第一染色剂的有色光谱贡献，第二颜色通道图像对应于第二染色剂的有色光谱贡献；通过对所述数字图像应用一对核心程序具有不同标准偏差的高斯滤波器，并通过相互减去所述高斯滤波器输出的两个滤波图像，从所述数字图像中计算出至少一个DoG图像，所述DoG图像是高斯差分图像；从所述组织样品的图像中计算吸光度图像；检测所述数字图像中吸光度图像的吸光度值超过吸光度阈值和DoG图像中DoG值超过DoG阈值的相邻像素集，并将所述检测到的相邻像素集作为预期点；识别在所述第一颜色通道图像中强度值超过第一颜色强度阈值的预期点，并将所述识别的预期点输出为所述检测到的第一点；以及识别在所述第二颜色通道图像中强度值超过第二颜色强度阈值的预期点，并将所述识别的预期点输出为所述检测到的第二点。

在其他实施例中，在以HER2双ISH测定对样品进行染色的背景下，使用美国专利公开第2017/0323148号中描述的方法执行点检测，其公开内容通过引用整体并入本文。根据‘148公开内描述的方法，通过基于吸光度图像特征、高斯差分(DoG)图像特征和解混颜色图像通道特征计算像素来实现点检测，其中通过评估所述图像内的某些特征是否满足预定阈值标准来计算所述像素。在一些实施例中，所述阈值标准是经过大量实验后根据经验导出。在这种情况下，基于满足预定阈值标准的特征计算像素，如高斯差分(DoG)和吸光度都足够高的点像素；黑色解混图像强度和DoG足够高的黑点像素；红色解混图像强度和DoG足够高的红点像素。在一些实施例中，计算出多个像素子集，每个子集均满足不同的阈值标准，使得最终的像素子集在所有阈值标准中均很强。正如本领域技术人员所知的，在计算出最终的像素子集后，执行“填充孔”操作。

本领域技术人员将认识到，可以为不同的ISH探针、测定和协议建立不同的标准，以适应所述图像中的不同信号(如不同颜色)，并相应地优化该特定ISH协议的点检测。

点分类模块

在用点检测模块208进行点检测之后，由所述系统200运行点分类模块209，从而可对所有点像素分配一个颜色值(如HER2双ISH测定背景下的黑色或红色颜色值)。

在一些实施例中，使用美国专利公开第2014/0377753号中描述的方法完成点分类，其公开内容通过引用整体并入本文。根据‘753公开的方法，一旦创建了点掩模图像(如上所述)，则连同分类器(例如所述细胞检测和分类模块204中的分类器)一起使用，从而去除与“垃圾”相关的任何点，并保留代表对应于所述目标染色剂的信号的点(例如HER2双ISH测定背景下的黑色和红色信号)。所述‘753公开描述，在一些实施例中，可以利用线性二值分类器。在使用所述分类器的第一阶段，所述计算机系统执行指令，以基于所分析的每个细胞确定的应答直方图删除DoG应答较弱的点。在第二阶段，通过分析所述组织的RGB图像的颜色，在对应于所述点掩模图像每个点内区域的像素位置，将粗红点与淡红点分离，并将黑点与深蓝点分离。这样，就得到了一组只包含红色和黑色的点。其余的点被认为是“垃圾”而去除。然后通过连通域分析法提取点和斑点。为了确定一个点是否代表目标信号(如HER2基因或17号染色体)，测量和分析所述点的多个指标(包括斑点)。这些指标包括点的大小、颜色、方向、形状、高斯滤波器的多重差分的响应、相邻点之间的关系或距离，以及一些其他可以由计算机测量的因素。然后，将所述指标输入到分类器中。在一些实施例中，所述分类器先前已经在已被明确识别为代表研究中的某些基因(如HER2基因或17号染色体)的训练数据集上由例如经过培训的病理学家进行训练。在一些实施例中，所述分类器已经在一组包含点变化范围的训练切片上进行了训练，并且每个阶段所述线性边界二值分类器模型均被用于教学。由此产生的模型，以判别超平面为参数，将特征空间划分为两个定义了第一基因或第二基因(如HER2基因或17号染色体)的标记区域。一旦训练所述分类器，将针对所述图像中未知点测量的指标应用到所述分类器。然后，所述分类器可以指示所代表的点的类型(如HER2基因或17号染色体)。

在其他实施例中，在以HER2双ISH测定对样品进行染色的背景下，使用美国专利公开第2017/0323148号中描述的方法执行点检测，其公开内容通过引用整体并入本文。根据‘148公开的方法，由于在ISH的单个像素中可能共存多个不同的光谱信号，因此在图像上运行颜色反卷积算法，其中使用光密度域中的像素将每个像素解混(如使用解混模块203)为三个分量通道(如红色、黑色和深蓝色通道)。在颜色反卷积和训练所述分类模块/分类器后，所述点像素由计算机设备或系统以及由本领域技术人员已知的方式进行分类。在一些实施例中，所述分类模块是支持向量机(“SVM”)(如本文中有关细胞检测和分类模块204的描述)。在HER2的双ISH背景下，将所述检测的点分类为红色、黑色和/或蓝色点。举例来说，当颜色反卷积后黑色通道的贡献显著大于其他红、蓝两个通道的贡献，该点像素更有可能归类为黑色；当颜色反卷积后红色通道的贡献显著大于其他蓝、黑两个通道的贡献，该点像素更有可能归类为红色。

在一些实施例中，在点检测和分类后，还可以运行包括一系列用于增强和澄清所述初始点检测和/或分类操作在内的细化程序。美国专利申请公开第2017/0323148号描述了这些步骤，其公开内容通过引用整体并入本文。本领域技术人员将认识到，可以应用一些或所有这些附加步骤或程序进一步增强上述提供的点检测和分类结果。尽管‘148公开中公开了有关用于HER2检测的双ISH的步骤，但本领域技术人员将能够适应并修改这些步骤，从而适应所用到的任何ISH探针或测定。本领域技术人员还将认识到，在细化分类方面，无需执行‘148公开的所述所有操作，并且本领域技术人员将能够基于所述检测和分类模块的输出以及提供给所述系统的图像挑选合适的操作。

点计数和分类模块

经过点检测、分类以及可选的细化，对所述点进行计数。在一些实施例中，可以基于所述计数的点的数量编制数据。例如，可以基于计数对所述点进行分类，和/或计算第一点(如黑点)数量与第二点(如红点)数量的比率，并且所述比率可用于分类或用于遗传确定作图。

在一些实施例中，使用美国专利公开第2017/0323148号中描述的方法完成点计数，其公开内容通过引用整体并入本文。例如，可以在所有第一点像素(如红点像素)上应用连通域标记过程，以识别所述第一斑点(“红色斑点”)。同样地，在所述第二点像素(如“黑点像素”)上应用连通域标记，以获得第二斑点(如“黑色斑点”)。一般来说，连通域标记扫描图像，并基于像素的连通性将其像素分组，即连通域中的所有像素具有相似的像素强度值，并以某种方式彼此连通。

在用于HER2检测的双ISH的背景下，本领域技术人员可以理解，所述黑点一般比红点小，并且任何计数规则均必须将这一因素考虑进去。例如，如果系统200确定所述点的大小在单个点的标称尺寸范围内，则所述点被分类器记为HER2点或17号染色体点。如果所述点大于单个点的标称尺寸，则所述系统200确定簇的面积，并将其除以标称点的面积，以确定所述点簇中可以容纳多少点。在计数算法中会用到分类为HER2和17号染色体的点的紧密度。当然，所述计数规则可由本领域技术人员根据所用的特异性ISH探针、测定和协议进行修改。

在一些实施例中，黑色斑点的平均尺寸(以像素为单位)用于向黑色斑点簇分配一定数量的种子。对于一个较小的黑色斑点，它应该具有以下一种情况或两种情况：(i)表决强度(使用DoG和对吸光度的径向对称性)大于某一阈值(如经验确定并设定为5)；和/或(ii)吸光度大于某个吸光度阈值(如经验确定并设定为0.33)。在一些实施例中，对于较小的红色斑点，它应该具有以下一种或两种情况：(i)表决强度(使用DoG和对通道的径向对称性)大于某一阈值(如经验确定并设定为15)；和/或(ii)A通道值(来自LAB颜色空间)(较高的A值是发红的标志)大于某一阈值(如经验确定并设定为133，其中A通道的取值范围为0-255)，且所述吸光度应大于某一阈值(如经验确定并设定为0.24)。例如，直径小于7个像素的红点可视为小红点。直径等于或大于7个像素的红点可视为大红点。黑点的平均可能更大，因此小黑点的直径可能小于10个像素，并且大黑点的直径可能等于或大于10个像素。

一旦识别出第一和第二斑点(如黑色和红色斑点)，即会返回所述第一斑点和第二斑点(如黑色和红色斑点)的计数。在一些实施例中，对每个细胞核的第一点与第二点的比率进行计数。

在一些实施例中，基于所述比率，所述表达水平可确定为过度表达、表达不足等(步骤315；也可参见步骤415)。在一些实施例中，将所述评分与临床相关阈值进行比较。例如，在HER2和17号染色体染色的背景下，所述临床相关的阈值可以是整数2。

在一些实施例中，可以对所有细胞核的比率进行分类或排序。在一些实施例中，所述比率可以单独或结合细胞/细胞核位置信息(如细胞/细胞核的x、y坐标)存储在数据库或存储模块240中。

可视化模块

可利用一种可视化模块对在信号采集(步骤314；也可参见步骤414)和评定(步骤315；也可参见步骤415)中产生的数据加以说明，以便进行快速、稳定的分析。在一些实施例中，可以基于导出的数据和所做的评定生成重叠图像。例如，在HER2的背景下，可以向超过特定阈值(如2)的计算比率分配一个第一指标(如第一颜色)，同时可以向那些等于或低于特定阈值(如2)的计算比率分配一个第二指标(如第二颜色)。在一些实施例中，如果向所述第一指标和第二指标分配了颜色，则可沿着所述细胞周界勾画出所述颜色。在其他实施例中，如果向所述第一指标和第二指标分配了颜色，则可以用所述颜色填充细胞。然后，可将生成的重叠图像叠加在整个切片图像或其任何部分上(例如以便于将结果传达给审阅者查看)。在一些实施例中，所述重叠图像可以包含每个细胞/细胞核的具有或不具有其他指标(如其他颜色)的计算比率。

在一些实施例中，可以生成具有识别满足某些阈值限制区域的热图。例如，可以生成一种热图，说明具有在第一颜色中计算比率介于2.0和2.5之间的区域、在第二颜色中计算比率介于2.5和3.0之间的区域，以及在第三颜色中计算比率在3.0以上的区域。

在其他实施例中，可基于数据导出直方图，并可连同任何生成的重叠图像一起显示。在一些实施例中，可以生成说明不同计算比率分布的直方图。

在其他实施例中，可基于数据生成表格，并可连同任何生成的重叠图像或直方图一起显示。在一些实施例中，所述表格包含预定数量细胞核(如20个)的列表和所述预定数量细胞核的计算比率。在一些实施例中，所述表格还可以包含位置信息，如细胞/细胞核的位置，或所述细胞/细胞核所在的映射的组织区域。在一些实施例中，所述表格还可以包含每个相应核酸生物标记物的点总计数(如，每个细胞核的黑点总计数和红点总计数)。通过这种方式，病理学家可以使用所述表格审查单个细胞，并在必要时手动覆盖任何自动计算的比率或评定。

践行本公开实施例的其他组件

本公开的系统200可绑定至能对所述组织标本执行一个或多个制备过程的标本处理设备。所述制备过程可以包括但不限于标本去石腊化、调理标本(如细胞调理)、标本染色、执行抗原检索、执行免疫组化染色(包括标记)或其他反应，和/或执行原位杂交(如SISH、FISH等)染色(包括标记)或其他反应，以及其他制备用于显微镜检查、显微分析、质谱方法或其他分析方法的标本的过程。

所述处理设备可以将固定剂涂在所述标本上。固定剂可以包括交联剂(例如醛类，如甲醛、聚甲醛和戊二醛，以及非醛类交联剂)、氧化剂(如金属离子和络合物，例如四氧化二锇和铬酸)、蛋白质变性剂(如乙酸、甲醇和乙醇)、机理不明的固定剂(如氯化汞、丙酮和苦味酸)、组合试剂(如Carnoy固定剂、Methacarn、Bouin液、B5固定剂、Rossman液和Gendre液)、微波以及其他固定剂(如排除体积固定和蒸汽固定)。

如果所述标本是嵌入石蜡中的样品，可使用相应的去石蜡液对所述样品进行去石蜡。去除石蜡后，可在所述标本上连续涂抹任意数量的化学物质。这些化学物质可以用于预处理(如逆转蛋白质交联、暴露核酸等)、变性、杂交、洗涤(如严格洗涤)、检测(如将显示或标记物分子与探针连接)、扩增(如扩增蛋白质、基因等)、复染色、盖玻片等。

所述标本处理设备可以将各种不同的化学物质应用到所述标本。这些化学物质包括但不限于染色剂、探针、试剂、漂洗剂和/或调节剂。这些化学物质可以是流体(如气体、液体或气体/液体混合物)或类似物质。所述流体可以是溶剂(如极性溶剂、非极性溶剂等)、溶液(如水溶液或其他类型的溶液)或类似物质。试剂可以包括但不限于染色剂、润湿剂、抗体(如单克隆抗体、多克隆抗体等)、抗原回收液(如水基或非水基抗原修复液、抗原回收缓冲液等)或类似物质。探针可以是分离的核酸或分离的合成寡核苷酸，附接到可检测标记或报道分子上。标记可以包括放射性同位素、酶底物、辅助因子、配体、化学发光或荧光剂、半抗原和酶。

所述标本处理设备可以是自动化设备，例如Ventana Medical Systems,Inc.销售的BENCHMARK XT仪器和SYMPHONY仪器。Ventana Medical Systems,Inc.是多项美国专利的代理人，这些专利公开了执行自动分析的系统和方法，包括美国专利第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号和第6,943,029号，以及美国已公布的专利申请第20030211630号和第20040052685号，其中每项专利公开的内容均通过引用整体合并于本文。替代地，还可以人工处理标本。

标本处理完毕后，用户可以将标本载片运送到成像设备上。在一些实施例中，所述成像设备是明视野成像器载片扫描仪。一种明视野成像器是由Ventana Medical Systems,Inc.销售的iScan HT和DP200(Griffin)明视野扫描仪。在自动化实施例中，所述成像设备是题为IMAGING SYSTEM AND TECHNIQUES的国际专利申请第PCT/US2010/002772号(专利公开号：WO/2011/049608)或于2011年9月9日提交的题为MAGING SYSTEMS,CASSETTES,ANDMETHODS OF USING THE SAME的美国专利公开第2014/0178169号中公开的数字病理装置。

所述成像系统或设备可以是多光谱成像(MSI)系统或荧光显微镜系统。本文所用的成像系统是MSI。一般来说，MSI通过访问像素层上图像的光谱分布，为病理标本的分析配备了基于计算机化显微镜的成像系统。尽管存在各种多光谱成像系统，但是这些系统在操作上有一个共同点，即能够形成多光谱图像。多光谱图像是指在电磁波谱的特定波长或特定光谱带宽上捕获图像数据的图像。这些波长可以通过光学滤波器或使用其他能够选择预设光谱分量的仪器选出，包括波长超出可见光范围的电磁辐射，例如，红外线(IR)。

MSI系统可包括光学成像系统，其一部分包含可调整为定义预先确定数量的N个离散光学波段的光谱选择系统。所述光学系统可适应于组织样品的成像，所述组织样品通过宽带光源传输照射到光学检测器上。在一个实施例中，所述光学成像系统可以包括一个放大系统，例如显微镜，其具有一般在空间上与所述光学系统的单一光输出对齐的单一光轴。当调整或调谐光谱选择系统(例如用计算机处理器)时，所述系统形成所述组织的图像序列，从而例如确保在不同的离散光谱带中采集图像。所述设备可额外包含一个可从所采集的图像序列中显示所述组织的至少一个在视觉上可感知图像的显示器。所述光谱选择系统可以包括光学分散元件，例如衍射光栅、一组光学滤波器，例如薄膜干扰滤波器或任何其他适应于为响应用户输入或预编程处理器命令而从光源通过样品向检测器透射的光的光谱中选择一个特定的通带。

替代的实施方式，光谱选择系统定义了多个对应于N个离散光谱带的光输出。这种类型的系统从光学系统引入透射光的输出，并在空间上将该光输出的至少一部分沿着N条空间不同的光路重新定向，这样便可以沿着对应于该已识别的光谱带的光路将一个已识别的光谱带中的所述样品成像到一个检测器系统上。

本说明书描述的主题和操作的实施例可以在数字电子电路，或在计算机软件、固件或硬件中实现，包括本说明书公开的结构及其类似结构，或它们中的一个或多个组合。本说明书所述主题的实施例可作为一个或多个计算机程序来实现，即作为一个或多个计算机程序指令模块来实现，为由数据处理设备执行，或控制数据处理设备的操作，所述一个或多个计算机程序指令模块可在计算机存储介质上编码。本文所述的任何模块均可以包括由所述处理器执行的逻辑。本文所使用的“逻辑”是指具有任何形式的可影响处理器操作的指令信号和/或数据的信息。软件是逻辑的一个实例。

计算机存储介质可以是或可包含在计算机可读存储设备、计算机可读存储基片、随机或串行存取存储器阵列或设备，或它们的一个或多个组合中。此外，尽管计算机存储介质不是传播信号，但它可以是在人工生成的传播信号中编码的计算机程序指令的源或目的。所述计算机存储介质也可以是或可包含在一个或多个单独的物理组件或介质(如多个CD、磁盘或其他存储设备)中。本说明书中所述的操作可以以由数据处理设备对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据进行的操作来实现。

术语“编程处理器”涵盖处理数据的各种设备、装置和机器，例如包括可编程微处理器、计算机、芯片上系统、或上述的多个或组合。所述设备可以包括特殊用途的逻辑电路，如FPGA(现场可编程门阵列)或ASIC(特定用途集成电路)。除硬件外，所述设备还可以包括为所述有关计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们的一个或多个组合的代码。所述设备和执行环境可以实现各种不同的计算模型基础架构，例如，网络服务、分布式计算和网格计算基础架构。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译型或解释型语言、说明性语言或程序化语言，并且它可以任何形式部署，包括作为独立程序或作为模块、组件、子程序、对象或其他适合在计算环境中使用的单元。计算机程序可以但不必与文件系统中的文件相对应。一个程序可以存储在保存其他程序或数据的部分文件中(如存储在标记语言文件中的一个或多个脚本)，也可以存储在专门用于有关程序的单个文件中，或者存储在多个协调的文件中(如存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以部署在一台计算机上执行，也可以部署在多台计算机上执行，这些计算机位于一个站点或分布在多个站点，并通过一个通信网络相互连接。

本说明书中描述的过程和逻辑流程可以由一个或多个执行一个或多个计算机程序以通过对输入数据的运算并产生输出结果完成操作的可编程处理器来执行。所述过程和逻辑流程也可以由特殊用途的逻辑电路执行，如FPGA(现场可编程门阵列)或ASIC(特定用途集成电路)，并且，设备也可实现为特殊用途的逻辑电路。

例如，适用于执行计算机程序的处理器包括通用和专用微处理器，以及数字计算机的任何一种或多种的处理器。一般来说，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是一个按照指令执行操作的处理器和一个或多个存储指令和数据的存储设备。一般来说，计算机还将包括或有效联接至一个或多个用于存储数据的大容量存储设备(磁盘、磁光盘或光盘)，以从所述设备接收数据或向其传输数据或两者兼有。但是，计算机不需要这样的装置。此外，计算机可以嵌入另一个装置，如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制器、全球定位系统(GPS)接收器或便携式存储设备(如通用串行总线(USB)闪存驱动器)等。适合存储计算机程序指令和数据的装置包括各种形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，如EPROM、EEPROM和闪存设备；磁盘，如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。所述处理器和所述存储器可以由特殊用途的逻辑电路添加，或并入其中。

为了方便与用户的交互，本说明书所述主题的实施例可以在计算机上实现，所述计算机具有向用户显示信息的显示装置，如LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器，以及键盘和定点设备，如鼠标或轨迹球，所述用户可以通过它们实现对计算机的输入。在一些实施方式中，触摸屏可用于显示信息和接收用户的输入。其他种类的装置也可用于方便与用户的交互；例如，向用户提供的反馈可以是任何形式的感觉反馈，如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的装置发送文件以及从该装置接收文件实现与用户的交互；例如，通过响应从用户客户端设备上的网络浏览器接收的请求而向所述网络浏览器发送网页。

本说明书所述主题的实施例可以在计算系统中实现，所述计算系统包括后端组件，如作为数据服务器，或者包括中间软件组件，如应用服务器，或者包括前端组件，如具有图形用户界面或Web浏览器的客户端计算机，用户可以通过所述浏览器与本说明书所述主题的实施方式进行交互，或者一个或多个此类后端、中间软件或前端组件的任意组合。所述系统的各组件可以通过数字数据通信的任何形式或介质(如通信网络)相互连接。通信网络的实例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(如互联网)和对等网络(如专设对等网络)。例如，图1的网络20可以包括一个或多个局域网。

所述计算系统可以包括任何数量的客户端和服务器。通常，客户端和服务器之间彼此是远程设置，并且一般情况下通过一个通信网络进行交互。借助运行在各自计算机上的计算机程序以及彼此之间的客户端-服务器关系产生客户端和服务器之间的关系。在一些实施例中，服务器将数据(如HTML页面)传输到客户端设备(如用于向与所述客户端设备交互的用户显示数据和接收该用户的输入)。在所述客户端设备上产生的数据(如用户交互的结果)可以在所述服务器上从所述客户端设备接收。

实例

以上表格列出了在用于检测HER2蛋白生物标记物和HER2及17号染色体核酸生物标记物的图像分析后返回的结果实例。所述表格还说明了HER2与17号染色体的计算比率，以及检测的相关细胞的数量。

其他实施例

一种用于评定针对至少一种核酸生物标记物的存在进行染色的生物学样品的图像中的基因畸变的系统，所述系统包括：(i)一个或多个处理器，以及(ii)一个或多个存储器，所述一个或多个存储器与所述一个或多个处理器联接，所述存储器用于存储计算机可执行指令，所述计算机可执行指令当由所述一个或多个处理器执行时使所述系统执行包括以下各项的操作：运行检测算法以自动检测和识别针对至少一种蛋白生物标记物的存在进行染色的第一图像中满足预定蛋白生物标记物染色标准的细胞；导出(如自动地)所述第一图像中涵盖满足所述预定蛋白生物标记物染色标准的识别的细胞的肿瘤组织区域；执行所述第一图像和第二图像与共同坐标系的自动配准，使得所述第一图像中的所述导出的肿瘤组织区域映射到所述第二图像，以提供映射的肿瘤组织区域，其中所述第二图像包括对应于至少一种核酸生物标记物的存在的信号；自动识别所述映射的肿瘤组织区域内对应于来自所述至少一种核酸生物标记物的所述信号的点；以及基于所述识别的点评定(如自动评定)所述第二图像中的所述映射的肿瘤组织区域中的肿瘤细胞核是否具有基因畸变。

一种评定针对至少一种核酸生物标记物的存在进行染色的生物学样品的图像中的基因畸变的方法，所述方法包括：自动检测针对至少一种蛋白生物标记物的存在进行染色的第一图像中满足预定蛋白生物标记物染色标准的细胞；导出所述第一图像中涵盖满足所述预定蛋白生物标记物染色标准的识别的细胞的肿瘤组织区域；自动配准第一图像和第二图像与共同坐标系，使得所述第一图像中的所述导出的肿瘤组织区域映射到所述第二图像，以提供映射的组织区域，其中所述第二图像包括对应于至少一种核酸生物标记物的存在的信号；自动识别所述映射的组织区域内对应于来自所述至少一种核酸生物标记物的所述信号的点；以及基于对应于所述至少一种核酸生物标记物的所述识别的点，评定(如自动地)所述第二图像中的所述映射的组织区域中的肿瘤细胞核是否具有基因畸变。

一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于评定针对至少一种核酸生物标记物的存在进行染色的生物学样品中的基因畸变的指令，所述指令包括：运行检测算法以自动检测和识别针对至少一种蛋白生物标记物的存在进行染色的第一图像中满足预定蛋白生物标记物染色标准的细胞；导出所述第一图像中涵盖满足所述预定蛋白生物标记物染色标准的识别的细胞的肿瘤组织区域；执行所述第一图像和第二图像与共同坐标系的自动配准，使得所述第一图像中的所述导出的肿瘤组织区域映射到所述第二图像，以提供映射的组织区域，其中所述第二图像包括对应于至少一种核酸生物标记物的存在的信号；自动检测所述映射的组织区域内对应于来自所述至少一种核酸生物标记物的所述信号的点；对每个映射的组织区域内每个肿瘤细胞核内的所有检测到的点进行计数；以及基于每个细胞核中所计数的点的总数评定(如自动地)每个映射的区域中的每个肿瘤细胞核是否具有基因畸变。

本说明书中提到的和/或应用数据表中列出的所有美国专利、美国专利申请公开、美国专利申请、国外专利、国外专利以及非专利公开均通过引用整体并入本文。如有必要，可对实施例的各个方面进行修改，从而采用各类专利、应用和公开的概念来提供其他进一步的实施例。

尽管已经参照一些说明性实施例描述了本公开，但应当理解，本领域技术人员可以在本公开原则的精神和范围内设计出许多其他的修改和实施例。更具体地，在不违背本公开的精神的情况下，在上述公开、附图和所附权利要求的范围内，所述主题组合排列的组成部分和/或布置可以进行合理的变化和修改。除了在所述组成部分和/或布置中的变化和修改外，对于本领域技术人员来说，替代用途也将是显而易见的。