阅读说明：本技术 一种病理显微图像实时采集分析系统、方法、装置及介质 (Pathological microscopic image real-time acquisition and analysis system, method, device and medium ) 是由 叶德贤 房劬 姜辰希 于 2019-12-19 设计创作，主要内容包括：本发明涉及图像实时采集和分析技术,属于显微病理辅助诊断的技术领域。提供了一种能够实现实时扫描并快速高效分析得到病理状况的系统和方法,该系统包括：显微图像采集装置；图像分析装置,连接于所述显微图像采集装置,用于实时获取所述显微图像块,并将所述显微图像块输入到训练后的神经网络模型进行分析,得到显微图像块分析结果；显示装置,连接于所述图像分析装置,输出显示显微图像块分析结果。本发明还提供对应上述装置的方法或介质。可实时采集显微图像并实时进行病理分析和输出病理分析结果,取代了现有技术中全部图像采集完毕再进行图像分析处理,为病人争取了极大的时间,克服了当前在手术过程中病理分析所需时间较久的技术问题。(The invention relates to a real-time image acquisition and analysis technology, and belongs to the technical field of microscopic pathology auxiliary diagnosis. A system and method for real-time scanning and fast and efficient analysis of pathological conditions are provided, the system comprising: a microscopic image acquisition device; the image analysis device is connected with the microscopic image acquisition device and used for acquiring the microscopic image blocks in real time and inputting the microscopic image blocks into the trained neural network model for analysis to obtain an analysis result of the microscopic image blocks; and the display device is connected with the image analysis device and outputs and displays the analysis result of the microscopic image block. The invention also provides a method or a medium corresponding to the device. The microscopic image can be acquired in real time, pathological analysis can be performed in real time, pathological analysis results can be output, image analysis processing after all images are acquired in the prior art is replaced, great time is won for patients, and the technical problem that long time is needed for pathological analysis in the operation process at present is solved.)

一种病理显微图像实时采集分析系统、方法、装置及介质

技术领域

本发明涉及图像实时采集和分析技术，具体涉及一种病理显微图像实时采集分析系统、方法、装置及介质，属于显微病理辅助诊断的技术领域。

背景技术

当前，肺部辅助诊断的方法通常是在计算机体层摄影（CT）引导下的穿刺活检，其作为诊断肺部较为常见的方法。本发明主要是针对通过纤维气管镜肺活检术来采集支气管或者肺内病灶位置处的标本细胞以进一步对其进行分析处理，从而辅助诊断病情。目前，该领域常用的是标本快速现场评估技术，即ROSE（Rapid on-site evaluation），其是指细胞病理学专家现场快速检查标本细胞，并对细针穿刺涂片和活检组织印片的质量进行评估。检验人员可以通过ROSE得知样本量是否足够，以判断是否再需要采集更多的样本量，从而避免患者重复穿刺，一次性采集好足够的样本量，同时可以通过ROSE初步诊断为后续病情的诊断处理提供所需要的分析结果。

具体来说，气管镜活检印片和细针穿刺涂片是经纤维支气管镜肺活检术中对支气管或肺内病灶钳夹活检及刷检或者对肺门或纵膈***经支气管穿刺活检得到的样本，并且由医师对标本进行ROSE，医师会对玻片进行固定及染色，然后在显微镜下观察肺部细胞。但是现有技术中存在这样的技术缺陷，对气管镜活检印片和细针穿刺涂片进行ROSE的医师必须是病理科医师，呼吸科医师难以完成ROSE，因此需要将气管镜活检印片和细针穿刺涂片送往病理科，这一过程将导致延长ROSE的时间，而病人正在手术台上，往往是呼吸科医师在实施手术，对于实时得到检测分析结构的需求是比较迫切的，病人在手术台上的时间是很宝贵的，而现在的显微镜扫描仪会在扫描完整个气管镜活检印片或细针穿刺涂片后，生成一个完整的显微大图，无法在扫描过程中，一边扫描一边处理分析图片，从而延长了分析处理的时间，为病情的快速诊断带来的困难。总而言之，目前面临的问题一是需要送到送到病理科进行人工检查耗费时间，二是需要采集完成大图后才能开始检查浪费时间。

现实中，病理显微诊断应用于多种疾病检查和治疗场景，比如在肺部细胞病理、宫颈细胞病理、乳腺病理或者甲状腺病理的显微病理诊断，同样需要送检到病理科人工检查。现有的方法耗费时间较长，不能满足在紧急情况下的诊断需要。

发明内容

本发明的目的在于提供一种能够实现实时扫描并快速高效分析得到病理状况的系统或方法，从而有效的克服上述提及的技术缺陷以及技术问题。

本发明提供一种病理显微图像实时采集分析系统，用于对样本进行显微图像采集并实时分析诊断，所述样本包括人体细胞或组织，所述系统包括：

显微图像采集装置，其包含：载物台，用于承载样本；摄像头，用于拍摄样本获得显微图像；和控制单元，用于控制载物台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的显微图像块；所述显微图像块指样本每次可被摄像头拍摄的其中一块区域，由于样本尺寸通常是大于摄像头可拍摄的显微视野的宽度，因此显微镜需要依次对样本进行分块拍摄，每一次拍摄可获得一个显微图像块；

图像分析装置，连接于所述显微图像采集装置，用于实时获取所述一个或多个显微图像块，并实时将所获得的一个或多个显微图像块输入到训练后的神经网络模型进行分析，得到一个或多个显微图像块分析结果，所述一个或多个显微图像块分析结果包括所述一个或多个显微图像块对应的样本细胞是否具有病理异常的分析结果，即当样本存在病理异常时，样本中某一块或多块显微图像块会包含有样本细胞是否具有病理异常的信息，该显微图像块的分析结果即可实时呈现出样本细胞是否具有病理异常的分析果；当采集到的全部显微图像块被全部分析完成后，得到总体分析结果；当样本存在病理异常时，可能分析到某一显微图像块时，就可以得到样本细胞是否有病理异常的分析结果，不过在实际操作中，会将全部显微图像块分析完成，得到总体分析结果，此时，某一个或某一些显微图像块的分析结果与总体分析结果一致；但当样本不存在病理异常时，需要对样本全部显微图像块分析完成后才能得到样本细胞是否有病理异常的分析结果，此时，每一个显微图像块的分析结果与总体分析结果一致；

显示装置，连接于所述显微图像分析装置，用于将所述显微图像块分析结果和/或所述总体分析结果输出显示给用户。

进一步地，所述控制单元控制所述载物台以步进的方式移动，并控制所述摄像头在所述载物台每移动到一个位置时进行一次拍摄，所述载物台步进移动的步长小于等于所述摄像头可拍摄的显微视野的宽度。

更进一步地，所述摄像头逐行对样本进行拍摄，并将拍摄结果实时传输。

可选择地是，所述显示装置为移动终端或者可视屏幕，其与所述图像分析装置实现数据交互，实时输出分析结果以供医护人员观测。

本发明还提供一种图像分析装置，用于实时分析病理显微图像，其特征在于，包括：

显微图像块获取模块，其与一显微图像采集装置数据传输连接，同步于所述显微图像采集装置对样本多个位置依次进行拍摄，实时获取样本一个或多个位置对应的显微图像块；显微图像块分析模块，包括训练后的神经网络模型，用于依次对所述一个或多个位置对应的显微图像块进行分析得到一个或多个显微图像块分析结果，所述一个或多个显微图像块分析结果包括所述一个或多个显微图像块对应的样本细胞是否具有病理异常的分析结果；总体分析模块，根据全部显微图像块分析结果得到总体分析结果；输出模块，用于输出所述显微图像块分析结果和/或所述总体分析结果。

进一步地是，所述图像分析装置还包括图像拼接模块，用于将所述样本的各个位置的显微图像块拼接得到样本整体显微图像；所述输出模块还用于输出所述样本整体显微图像。

更进一步地是，所述图像分析装置还包括图像标记模块，根据显微图像块分析结果，在所述样本整体显微图像中标记所述病理异常的位置；所述输出模块还用于输出标记后的所述样本整体显微图像。

优选地是，所述图像分析装置还包括显微图像块分析结果判断模块，用于在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断，若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果。

进一步地，所述神经网络模型为卷积神经网络模型，所述训练后的神经网络模型通过以下步骤训练得到：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、批归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

。

本发明还提供一种图像实时分析方法，用于实时分析病理显微图像，包括：同步于对样本多个位置依次进行拍摄，实时获取样本一个或多个位置对应的显微图像块；依次对获取到的一个或多个显微图像块输入训练后的神经网络模型进行分析得到一个或多个显微图像块分析结果，所述显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果；根据全部显微图像块分析结果，得到总体分析结果；输出所述总体分析结果。

进一步地，上述方法还包括：在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断；若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果。

更进一步地，上述方法中的所述设定条件为是否存在异常，或者为是否存在癌变。

可选择地是，上述方法中的所述样本为人体肺部细胞样本、人体宫颈细胞样本、人体乳腺细胞样本或者人体甲状腺细胞样本中的任意一种。

更优选地是，上述方法中的所述样本为通过穿刺或内窥镜获取的人体细胞或组织。

可选择地是，上述方法中的所述人体肺部细胞样本为通过穿刺获取的人体肺部细胞或通过气管镜获取的人体肺部细胞。

更进一步地，上述方法中的所述显微图像块分析结果包括癌变定性为阴性或阳性；

可替换地是，上述方法中的所述显微图像块分析结果还可具体细分为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿及炎症中的任意一种或多种。

可选择地是，上述方法中的所述神经网络模型为卷积神经网络模型，所述训练后的神经网络模型通过以下步骤训练得到：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

。

可选择地是，上述方法中的所述标注信息包括肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的至少两种。

优选地是，上述方法还包括：将所述样本的各个位置的显微图像块拼接得到样本整体显微图像。

可选择地是上述方法还包括，根据显微图像块分析结果，在所述样本整体显微图像中，标记所述病理异常的位置。

本申请中所述的显微图像块包括未经预处理或经过预处理的显微图像块，所述预处理包括对显微镜拍摄到的显微图像块进行归一化、调整大小等本领域常用的预处理方式。

本发明还提供一种计算机可读存储介质，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行本发明上述的显微图像块的实时采集和和实时分析，并输出分析结果。

本发明更提供一种用于病理显微图像分析的神经网络模型训练方法，其特征在于，包括：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

。

优选地是，上述神经网络模型训练方法，还包括使用测试数据对训练后的神经网络模型进行测试，具体包括：获得测试数据，所述测试数据为与训练数据不重复的样本的显微图像以及对应的标注信息；使用训练后的神经网络模型对所述测试数据中的所述显微图像进行分析，获得显微图像块测试分析结果；将所述显微图像块测试分析结果与所述测试数据中的标注信息进行比对，获得测试比对结果。

本发明通过采用上述技术方案的病理显微图像采集装置、系统及方法，整个方案在病理细胞或组织的图像采集分析以及显示上面能够实现就对比现有技术而言具有如下优点，具体概括如下：

（1）能够实时将细胞或组织的图像采集并进行病理分析，取代了现有技术中，全部图像采集完毕再进行图像的分析处理，为病人争取了极大的时间，克服了在背景技术中提到在手术过程中病理分析所需时间较久的技术问题；

（2）由于采用了神经网络训练方法，本发明的病理分析的准确性显著提高，采用神经网训练后分析得到的病理结果更加的精准；

（3）本发明所采用的训练方法，响应快速，因此处理速度较传统方法在病理分析的处理速度方面有了较大的提升。

附图说明

图1是一种病理显微图像实时采集分析系统实施例；

图2是一种图像分析装置实施例；

图3是一种图像实时分析方法实施例；

图4是一种用于病理显微图像分析的神经网络模型训练方法实施例；

图5是卷积神经网络模型实施例；

图6是无明显异常的肺部细胞显微图像示例；

图7是具有腺癌的肺部细胞显微图像示例。

具体实施方式

为了更好地说明本发明的发明目的、技术方案的实施及本发明相比较现有技术而言的优点，下面将以示例性的方式，具体结合所示出的附图及不同实施例的举例，对本发明进行进一步详细阐述与说明。应当理解地是，此部分描述地或者示例性地具体实施例仅仅用以解释或便于理解本发明的整体发明构思，但不应当理解为用于局限本发明的权利要求保护范围。凡是在本发明的发明构思与核心的均落在本发明的保护范围之内，特别是基于本发明的发明思路或主题进行的等效替换或者具体变形，将均落入本发明的保护范畴之列。

本发明实施例提供的方法，可以适用于如图1所示的系统。系统中的图像分析装置可以是计算机设备，包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。

下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

实施例1

本实施例提供一种病理显微图像实时采集分析系统和图像实时分析方法。

如图1所示，病理显微图像实时采集分析系统包括显微图像采集装置101、图像分析装置102以及显示装置103。

显微图像采集装置101包括载物台、摄像头及控制单元。载物台用于承载样本，该样本可以是人体细胞或组织样本，例如，样本可以是从人体肺部、甲状腺、乳腺等任何人体部位提取的用于病理显微诊断的细胞或组织。人体细胞或组织样本的获取方法，可以是通过穿刺手术获取，也可以是通过内窥镜获取，或有其他医学手段获取。样本一般制成显微玻片，并放置于在载物台上，在一些情况下，需要对样本玻片进行染色等处理，以便更清楚的分辨细胞。摄像头用于拍摄样本获得显微图像，在一些实施例中，摄像头与显微镜的目镜相连接，用于拍摄显微放大后的样本图像；控制单元用于控制载物台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的显微图像块。在一个实施例中，载物台是在水平面上沿X、Y两个相互垂直的方向可移动的，载物台的移动由驱动装置驱动，举例而言，该驱动装置可以是步进电机。控制单元可以控制载物台以步进的方式移动，并控制摄像头在载物台每移动到一个位置时进行一次拍摄，载物台步进移动的步长小于等于摄像头可拍摄的显微视野的宽度；当对样本沿X方向完成一行的拍摄之后，控制载物台沿Y方向移动一个步长并继续进行下一行的拍摄。

图像分析装置102用于实时获取显微图像块，并将所述显微图像块输入到训练后的神经网络模型进行分析，得到显微图像块分析结果，所述图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果；当采集到的全部显微图像块被全部分析完成后，得到总体分析结果。图像分析装置102与显微图像采集装置101连接并可实时接收和分析显微图像采集装置101传输来的图像数据。图像分析装置102与显微图像采集装置101的连接方式应该包括任何可实时传输数据的连接方式，例如有线连接、无线连接（如WIFI连接、蓝牙连接等），也可以是一体的整机中不同模块的内部连接；再例如，图像分析装置102与显微图像采集装置101的连接方式也可以是云端连接，如显微图像采集装置101设置于医院的诊疗现场，而图像分析装置102可以是云端服务器，通过一般互联网或5G网络，显微图像采集装置101可以实时将采集到的图像块传输给图像分析装置102进行分析诊断。显微图像采集装置101将采集到的显微图像块传输给图像分析装置102应该是实时的，这里的实时传输应该理解为，在显微图像采集装置101拍摄样本的过程中已经开始将图像数据传输给图像分析装置102；在一个实例中，显微图像采集装置101每拍摄一个显微图像块立即传输给图像分析装置102；在另一个实施例中，显微图像采集装置101每沿X方向拍摄一行显微图像块，将所拍摄的一行图像数据传输给图像分析装置102。

显示装置103，用于将所述显微图像块分析结果和/或所述总体分析结果输出显示给用户。可以理解，显示装置103与图像分析装置102连接，连接方式可以是有线连接、无线连接等任何可传输数据的连接。在一个实施例中，显示装置103与图像分析装置102可以是一体的整机中的两个模块。在一个实施例中，显示装置103与图像分析装置102可以是通过WIFI、蓝牙、云端连接等方式连接。

下面结合图2、图3来具体说明图像分析装置102的各个模块功能以及图像实时分析方法的具体步骤。以及还提供一种计算机可读存储介质，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行本发明记载的图像实时分析方法。

如图3所示，在一个实施例中，用于病理显微图像实时分析的图像实时分析方法的基本步骤包括：S301，实时获取样本各个位置对应的显微图像块；S302，依次对获取到的显微图像块进行分析，得到显微图像块分析结果；S303，根据全部显微图像块分析结果，得到总体分析结果；S307，输出结果。具体的：

S301，实时获取样本各个位置对应的显微图像块。该步骤可以由图像分析装置102中的显微图像块获取模块1021执行。

S302，依次对获取到的显微图像块进行分析，得到显微图像块分析结果。该步骤可以由图像分析装置102中的显微图像块分析模块1022执行。在一个实施例中，显微图像块分析模块1022包括训练后的神经网络模型，用于依次对显微图像块进行分析得到显微图像块分析结果。在一个实施例中，该显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果。该病理异常的分析结果可以是对一种特定病理异常的分析结果，如是否有癌变（癌变阴性或癌变阳性）、是否有炎症等；也可以是多种病理情形的分类，如对肺部细胞的诊断，可以进行多分类（分为无异常、炎症、鳞癌、腺癌、小细胞癌等）。

可以理解的，显微图像块分析模块1022所包括的训练后的神经网络模型可以是用于图像处理的深度学习分类网络模型、深度学习目标检测网络模型或深度学习分割网络模型；以深度学习分类网络模型为例，该模型可以是VGG、Inception、ResNet、WRN (wideresidual network)、SqueezeNet等深度学习分类网络模型为基础经过适应性调整参数并经过训练数据训练后得到的神经网络模型；以深度学习目标检测网络为例，该模型可以是RCNN、SPP Net、Fast RCNN、FPN等深度学习目标检测网络模型为基础经过适应性调整参数并经过训练数据训练后得到的神经网络模型。本领域技术人员可以理解的，如果是对深度学习分类网络模型进行训练，则对应的训练该模型的训练数据应该包括图像以及图像的分类标注信息，该分类标注信息可以是二分类（标注为阳性或阳性，如专门针对肺部腺癌的诊断，若具有腺癌为阳性，不具有腺癌为阴性），也可以是对多种病理情形的多分类标注（如对肺部细胞分类包括：无异常、炎症、鳞癌、腺癌、小细胞癌等）；如果是对深度学习目标检测网络模型进行训练，则对应的训练该模型的训练数据应该包括图像以及图像的检测目标标注信息。

S303，根据全部显微图像块分析结果，得到总体分析结果。该步骤可以由图像分析装置102中的总体分析模块1023执行。该步骤可以是对步骤S302得到的结果的简单汇总，也可以是在对步骤S302得到的结果的汇总基础上进一步进行分析处理。例如，以步骤S302对肺部细胞样本的显微图像块进行多分类处理，得到的每个图像块的分析结果包括多种病变（比如包括炎症和癌变），则步骤S303可以执行对多种结果的汇总并进一步分析；例如，该进一步分析可以是统计具有癌变的显微图像块的数量或统计癌变细胞的数量来分析癌变严重程度等。

S307，输出结果。该步骤可以由图像分析装置102中的输出模块1027执行。输出模块1027可直接将前述步骤（S302、S303等）得到的分析结果处理成为可输出的信号传输给显示装置103，以显示给用户。

上述S301，S302，S303，S307仅为一种实施方式，进一步地，参见图2、图3，还可以包括其他变化的实施方式。

由于本技术方案的实施场景经常是在病人进行手术的现场，为了进一步快速得到分析诊断结果，作为一种实施例，图像分析装置102还包括判断模块1024，用于执行步骤S304对所述显微图像块分析结果进行判断是否满足设定条件，如果判断结果为是，则立即执行步骤S307，将显微图像块分析结果处理成为可输出的信号传输给显示装置103以显示给用户。可以理解的，该判断步骤的设定条件可以是系统设置好的，也可以是用户可设置的。举例而言，该设定条件可以包括是否有癌变、是否有炎症、是否有其他病理异常等。

更进一步的，图像分析装置102还包括图像拼接模块1025，用于执行步骤S305，获取步骤S301得到的显微图像块，将显微图像块拼接得到样本整体显微图像。可以理解的，该步骤完成后可以直接执行步骤S307，将整体显微图像处理成为可输出的信号传输给显示装置103以显示给用户。

更进一步的，图像分析装置102还包括图像标记模块1026，用于执行步骤S306，对步骤S305得到的整体显微图像标记病理异常的位置。在一个实施例中，对病理异常位置的标记方式为，在整体显微图像中标记出具有病理异常的细胞；在另一个实施例中，对病理异常位置的标记方式为，在整体显微图像中标记出具有病理异常的显微图像块。步骤S306完成后，执行步骤S307，将标记后的样本整体显微图像处理成为可输出的信号传输给显示装置103以显示给用户。

下面结合图4举例说明在步骤S302中所使用的神经网络模型的训练方法。如图4所示，步骤S302中所使用的训练后的神经网络模型，是通过以下方法训练得到的：

S401，获得训练数据。神经网络模型的训练数据包括样本的显微图像以及对应的标注信息。举例而言，该样本可以是人体肺部、甲状腺、乳腺等部位的细胞或组织；样本的显微图像可以是显微图像块，也可以是拼接后的样本整体显微图像；标注信息可以是病理医生或具备专业知识的专家对显微图像做的标注。标注信息可以有不同的方式，例如：可以是对图像集中每幅图像的简单分类，比如有无病变、有无癌变；可以是多分类，比如对将图像集中的每幅图像细分为鳞癌、腺癌、小细胞癌、炎症、无异常等；也可以是对病变位置的勾勒，比如在图像中勾勒出病变的细胞。可以理解的是，以上不同的标注方式分别可以用于训练不同类型的神经网络模型（比如深度学习分类网络、深度学习目标检测网络等）。

S402，使用训练数据对神经网络模型进行训练，获得训练后的神经网络模型。根据步骤S401获得的训练数据，对神经网络模型进行训练，获得训练后的神经网络模型。可以理解的是，该步骤可以基于多种神经网络模型来实现。举例而言，可以基于深度学习分类网络（如CNN、VGG、Inception、ResNet、WRN、SqueezeNet等），使用已经标注有分类信息的显微图像作为训练数据进行训练；可以基于深度学习目标检测网络(如RCNN、SPP Net、Fast RCNN、FPN等)，使用已经标注有病变位置信息的显微图像作为训练数据进行训练。本领域技术人员可以理解的，基于深度学习分类网络训练得到的神经网络模型，可以用于对待分析的显微图像块进行分类处理，得到的分类结果即为图像块分析结果；基于深度学习目标检测网络训练得到的神经网络模型，可以用于对待分析的显微图像块进行目标检测，得到的目标检测结果即为图像块分析结果。

在一个实施例中，将已经标注有分类信息的显微图像作为训练数据输入到卷积神经网络模型进行训练得到训练后的卷积神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

；或

。

其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

在完成S402步骤之后，也就得到了可用于步骤S302中的训练后的神经网络模型。进一步地，为了保证训练后的神经网络模型的质量，在一个实施例中，在将模型投入使用前可以通过以下步骤对模型进行测试。

S403，使用测试数据对训练后的神经网络模型进行测试。所述测试步骤具体包括：S4031获得测试数据。所述测试数据为与训练数据不重复的样本的显微图像以及对应的标注信息，具体获得测试数据的方法可参见步骤S401的方法，在此不再赘述。S4032使用训练后的神经网络模型对所述测试数据中的所述显微图像进行分析，获得显微图像块测试分析结果；S4033将显微图像块测试分析结果与所述测试数据中的标注信息进行比对，获得测试比对结果。

以上所记载的方案为本发明的典型实施例。为了更充分地对本实施例中步骤S302利用训练后的神经网络对显微图像块进行分析的方法进行说明，下面结合图5以卷积神经网络（Convolutional Neural Networks, CNN）为例进一步举例说明。

在一种实施例中，用于对样本的显微图像块进行分析的卷积神经网络模型如图5所示，包括：输入层501，卷积层502，池化层503，卷积层504，池化层505，全连接层506，输出层507。输入层501执行图像输入，在这里该图像是样本的显微图像块，图像可以看作是由一个个像素点构成的二维数组，每个像素点具有其各自的像素值。卷积层502、504配置为对输入的图像进行特征提取，在卷积神经网络中，可以有一个或多个卷积层。在一个实施例中，卷积层利用一个3×3的卷积核，对于 8×8 的输入图像，计算得到 6×6 的特征图。当计算卷积时，输出特征映射的大小比原图小. 使用的卷积核越大，得到的特征图就越小。对于 n×m 大小的卷积核，输入图像的大小将丢失 (n−1)×(m−1)，因此，上面的例子如果用 5×5的卷积核，那特征图将只有 4×4。多数情况下，需要特征图和原图等大，这时就要填充特征图，一般用 0 填充，假设原图大小为 8×8，而核为 5×5，那么需要先把原图填充到 12×12，添加 4 个额外的行和列，每侧各 2 行/列。为了减少计算量提高计算速度，可以为卷积层生成一个池化层，配置为对特征图进行降采样，生成尺寸更小的特征图。全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间。最后通过输出层507输出分类结果。

实施例2（针对肺部组织或细胞）

目前，该领域常用的是标本快速现场评估技术，即ROSE（Rapid on-site evaluation），其是指细胞病理学家现场快速检查标本细胞，并对细针穿刺涂片和活检组织印片的质量进行评估。ROSE的应用场景一般为气管镜活检采集到的气管镜活检印片，或细针穿刺采集到的细针穿刺涂片。

本发明使用数字显微镜拍摄细胞病理显微图像：使用显微镜对气管镜活检印片或细针穿刺涂片进行扫描，显微镜放大倍数：物镜可以放大10、20、100倍，目镜可放大10倍，物镜和目镜配合可放大100-1000倍。扫描拍摄过程：肺部细胞样本玻片的大小一般是几厘米，而显微镜一次拍摄的视野非常小，一个完整大图由上百甚至几千个显微图像块组成（与玻片被拍摄的范围大小以及放大倍数有关），可达上亿个像素，在本案例中，玻片的大小：76*26 mm（并不是整个玻片都被拍摄进去，玻片被拍摄的范围可调节），由于样本一般被涂抹在玻片中间部分，玻片被拍摄范围的边缘经常是没有样本的，但实际操作中，该样本边缘的玻片部分仍然会被拍摄进来，以保证样本的拍摄范围是完整的；显微镜的承载玻片的载物台在控制单元的控制下移动，以步进的方式，对玻片逐行扫描拍摄，每行拍摄10次，总共拍摄10行，共拍摄100次可以完成该样本的全部拍摄。

在扫描过程中相机每一次拍摄都会产生一张一个显微图像块的图片，每产生一个显微图像块的图片后，即时将该图片传输给用于分析的计算机设备，一个显微图像块的图片的大小：1936*1216个像素(在样本经过显微镜放大后，摄像头拍摄时，光学信号转成数字信号每个像素宽度为0.24微米)。计算机设备的显微图像块获取模块接收到显微图像块的图片后，进行归一化、调整大小，送入显微图像块分析模块，通过训练好的卷积神经网络处理分析，可以对这些细胞进行是否有癌变的二分类，即得出阴性和阳性的结论；也可以在实施过程中得出该图片属于肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的哪一类别。在本实施例中，对肺部细胞利用深度学***均拍摄耗时0.5秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟0.5秒，完成26次拍摄总共耗时13秒，完成该图像块的分析耗时0.5秒，则13.5秒即分析发现了癌变细胞，可以即时输出诊断结果，即从开始拍摄样本到得到样本中有腺癌细胞，共耗时13.5秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。

本发明中，待100次全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过1分钟时间。

该方法和装置可以在手术室内实时进行ROSE，或者辅助呼吸科医师进行ROSE，大大加速ROSE，减小了手术台上等待ROSE结果的病人的风险。

本发明中使用的分析处理细胞病理的卷积神经网络的训练过程：

（1）在获得采集图片信息之后，对显微镜扫描气管镜活检印片和细针穿刺涂片得到的图片进行标注，共分为八个类别，分别是无明显异常（如图6）、肺鳞癌、肺腺癌（如图7）、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症；

（2）将70%的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为交叉熵或者为带权重的cross entropy（交叉熵）的损失函数为：

或

；

其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；

（3）将20%的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；

（4）将10%的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。

将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，所述卷积神经网络模型如图5所示，包括：输入层501，卷积层502，池化层503，卷积层504，池化层505，全连接层506，输出层507。各层的参数配置详见表1。

表1 卷积神经网络模型参数配置

输入层501用于将显微图像采集装置采集到的一个显微图像块输入到卷积神经网络，显微图像块的原始大小为1936*1216像素，为了适应卷积神经网络的输入，对原始图像降采样得到224*224尺寸的特征图。一般显微图像块是用RGB（红red，绿green、蓝blue）三色值表示的彩色图像，因此生成三个224*224尺寸的特征图。

卷积层502用于对输入的显微图像块进行特征提取。在一个实施例中，卷积层502利用一个7*7的卷积核，对于3个224*224 的输入特征图像，计算得到64个 112*112的特征图。

为了减少计算量提高计算速度，可以为卷积层502配置一个池化层503，用于对特征图进行降采样，生成尺寸更小的特征图。在本实例中，池化层503有一个3*3的核，根据卷积层502生成的64个112*112的特征图进行降采样，得到64个56*56的特征图。

卷积层504包括一个具有1*1卷积核的卷积层和另一个具有3*3卷积核的卷积层的串联，对该层执行6次循环，得到128个56*56的特征图。

为卷积层504连接一个池化层505。池化层505有一个2*2的核，根据卷积层504生成的56*56的特征图进行降采样，得到28*28的特征图。

全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间，最后通过输出层507输出分类结果，该分类结果即为显微图像块是否具有病理异常的判断结果。

实施例3（针对乳腺组织或细胞）

在本实施例中，对乳腺细胞利用深度学***均拍摄耗时0.5秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟0.5秒，完成52次拍摄总共耗时26秒，完成该图像块的分析耗时0.5秒，则26.5秒即分析发现了癌变细胞，可以即时输出诊断结果为癌变阳性，即从开始拍摄样本到得到样本中有癌变阳性细胞，共耗时26.5秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。

本发明中，待144次全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过2分钟时间。

细胞病理的卷积神经网络的训练过程采用如实施例2中相同的训练方法，并可以根据乳腺特质来选择带有权重的交叉熵的损失函数，以获得更加精确的结果。具体地步骤如下：

（1）在获得采集图片信息之后，对显微镜扫描乳腺细胞或组织玻片得到的图片进行标注，共分为两个类别，癌变阴性（没有癌变）和癌变阳性（有癌变）；

（2）将70%的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为带权重的cross entropy（交叉熵）的损失函数为：

；

其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；

（3）将20%的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；

（4）将10%的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。

将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，具体内容与实施例2相同，不再赘述。

实施例4（针对甲状腺组织或细胞）

采集人体甲状腺组织或细胞切片，将甲状腺组织或细胞切片放置于载物台，选择与实施例1中相同的系统， 扫描过程与实施例2相同，不同之处在于：显微镜对含有样本的玻片逐行扫描，每行拍摄20次，总共拍摄20行，共拍摄400次完成该样本的全部拍摄，每拍摄完成一行，将一行图像数据传输至图像分析装置进行分析。在完成第3行拍摄时，对该行的图像块分析时发现甲状腺***状癌细胞；每行拍摄耗时10秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟5秒，完成3行拍摄总共耗时30秒，完成该行图像块的分析耗时5秒，则35秒即分析发现了癌变细胞，可以即时输出诊断结果为甲状腺***状癌，即从开始拍摄样本到得到样本中有癌变细胞，共耗时35秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。本发明中，待20行全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过4分钟时间。

细胞病理的卷积神经网络的训练过程采用如实施例2中相同的训练方法，并可以根据甲状腺特质来选择带有权重的交叉熵的损失函数，以获得更加精确的结果。具体地步骤如下：

（1）在获得采集图片信息之后，对显微镜扫描甲状腺细胞或组织玻片得到的图片进行标注，共分为五个类别，分别是无异常、甲状腺***状癌、甲状腺滤泡状癌、甲状腺髓样癌和甲状腺未分化癌；

（2）将70%的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为带权重的cross entropy（交叉熵）的损失函数为：

；

其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；

（3）将20%的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；

（4）将10%的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。

将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，具体内容与实施例2相同，不再赘述。

本发明整套设备系统可以放在手术现场，在活检或穿刺获得病人细胞样本后，可以很快的进行检查并输出结果，及时诊断，极大地提高效率。本发明的另一个改进在于细胞病理的诊断一般需要由经验丰富的医生进行，经验不足的医生诊断准确率不能保证，而且显微图像的尺寸非常大，医生诊断容易出现疏漏。通过训练后的神经网络模型进行诊断，更能确保诊断的准确率。本发明相比较现有的优点概括如下：

（1）能够实时将细胞或组织的图像采集并进行病理分析，取代了现有技术中，全部图像采集完毕在进行图像的分析处理，为病人争取了极大的时间，克服了在背景技术中提到在手术过程中病理分析所需时间较久的技术问题；

（2）由于采用了神经网络训练方法，本发明的病理分析的准确性显著提高，通过对比，由于采用神经网训练后分析得到的病理结果更加的精准；

（3）本发明所采用的训练方法，响应快速，因此处理速度较传统方法在病理分析的处理速度方面有了较大的提升。

以上实施例均为本发明示例性的，但并不局限于此，凡是不脱离本发明的发明精神的技术方案均落入本发明的保护范围之内，所有在本发明精神下的技术方案变形以及等效替换则均属于本发明保护范围范畴之内的。