检索病理图像的系统及方法
阅读说明：本技术 检索病理图像的系统及方法 (System and method for searching pathological image ) 是由 郭兑荣 李尚勋 金善禹 于 2019-10-04 设计创作，主要内容包括：为了帮助诊断者参照现有的诊断记录,从生物组织的图像准确地诊断疾病,公开了一种生物图像诊断系统及其方法。根据本发明的一个方面,所提供的生物图像诊断系统包括：从存储已诊断的多个生物图像和所述已诊断的多个生物图像的诊断结果的DB检索至少一个具有与预设诊断对象生物图像相似特征的类似生物图像的第1检索模块、从所述DB检索由预设诊断者诊断出的至少一个已诊断生物图像的第2检索模块、将所述至少一个类似生物图像和所述至少一个已诊断生物图像传送至所述诊断者终端的通信模块以及从所述诊断者终端接收到的所述诊断对象生物图像的疾病诊断结果存储于所述DB的储存模块。所述诊断者的终端显示所述诊断对象生物图像、所述至少一个类似生物图像和所述至少一个已诊断生物图像。(In order to help a diagnostician accurately diagnose a disease from an image of a biological tissue with reference to an existing diagnosis record, a biological image diagnosis system and a method thereof are disclosed. According to an aspect of the present invention, there is provided a biological image diagnostic system including: a 1 st retrieval module retrieving at least one similar biological image having a similar characteristic to a preset diagnosis object biological image from a DB storing a plurality of diagnosed biological images and diagnosis results of the plurality of diagnosed biological images, a 2 nd retrieval module retrieving at least one diagnosed biological image diagnosed by a preset diagnostician from the DB, a communication module transmitting the at least one similar biological image and the at least one diagnosed biological image to the diagnostician terminal, and a storage module storing disease diagnosis results of the diagnosis object biological image received from the diagnostician terminal in the DB. The diagnostician's terminal displays the diagnosis object biological image, the at least one similar biological image, and the at least one diagnosed biological image.)
技术领域
本发明涉及一种检索病理图像的系统及方法。具体来说，是一种利用基于病理图像的疾病诊断中有效的特征反映在学习中的自动编码器，从疾病诊断中有效的特征角度检索其他相似的病理图像的系统和方法。
背景技术
病理学或病理科执行的主要工作之一是读取患者的生物图像(例如，患者的生物组织幻灯片)，以判断特定疾病的状态或征兆。这种诊断是一种依赖于长期熟练的医疗人员的经验和知识的方式。最近的趋势是读取用数字成像代替生物组织幻灯片而生成的幻灯片图像的方式逐渐增加。
另一方面，最近随着机器学习的发展，正在积极尝试通过计算机系统使图像的识别或分类等工作实现自动化。一个典型的例子就是正在尝试利用机器学习的一种神经网络(例如使用卷积神经网络Convolution Neural Network，CNN)的深度学习方式)，使原本由熟练的医疗人员操作的诊断实现自动化，并通过利用神经网络(例如CNN)的深度学习进行基于图像的疾病诊断。此外，诊断者基于图像进行疾病诊断时，检索与该图像具有相似特征的图像的技法等辅助手段对疾病诊断也很有用。
另一方面，对本发明的背景技术之一的自动编码器(Autoencoder)进行说明。自动编码器是一种无监督的学习方法中主要使用的神经网络结构，是用于高效数据编码的无监督学习的神经网络结构。自动编码器学习使输出值接近输入值的函数，通过编码器对输入数据进行特征提取，通过解码器重建原始数据。
图1是能够输入图像的自动编码器结构的简略示意图。参照图1，自动编码器1可以包括含有卷积层的编码器部分2和含有反卷积层的解码器部分3。从编码器1输入原始图像(x)后，在编码器部分2中对原始图像(x)进行编码，从而生成原始图像(x)的特征(z＝E(x))。所生成的特征(z)可以在解码器部分3中解码，从而生成与原始图像(x)相对应的还原图像(x'＝D(z))。
自动编码器也是神经网络的一种，因此也是通过大量的训练数据进行学习的，在自动编码器的学习阶段，对每个学习数据x执行如下过程:
1)学习数据x输入自动编码器，经过编码和解码过程，生成与学习数据x相对应的还原数据x。
2)计算得出学习数据x和还原数据x'之间的差，即误差e＝L(x，x')(L为损失函数)。
3)根据误差反向传播法(error backpropagation)，自动编码器内的权重被更新。
发明内容
技术课题
本发明要实现的技术课题是提供一种检索病理图像的系统及方法，能够利用自动编码器检索与特定病理图像具有相似特征的其他病理图像。
另外，提供一种检索病理图像的系统及方法，能够在自动编码器的学习中反映基于病理图像的疾病诊断的有效特征，并利用这样学习的自动编码器检索对疾病诊断有效的在特征上相似的其他病理图像。
课题解决手段
根据本发明的一个方面，提供一种检索病理图像的系统，包括：自动编码器，其包括接受原始病理图像的输入后提取所述原始病理图像特征的编码器部分以及通过接受由所述编码器部分提取的所述原始病理图像的特征输入并生成与所述原始病理图像相对应的复原病理图像的解码器部分；通过接受输入了所述原始病理图像的所述自动编码器生成的复原病理图像的输入，并把输出预设疾病诊断结果的诊断用神经网络和诊断结果分别标记了的多个训练用病理图像输入所述自动编码器后，学习所述自动编码器和所述诊断用神经网络的学习模块，其特征为所述自动编码器反映由所述诊断用神经网络输出的所述复原病理图像的诊断结果后学习。
在一个实施例中，特征可以是所述自动编码器的损失函数可以由所述原始病理图像和所述复原病理图像之间的差，以及所述原始病理图像的标签和所述诊断用神经网络输出的所述复原病理图像的诊断结果之间的差来定义。
在一个实施例中，所述检索病理图像的系统可以进一步包括特征生成模块，对多个用于检索的病理图像中的每一个图像，向所学习的所述自动编码器中输入所述检索用病理图像，然后通过所述编码器部分生成所述检索用病理图像的特征，将所生成的所述检索用图像的特征存储在DB中。
在一个实施例中，所述检索病理图像的系统可以进一步包括检索模块，在所学习的所述自动编码器中输入可疑病理图像，通过所述编码器部分生成所述可疑病理图像的特征，并根据所生成的所述可疑病理图像的特征，在所述DB中检索与所述可疑病理图像相似的类似病理图像的特征。
根据本发明的一个实施例，特征为所述疾病可以是前列腺癌。
根据本发明的另一方面，提供一种检索病理图像的系统，其特征是包括：通过接受原始病理图像输入后提取所述原始病理图像特征的已学习的自动编码器的编码器部分；包含多个检索用病理图像各自的特征而构建的DB；和将可疑病理图像输入所述自动编码器后通过所述编码器部分生成所述可疑病理图像的特征，并根据所生成的所述可疑病理图像的特征在所述DB中检索与所述可疑病理图像相似的类似病理图像特征的检索模块。所述自动编码器通过所述系统学习，所述DB通过所述系统构建。
根据本发明的另一方面，提供一种检索病理图像的系统，其特征是包括：包括通过接受原始病理图像输入后提取所述原始病理图像特征的编码器部分以及输入由所述编码器部分提取的所述原始病理图像的特征后生成与所述原始病理图像相对应的复原病理图像的解码器部分的自动编码器；接受由输入了所述原始病理图像的所述自动编码器生成的复原病理图像的输入后，输出设定疾病诊断结果的诊断用神经网络；以及将诊断结果分别标记了的多个训练用病理图像输入所述自动编码器后学习所述自动编码器，将诊断结果分别标记了的多个附加的训练用病理图像输入到所述诊断用神经网络后学习所述诊断用神经网络的学习模块。所述自动编码器反映由所述诊断用神经网络输出的所述复原病理图像的诊断结果并学习。
根据本发明的另一方面，提供一种检索病理图像的方法，包括通过接受原始病理图像输入后提取所述原始病理图像特征的编码器部分以及输入由所述编码器部分提取的所述原始病理图像的特征后生成与所述原始病理图像相对应的复原病理图像的解码器部分的自动编码器；接受由输入了所述原始病理图像的所述自动编码器生成的复原病理图像的输入后，输出预设疾病诊断结果的诊断用神经网络的系统，通过这一系统执行病理图像检索的方法，包括诊断结果分别标记了的多个训练用病理图像输入到所述自动编码器后学习所述自动编码器和所述诊断用神经网络的学习步骤，所述自动编码器反映由所述诊断用神经网络输出的所述复原病理图像的诊断结果并学习。
在一个实施例中，其特征为所述自动编码器的损失函数可以由所述原始病理图像和所述复原病理图像之间的差，以及所述原始病理图像的标签和通过所述诊断用神经网络输出的所述复原病理图像的诊断结果之间的差来定义。
在一个实施例中，所述病理图像检索的方法可以进一步包括特征生成步骤:对多个检索用病理图像中的每一个图像，在学习了的所述自动编码器中输入所述检索用病理图像，然后由所述编码器部分生成所述检索用病理图像的特征，并将生成的所述检索用图像的特征存储在DB中。
在一个实施例中，所述病理图像检索的方法可以进一步包括检索步骤:将可疑病理图像输入到学习了的所述自动编码器中，然后由所述编码器部分生成所述可疑病理图像的特征，并根据所生成的所述可疑病理图像的特征在所述DB中检索与所述可疑病理图像相似的类似病理图像特征。
根据本发明的另一方面，提供一种检索病理图像的方法，其特征是：一种包括输入了原始病理图像后提取所述原始病理图像特征的学习了的自动编码器的编码器部分和为了含有多个检索用病理图像各自的特征而构建的DB的系统，通过这一系统执行病理图像检索的方法包括：将可疑病理图像输入所述自动编码器后通过所述编码器部分生成所述可疑病理图像的特征的步骤；以及基于所生成的所述可疑病理图像的特征在所述DB中检索与所述可疑病理图像相似的类似病理图像的特征的步骤。所述自动编码器通过所述方法学习，所述DB通过所述方法构建。
根据本发明的另一方面，提供一种检索病理图像的方法，其特征是：包括通过接受原始病理图像输入后提取所述原始病理图像特征的编码器部分以及输入由输入所述编码器部分提取的所述原始病理图像的特征后生成与所述原始病理图像相对应的复原病理图像的解码器部分的自动编码器、由输入所述原始病理图像的所述自动编码器生成的复原病理图像后输出预设疾病诊断结果的诊断用神经网络的系统，通过这一系统执行病理图像检索的一种方法包括：将诊断结果分别标记了的多个训练用病理图像输入到所述自动编码器中后学习所述自动编码器的步骤和将诊断结果分别标记了的多个附加的训练用病理图像输入到所述诊断用神经网络中后学习所述诊断用神经网络的步骤。所述自动编码器反映由所述诊断用神经网络输出的所述复原病理图像的诊断结果后学习。
根据本发明的另一方面，提供一种记录在媒介上的计算机程序，安装在数据处理装置中，以执行上述方法。
发明的效果
依据本发明的技术思想，提供了一种检索病理图像的系统及方法，可以利用自动编码器检索具有与特定病理图像相似特征的其他病理图像。
此外，可以提供一种检索病理图像的系统及方法，可以在自动编码器的学习中使基于病理图像的疾病诊断的有效特征得到反映，通过使用这样学习的自动编码器，可以检索对疾病诊断有效的在特征上相似的其他病理图像。
附图说明
为了更好地理解本发明具体说明中引用的附图，提供了每个图形的简要说明。
图1是自动编码器结构的简略示意图。
图2是本发明的技术思想涉及的一种检索病理图像的方法的操作环境的示意图。
图3是本发明一个实施例涉及的一种检索病理图像的系统的简单结构的示意图。
图4a至图4c分别是用来说明本发明互不相同的实施例涉及的检索病理图像的系统中学习自动编码器的方法的示意图。
图5是本发明一个实施例涉及的检索病理图像的系统中提取检索用图像的特征后构建DB的过程示意图。
图6是本发明一个实施例涉及的一种检索病理图像的系统中检索病理图像的说明图。
具体实施方式
本发明可以进行多种转换，可以有多种实施例，将在图纸上举例说明特定实施例，并在详细说明中进行具体阐述。但是，这并不是要将本发明限定于特定的实施形式，而应理解为包含在本发明思想及技术范围内的所有转换、等价物或替代物。在对本发明进行说明时，在认为有关已知技术的具体说明反而会使本发明的要点含糊时，则省略详细说明。
第一、第二等术语可以用于对各种组件的说明，但所述组件不能被所述术语限制。所述各术语仅用于将一个组件与其他组件区分开来。
本申请中使用的术语只是用于说明特定实施例，并不意在限制本发明。单数的表达包括复数的表达，除非上下文中有明显不同的意思。
本说明书中“包含”或“具有”等术语是指说明书中记载的特征、数、步骤、动作、组件、零件或它们的组合的存在，应理解为并不是事先排除一个或多个其他特征、数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。
另外，在本说明书中，一个组件将数据“传输”到另一个组件时，则意味着所述组件可以直接将所述数据传输到所述其他组件，也可以通过至少一个其他组件将所述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传输”到另一个组件，则意味着所述数据将从所述组件传输到其他组件，而并非通过其他组件。
以下，参照所附图纸，围绕本发明的实施例详细说明本发明。每个图形中提供的相同参考符号代表相同的部件。
图2是本发明技术思想涉及的一种检索病理图像的方法的操作环境的示意图。参照图2，本发明的技术思想涉及的一种检索病理图像的方法可以通过检索病理图像的系统100执行。
在本发明的技术思想中，用于检索病理图像的系统100可以安装在预设服务器10上，实现本发明的技术思想。所述服务器10是指为了实现本发明技术思想的具有计算能力的数据处理装置，通常可以将通过网络与客户端(终端；20至20-1)连接的数据处理装置以及个人计算机、移动终端等执行特定服务的任何一种装备定义为服务器，对此本发明技术领域的一般专家很容易推断。
所述服务器10可以包括处理器和存储装置。所述处理器可以指能够驱动实现本发明技术思想的程序的运算装置，并且可以利用所述程序和基于本发明技术思想定义的自动编码器进行病理图像检索。所述存储装置可以是指实现本发明技术思想所需的程序及能够存储各种数据的数据存储手段，也可以根据实施例使用多种存储手段加以实施。另外，所述存储装置不仅可以指包括在所述服务器10中的主记忆存储装置，也可以指包括在所述处理器中的临时存储装置或内存等。
所述病理图像检索系统100在图2中是以任意一种物理设备实现的，但根据需要，多个物理设备可以有机地结合在一起，实现本发明技术思想涉及的诊断系统100，对此本发明技术领域的一般专家很容易推断。
图3是根据本发明的一个实施例涉及的检索病理图像的系统100的简单结构的示意图。
参考图2，所述系统100可以包括自动编码器110、诊断用神经网络120、学习模块130、特征生成模块140、检索模块150。根据本发明的实施例，所述组件中的部分组件可能不一定对应于实施本发明所必需的必要组件，并且根据实施例，所述诊断系统100当然可能包含更多的组件。例如，所述系统100可能进一步包括用来控制所述系统100的其他配置(例如学习模块130、特征生成模块140、检索模块150等)的功能和/或资源的控制模块(未图示)。此外，根据实施例，所述系统100可能进一步包括用于存储实施本发明技术思想所需的各种信息和/或数据的数据库(Database；DB；200)。另外，根据实施例，所述系统100也可能不包括学习模块130和/或特征生成模块140。
所述系统100可以指具有实施本发明技术思想所需的硬件资源(resource)和/或软件的逻辑配置，不一定指一种物理组件或一种装置。也就是说，所述系统100可以指为实施本发明的技术思想而配备的硬件和/或软件的逻辑结合，必要时可以安装在彼此间隔的设备上，执行各自的功能，从而实现本发明技术思想的逻辑配置的集合。此外，所述系统100还可以指为实施本发明技术思想而按照每一功能或作用分别实施的各组件的集合。例如自动编码器110、诊断用神经网络120、学习模块130、特征生成模块140、检索模块150可各自位于不同的物理设备上，也可以位于同一物理设备上。此外，根据实施例，构成所述自动编码器110、诊断用神经网络120、学习模块130、特征生成模块140、检索模块150中的每一软件和/或硬件的组合也同样可以位于互不相同的物理设备上，位于互不相同的物理设备上的各组件可相互有机结合并分别实现所述各模块。
此外，本说明书中的模块可以指用于执行本发明技术思想的硬件和用于驱动所述硬件的软件的功能性和结构性组合。例如，所述模块可以指预设编码和执行预设编码的硬件资源(resource)的逻辑单位，并不一定是指物理连接的编码或指一种硬件，对此本发明技术领域的一般专家很容易推断。
所述DB200可以存储多个病理图像。病理图像可以是组织图像等各种生物图像。
根据实施例，所述DB200可以包括用于学习后述自动编码器110和诊断用神经网络120的多个训练用病理图像。另外，根据实施例，所述DB200可能包括多个检索用病理图像。训练用病理图像上可能事先标记了对其的诊断结果，标记的诊断结果也可能与其相应的训练用病理数据相关联，存储在所述DB200中。
所述自动编码器110可以包括编码器部分111和解码器部分112。
编码器部分111可以在接受原始病理图像输入后提取所述原始病理图像的特征。
解码器部分112可以接受输入通过所述编码器部分111提取的所述原始病理图像的特征，生成与所述原始病理图像相对应的复原病理图像。
所述诊断用神经网络120可以是基于图像的用于诊断疾病的神经网络。特别是，所述诊断用神经网络120可以输入通过输入了所述原始病理图像的所述自动编码器生成的复原病理图像，然后输出预设疾病的诊断结果。
例如，所述疾病可以是前列腺癌，以下将围绕前列腺癌进行说明，但本发明的技术思想不限于前列腺癌，对此本发明所属领域的一般技术人员很容易理解。
本说明书中的“执行诊断”可以指基于生物组织表达的生物图像幻灯片或其中的一部分(如图像块或图像子块)对特定疾病做出相关判断。因此，对生物图像的诊断结果不仅可以包括特定疾病表达与否，还可以包括特定疾病的发展程度(或相当于发展程度的概率)。例如，当本发明的技术思想运用于前列腺癌诊断时，诊断结果中可能包括体现前列腺癌发展程度的指标“格里森模式(Gleason Pattern)”或“格里森评分(Gleason Score)”。例如，格利森评分的值为2至10，通常情况下值为6至10时可判断为癌，数字越大，前列腺癌表达的程度就越严重。格利森模式可以分为1到5类。另一方面，诊断结果中也可能包括疾病表达的部位。
根据实施例，所述诊断用神经网络120输出的诊断结果可以是多样的。例如，所述诊断用神经网络120可以执行判别某些疾病(例如前列腺癌)是否存在的分类。又或根据实施例，所述诊断用神经网络120可以进行多种分类或回归估计，以确定特定疾病(例如前列腺癌)的严重程度。另外，所述诊断用神经网络120也可以进行多级分类、回归估计或基于语义的图像分割，以检测特定疾病的病变位置。
在本说明书中，神经网络可以指表达定义神经网络的一系列设计事项的信息集合。在本说明书中，所述神经网络可以是卷积神经网络。
所述卷积神经网络正如众所周知，可以包含输入层、多个隐含层和输出层。多个隐含层中的每一个都可以包含卷积层和池化层(或子采样层)。
卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义各个层。此外，输出层可定义为完全连接的前馈层(FeedForward layer)。
构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的各函数。
举例来说，卷积函数可以是离散卷积和等。池函数可以是极大池化(max-pooling)、均值池化(average-pooling)等。激励函数可以是sigmoid、tanh、RELu(Rectified Linear unit)等。
定义了这些卷积神经网络的设计事项后，定义了设计事项的卷积神经网络就可以存储在存储设备上。并且，当所述卷积神经网络学习后，每个层对应的权重因子可以是特定的。
也就是说，卷积神经网络的学习可以是指由各层的权重因子决定的过程。而且，当卷积神经网络学习后，所学习的卷积神经网络可以在输入层上接受输入数据的输入，并通过事先定义的输出层输出输出数据。
本发明的实施例涉及的神经网络可以通过选择所述众所周知的设计事项中的任何一个或多个来定义，也可以为所述神经网络定义独立的设计事项。
所述学习模块130可以将诊断结果分别标记的多个训练用病理图像输入到所述自动编码器中，并学习所述自动编码器和所述诊断用神经网络。
特别是，所述自动编码器的特征可以是反映由所述诊断用神经网络输出的所述复原病理图像的诊断结果并学习。
在一个实施例中，所述自动编码器110的损失函数(loss function)可以定义为包括所述原始病理图像和所述复原病理图像之间的差，以及所述原始病理图像的标签和所述诊断用神经网络输出的所述复原病理图像的诊断结果之间的差。
例如，所述自动编码器110的损失函数可以是如下公式的形式:
[公式]
L＝w1L1(x,x')+w2L2(y,y')
其中，w1、w2代表预设的权重，L1(a、b)和L2(a、b)分别代表a和b之间的距离的函数，x代表原始病理图像，x'代表与x对应的复原病理图像，y代表x的标签，y'代表诊断用神经网络120中诊断x'的诊断结果。
距离函数L1和/或L2可以包括平均平方误差(mean squared error；MSE)、交叉熵误差(cross entropy error；CEE)等损失函数或体现两个向量之间距离(例如欧几里得距离、n-范数距离、曼哈顿距离等)的函数。另外，所述两个距离函数L1和L2可以是相同形式的函数或不同形式的函数。在另一个实施例中，距离函数L可以是进一步包括附加的项R()的下一个[公式]的形式。
[公式]
L＝w1L1(x,x')+w2L2(y,y')+R()
其中，R()可以是由神经网络的各种参数、编码结果(z)等附加参数定义的函数。
图4a是所述自动编码器110和所述诊断用神经网络120通过训练用原始病理图像学习的过程的示意图。
参考图4a，前馈过程如下。
诊断结果y是标记的原始病理图像x输入至自动编码器后，编码器部分111中生成原始病理图像x的特征z，特征z从输入解码器部分输入后生成复原病理图像x'。然后，复原病理图像x'被输入至诊断用神经网络120后输出诊断结果y'。
另外，参考图4a，误差反向传播(backpropagation)过程的形成如下:
首先，计算出由诊断用神经网络120输出的诊断结果y'和原始病理图像x的标签y的差L(y，y')，计算结果L(y，y')通过反向传播方法反映在诊断用神经网络120上。另一方面，诊断用神经网络120输出的诊断结果y'反映在所述自动编码器110的学习中。例如，原始病理图像x和与其对应的复原图像x'的差L1(x，x')和诊断用神经网络120输出的诊断结果y'和原始病理图像x的标签y的差L2(y，y')都是通过反向传播法反映在所述自动编码器110上，从而学习所述自动编码器110。
另一方面，根据实施例，未经过所述自动编码器110的多个附加训练用病理图像可能被进一步输入所述诊断用神经网络120，从而可以执行所述诊断用神经网络的学习。也就是说，在本实施例中，所述学习模块130为了所述诊断用神经网络120的学习，第一步使多个训练用病理图像经由所述自动编码器110输入所述诊断用神经网络120，第二步使多个附加训练用病理图像不经由所述自动编码器100直接输入所述诊断用神经网络120，从而使所述诊断用神经网络120学习。
图4b是说明根据上述实施例的所述自动编码器110和所述诊断用神经网络120的学习过程的示意图。
参考图4b，前馈过程如下。
诊断结果y是标记的原始病理图像x输入自动编码器110后，在编码器部分111中生成原始病理图像x的特征z，特征z输入解码器部分后生成复原病理图像x'。然后，复原病理图像x'被输入至诊断用神经网络120后输出诊断结果y'。另外，诊断结果v标记的附加原始病理图像u被输入至诊断用神经网络120而非自动编码器110，从而输出诊断结果v'。
参考图4b，误差反向传播过程的形成如下。
由输入至自动编码器110的原始病理图像x进行学习时，计算出诊断用神经网络120输出的复原病理图像x'的诊断结果y'和原始病理图像x的标签y的差L(y，y')，计算出的L(y，y')通过反向传播法反映在诊断用神经网络120中。另外，诊断用神经网络120中输出的诊断结果y'反映在所述自动编码器110的学习中。例如，原始病理图像x和与其对应的复原图像x'的差L1(x，x')和诊断用神经网络120中输出的诊断结果y'和原始病理图像x的标签y的差L2(y,y')都是通过反向转播法反映在所述自动编码器110上，从而使所述自动编码器110学习。
通过直接输入到诊断用神经网络120的附加原始病理图像u进行学习时，计算出诊断用神经网络120中输出的诊断结果v'和附加原始病理图像u的标签v的差L(v,v')，计算出的L(v,v')通过反向传播法反映至诊断用神经网络120。
本说明书中的附加训练用病理图像或附加原始病理图像是指区别于所述训练用病理图像或原始病理图像(即，输入到所述自动编码器110中，用于所述自动编码器110和所述诊断用神经网络120的学习的病理图像)的术语，因此，输入到所述自动编码器110中，用于所述自动编码器110和所述诊断用神经网络120的学习的病理图像被作为第1训练用病理图像，用于不经过所述自动编码器110而直接输入到所述诊断用神经网络120中，学习所述诊断用神经网络120的病理图像被作为第2训练用病理图像。
另一方面，根据实施例，所述学习模块130将多个第1训练用病理图像输入到所述自动编码器110中，学习所述自动编码器110和所述诊断用神经网络120，在此之前，首先将未经过所述自动编码器110的多个第2训练用病理图像输入所述诊断用神经网络120，学习所述诊断用神经网络120。
另外，在某些情况下，在所述诊断用神经网络120的学习时，可能有一些实施例是不经过所述自动编码器110，仅仅通过直接输入到所述诊断用神经网络120的多个训练用病理图像使所述诊断用神经网络120学习。
图4c是说明上述实施例涉及的所述自动编码器110和所述诊断用神经网络120的学习过程的示意图。
参考图4c，前馈过程如下。
诊断结果y是标记的原始病理图像x输入自动编码器110后，在编码器部分111中生成原始病理图像x的特征z，特征z输入解码器部分，生成复原病理图像x'。之后，复原病理图像x'被输入诊断用神经网络120，并输出诊断结果y'。另外，诊断结果v标记的附加原始病理图像u被输入诊断用神经网络120而不是自动编码器110，从而输出诊断结果v'。
参考图4c，误差反向传播过程的形成如下。
通过输入至自动编码器110的原始病理图像x进行学习时，计算出从诊断用神经网络120输出的复原病理图像x'的诊断结果y'和原始病理图像x的标签y的差L(y，y')，计算出的L(y,y')反映在所述自动编码器110的学习中。例如，原始病理图像x和与其对应的复原图像x'的差L1(x，x')和诊断用神经网络120中输出的诊断结果y'和原始病理图像x的标签y的差L2(y,y')都是通过反向传播法反映在所述自动编码器110，从而使所述自动编码器学习。
由直接输入到诊断用神经网络120的附加原始病理图像u进行学习时，计算出诊断用神经网络120中输出的诊断结果v'和附加原始病理图像u的标签v之间的差L(v,v')，计算出的L(v,v')通过反向传播法反映至诊断用神经网络120。
再次参考图3，所述特征生成模块140可以在对所述自动编码器110的学习完成后，生成多个检索用病理图像各自的特征值，并构建存储它们的DB200。
也就是说，所述特征生成模块140可以对多个检索用病理图像中的每一个图像，将所述检索用病理图像输入到学习了的所述自动编码器110中，通过所述编码器部分生成所述检索用病理图像的特征，并将所生成的所述检索用图像的特征存储在DB200中。
图6是说明通过所述特征生成模块140提取多个检索用病理图像各自的特征并构建DB200的过程的示意图。
参考图6，所述DB200可以包括病理图像数据DB(210)和病理图像索引DB(220)。检索用病理图像可以与索引一起存储在病理图像数据DB(210)中。对于每个检索用病理图像x，所述特征生成模块140可以输入到学习了所述检索用病理图像x的所述自动编码器110中。于是，可以从学习了的所述自动编码器110的编码器部分111中提取所述检索用病理图像x的特征z。然后，所述特征生成模块140可以将所述检索用病理图像x的特征z与所述检索用病理图像x的索引id相关联，存储在病理图像索引DB(220)中。
另一方面，再次参考图3，则所述检索模块150可以在提取所述多个检索用病理图像中的每个图像的特征后，检索与预设的可疑病理图像相似的类似图像。
对此，参照图6进行说明，所述检索模块150可以将可疑病理图像q输入学习了的所述自动编码器110中，然后通过所述编码器部分111可以生成所述可疑病理图像q的特征w。
之后，所述检索模块150可以基于所述可疑病理图像q的特征w，在所述DB200上检索与所述可疑病理图像相似的类似病理图像的特征。例如，所述检索模块150可基于存储在病理图像索引DB(220)中的多个检索用病理图像的每个图像的特征和所述可疑病理图像q的特征w之间的相似度进行检索。在基于相似度进行检索时，可应用求出两个向量之间相似度的多种技法。例如，两个向量之间的相似度可以用向量之间的距离或余弦相似度来表示，此外，还可以应用已知的各种方法。另一方面，检索到与所述可疑病理图像q相似的类似图像的索引id时，这样所述检索模块150可以从病理图像数据DB(210)检索类似图像。
另一方面，根据实施例，所述自动编码器110可包括变分自动编码器(variationalauto encoder；vAE)。
另一方面，本说明书主要说明了本发明技术思想适用于前列腺癌的一个例子，但对于其他疾病也有必要运用本发明的技术思想，不仅要考虑特定组织，同时还需要考虑到该组织的周围组织的状态来对所述特定组织进行诊断，从而可进行更准确的诊断并使诊断结果可视化，这一点本发明技术领域的普通专家可以很容易地推断出来。
另一方面，本发明的技术思想涉及的检索病理图像的方法还可以运用于更有效地制作利用生物形象学习用以疾病诊断的机器时所使用的学习数据。
另外，本发明技术思想涉及的检索病理图像的方法也可以用于通过相似图像的检索来实现病理诊断方法。例如，可以实现一种系统和方法，将成为诊断对象的特定输入幻灯片图像转换为一个以上可检索图像或各图像，对每个转换的可检索图像执行类似图像搜索，然后综合对它们的诊断结果，对所述输入幻灯片图像生成诊断结果。
另一方面，根据实施例，用于检索所述病理图像的系统100和/或终端20可以包括处理器和存储由所述处理器执行程序的内存。所述处理器可以包括单核CPU或多核CPU。内存可以包括高速随机访问内存，也可以包括非易失性内存，如一个或多个磁光盘存储设备、闪存装备或其他非易失性固态内存设备。处理器和其他组件对内存的访问可以由内存控制器控制。
另一方面，通过本发明的实施例涉及的检索病理图像的方法可以以计算机可读的程序命令的形式实现，并存储在计算机可读的记录介质中，本发明的实施例涉及的控制程序和目标程序也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。
记录在记录介质上的程序命令可能是专门为本发明设计和配置的，也可能是软件领域的业内人士都知道并使用的。
计算机可读记录介质例如硬盘、软盘和磁带之类的磁性介质(magnetic media)、诸如CD-ROM和DVD之类的光学介质(optical media)、诸如软盘(floptical disk)等光磁介质(magneto-optical media)、诸如储存并执行ROM、RAM、闪存等程序命令的特别配置的硬件装置。此外，计算机可读的记录介质分散在联网的计算机系统中，可以以分布式方式存储和运行计算机可读的代码。
程序命令的例子不仅包括编译器创建的机器语言代码，还包括使用解释器等以电子方式处理信息的设备，例如可通过计算机执行的高级语言代码。
所述硬件设备可以配置为一个或多个软件模块来执行本发明的运作，反之同样如此。
本发明的前述说明仅用于举例说明，具备本发明所属技术领域常规知识的人可以理解，在不改变本发明的技术思想或本质特征的情况下，可以轻易地更改为其他具体形式。因此，以上所述各实施例应该理解为从各方面来说都只是例子，并不限定于此。例如，描述为单一形式的各个组件可以分开实施，同样，描述为分散的各组件也可以在组合的形式下实施。
本发明的范围如后述的专利权利请求范围所示，并不通过所述详细说明体现出来，专利权利要求范围的意义和范围以及从其统一概念导出的所有改变或变形的形式都应被解释为包含在本发明的范围内。
工业应用可能性
本发明可用于“检索病理图像的系统和方法”。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：工作流程预测性分析引擎