具体实施方式

以下，参考附图对本发明的实施方式进行说明。图1是表示适用了根据本发明的第1实施方式的相似度确定装置的、诊断支持系统的概要的硬件结构图。如图1所示，在诊断支持系统中，根据本实施方式的相似度确定装置1、三维图像摄影装置2及图像保管服务器3经由网络4以可通信的状态连接。

三维图像摄影装置2是通过拍摄受检体的成为诊断对象的部位而生成表示该部位的三维图像的装置，具体而言，是CT装置、MRI装置及PET(Positron Emission Tomography：正电子发射断层扫描)装置等。由该三维图像摄影装置2生成的、由多个切片图像组成的三维图像发送并保存于图像保管服务器3。另外，在本实施方式中，作为受检体的患者的诊断对象部位是肺，三维图像摄影装置2是CT装置，将包括受检体的肺的胸部CT图像生成为三维图像。

图像保管服务器3是保存并管理各种数据的计算机，具备大容量外部存储装置及数据库管理用软件。图像保管服务器3经由有线或无线网络4而与其他装置进行通信，并收发图像数据等。具体而言，经由网络获取包括由三维图像摄影装置2生成的三维图像的图像数据的各种数据，并保存在大容量外部存储装置等记录介质中进行管理。另外，图像数据的存储形式及经由网络4的各装置之间的通信基于DICOM(Digital Imaging andCommunication in Medicine：医学数字成像和通信)等协议。另外，在本实施方式中，在图像保管服务器3中保存有成为检查对象的三维图像(以下，设为检查图像)及登记有病例图像的病例数据库DB。关于病例数据库DB将进行后述。并且，在本实施方式中，检查图像是由一个以上的切片图像(以下，设为检查切片图像)组成的三维图像。并且，病例图像也是由一个以上的切片图像(以下，设为病例切片图像)组成的三维图像。另外，检查图像对应于第1医用图像，病例图像对应于第2医用图像。

相似度确定装置1将本发明的相似度确定程序安装到一台计算机。计算机可以是进行诊断的医生直接操作的工作站或个人电脑，也可以是经由网络与它们连接的服务器计算机。相似度确定程序记录并分发到DVD(Digital Versatile Disc：数字多功能光盘)或CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)等记录介质中，并从该记录介质安装到计算机。或者，以从外部可以访问的状态存储于与网络连接的服务器计算机的存储装置或网络储存器，并根据要求下载并安装于医生所使用的计算机。

图2是表示根据本发明的第1实施方式的相似度确定装置的概略结构的图，所述第1实施方式是通过将相似度确定程序安装于计算机而实现。如图2所示，相似度确定装置1具备CPU(Central Processing Unit：中央处理器)11、存储器12及储存器13作为标准工作站的结构。并且，在相似度确定装置1上连接有由液晶显示器等组成的显示部14、由键盘及鼠标等组成的输入部15。

储存器13由硬盘及SSD(Solid State Drive：固态驱动器)等组成。在储存器13中存储有各种信息，该各种信息包括经由网络4从图像保管服务器3获取的受检体的检查图像及处理中所需信息。

并且，在存储器12中存储有相似度确定程序。相似度确定程序规定如下处理作为使CPU11执行的处理：获取成为检查对象的检查图像的图像获取处理；将检查图像的各个像素分类为多个种类的观察结果中的至少一个观察结果的观察结果分类处理；针对在检查图像中分类出的每个观察结果计算第1特征量的特征量计算处理；针对在检查图像中分类出的各个观察结果设定加权程度根据各个观察结果的尺寸而不同的权重系数的权重系数设定处理；根据权重系数进行在检查图像中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像与病例图像的相似度的相似度导出处理；根据所导出的相似度来检索与检查图像相似的病例图像的检索处理；及将检索结果显示于显示部14的显示控制处理。

而且，通过CPU11按照程序执行这些处理，计算机作为图像获取部21、观察结果分类部22、特征量计算部23、权重系数设定部24、相似度导出部25、检索部26及显示控制部27而发挥功能。

图像获取部21获取成为检查对象的受检体的检查图像V0。另外，在检查图像V0已保存在储存器13中的情况下，图像获取部21可以从储存器13获取检查图像V0。

观察结果分类部22将检查图像V0中所包括的肺区域的各个像素分类为多个种类的观察结果中的至少一个观察结果。具体而言，观察结果分类部22针对检查图像V0中所包括的肺区域的每个像素，计算表示是多个种类的组织或病变(即，观察结果)的每一个组织或病变的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果。在本实施方式中，观察结果分类部22将检查图像V0的各个像素分类为一个观察结果。

本实施方式的观察结果分类部22具有由通过机器学习之一的深度学习(深度学习)而生成的多层神经网络组成的判别器，并使用该判别器来确定检查图像V0的各个像素所属的观察结果的种类。另外，作为机器学习方法，并不限定于深度学习，也能够使用支持向量机等其他方法。

在多层神经网络中，在各个层中使用各种内核对由前一层级得到的不同的多个特征量数据进行运算处理。而且，在下一级以后的层中，对通过该运算处理而得到的特征量数据进一步进行运算处理，由此能够提高特征量的识别率，并能够将所输入的数据分类为多个类别。

另外，在本实施方式中，将多层神经网络描述为输入检查图像V0并输出对肺区域的多个种类的观察结果的分类结果，但是可以构成为输入构成检查图像V0的多个检查切片图像的每一个，并输出对肺区域的多个种类的观察结果的分类结果。

图3是表示多层神经网络的一例的图。如图3所示，多层神经网络40由包括输入层41及输出层42的多个层级组成。在本实施方式中进行了学习，以将检查图像V0中所包括的肺区域分类为如下多个观察结果，例如浸润阴影、肿瘤阴影、毛玻璃阴影、小叶中心结节阴影、非小叶中心结节阴影、网状阴影、线状阴影、小叶间隔增厚、蜂窝肺、囊肿、低吸收区(气肿)、气肿倾向、空腔、胸膜增厚、胸腔积液、空腔、支气管扩张、牵拉性支气管扩张、动脉、正常肺、胸壁及纵隔等。另外，观察结果的种类并不限定于这些，可以是比这些更多的观察结果，也可以是比这些更少的观察结果。

在本实施方式中，使用几百万大量的教师数据使多层神经网络40学习这些观察结果。当学习时，从观察结果的种类已知的剖面图像中剪切预先确定尺寸(例如1.5cm×1.5cm)的关注区域，并将该关注区域用作教师数据。然后，将教师数据输入到多层神经网络40，并输出观察结果的种类的分类处理的结果(以下，设为分类结果)。接着，将所输出的结果与教师数据进行比较，根据正确与否，从输出侧向输入侧对多层神经网络40的各个层中所包括的单元(图3中由圆圈表示)的各个层级之间的结合权重进行修正。使用大量的教师数据重复进行结合权重的修正，直到预先确定的次数或所输出的分类结果的正确率成为100％为止，并结束学习。

另外，在输入图像是检查切片图像的情况下，当学习多层神经网络40时，从构成病变已知的三维图像的切片图像中剪切标准化为预先确定尺寸(例如1.5cm×1.5cm)的二维区域，并将所剪切的二维区域图像用作教师数据。

观察结果分类部22为了分类而从检查图像V0中提取作为对象区域的肺区域。作为提取肺区域的方法，能够使用将检查图像V0中的每个像素的信号值进行直方图化，并通过对肺进行阈值处理而提取的方法，或者基于表示肺的种子点的区域生长法(RegionGrowing)等任意的方法。另外，也可以使用进行了机器学习以提取肺区域的判别器。

观察结果分类部22当进行观察结果分类处理时，从检查图像V0的肺区域中依次剪切与教师数据相同大小的关注区域，并将该关注区域输入到由多层神经网络40组成的判别器。由此，对所剪切的关注区域的中心像素输出与观察结果各个分类对应的评价值。另外，与该各个分类对应的评价值是表示中心像素属于各个分类的可能性的评价值，表示该评价值越大，属于该分类的可能性越高。

图4是表示关于某一关注区域的中心像素的与观察结果的种类对应的评价值的图。另外，在图4中，为了简化说明而示出关于一部分观察结果的评价值。在本实施方式中，判别器将关注区域的中心像素分类为多个观察结果中评价值为最大的观察结果。例如，在获取如图4所示评价值的情况下，该关注区域的中心像素是网状阴影的可能性最高，其次是毛玻璃阴影的可能性高。相反地，几乎没有正常肺或低吸收区的可能性。因此，在获取如图4所示评价值的情况下，通过观察结果分类处理，关注区域的中心像素被分类为评价值为最大的8.5的网状阴影。由此，检查图像V0中所包括的肺区域的所有像素被分类为多个种类的观察结果中的任一个。

观察结果分类部22从所提取的肺区域中依次剪切与教师数据相同体素区域，并输入到由如上所述进行了学习的多层神经网络40组成的判别器。由此，关于所剪切的区域的中心像素，对多个种类的病变区域的每一个病变区域输出多个评价值。观察结果分类部22将输入到多层神经网络40的区域的中心像素分类为多个评价值中最大评价值的观察结果，并生成观察结果分类结果。由此，检查图像V0中所包括的肺区域的所有像素分类为多个种类的观察结果中的任一个。

观察结果分类部22根据观察结果分类处理的结果对检查图像V0中的各个分类区域分配颜色，由此生成映射图像。具体而言，关于分类为上述多个种类的观察结果中的任一个的三维空间上的所有像素，观察结果分类部22对同一分类的像素分配相同颜色，由此生成三维映射图像。图5是表示对多个种类的各个分类分配与该分类对应的颜色的映射图像中的一剖面的图。另外，在图5中，为了简化说明，示出分类为毛玻璃阴影、正常肺、支气管扩张、蜂窝肺、网状阴影、浸润阴影、低吸收区及囊肿八个种类的观察结果时的映射图像。另外，可以由后述显示控制部27将映射图像显示于显示部14。当将映射图像显示于显示部14时，如图5所示，显示三维映射图像中的任意剖面的剖面图像即可。然而，并不限定于此，也可以将三维映射图像显示于显示部14。

特征量计算部23针对在检查图像V0中分类出的每个观察结果计算特征量。具体而言，计算每个观察结果区域的大小、每个观察结果的平均浓度、每个观察结果的浓度的分散度、每个观察结果区域的数量及每个观察结果区域的平均尺寸等至少一个作为特征量。另外，将关于检查图像V0计算出的特征量称为第1特征量。并且，每个观察结果区域的大小、每个观察结果区域的数量及每个观察结果区域的平均尺寸等是尺寸特征量。作为每个观察结果区域的大小，能够使用每个观察结果区域的体积。

另外，在上述病例数据库DB中，针对多个病例图像的每一个登记有文件名、各个像素中的关于多个观察结果的评价值、以及每个观察结果的特征量。将关于病例图像登记在病例数据库DB中的特征量称为第2特征量。第1特征量及第2特征量标准化为0以上且1以下的值。并且，关于检查图像V0，若获取各个像素中的关于多个观察结果的评价值及每个观察结果的特征量，则该检查图像V0登记在病例数据库DB中作为新的病例图像。此时，关于该检查图像V0的评价值及第1特征量作为新的病例图像的评价值及第2特征量登记于病例数据库DB。

权重系数设定部24对检查图像V0的各个像素被分类的各个观察结果，设定加权程度根据各个观察结果的尺寸而不同的权重系数。权重系数是当后述相似度导出处理时，进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的即登记到病例数据库DB中的每个观察结果的第2特征量的加权运算时的权重系数。

在此，由于医用图像的特征是多种多样的，因此考虑医用图像观点上的特征量的重要性，若对特征量不进行适当的加权，则特征量差异的大小与医学图像差异的大小不对应，而导致相似度偏离医学感觉。从而，若对特征量不进行适当的加权，则在检索到与检查图像V0相似的病例图像的情况下，检索结果可能会成为不适合的相似度顺序。

在此，在检查图像V0及病例图像中，若相同的观察结果以大致相同的大小存在，则医学上两个图像相似。并且，观察结果区域越大，该观察结果在诊断上越重要，因此观察结果大小在判断图像之间的相似性方面极为重要。

另一方面，观察结果中也有如点状阴影一样，即使尺寸小，也表示疾病初始状态的特性的重要的观察结果。并且，若随着衰老而进行肺气肿化，则肺中出现吸收稍低的状态，这种低吸收观察结果在老年患者中出现的频率高，因此并非很重要。这种老年人的低吸收观察结果即使尺寸大，也无关紧要。

因此，若均等地判断点状阴影的观察结果及老年人的低吸收的观察结果，则大区域的低吸收区的细微差异大于点状阴影的差异。其结果，点状阴影的相似性被掩盖在低吸收区的相似性中，无法检索包括医学上重要的点状阴影的病例的病例图像。

因此，在本实施方式中，权重系数设定部24将加权程度根据各个观察结果的尺寸而不同的权重系数设定于多个观察结果的每一个。作为观察结果的尺寸，能够使用特征量计算部23计算出的第1特征量中所包括的尺寸特征量。具体而言，能够使用观察结果体积。在此，观察结果体积能够通过对三维检查图像V0中所包括的各个观察结果像素数相乘检查图像V0的每一体素的体积而计算出。图6中示出观察结果体积的计算结果。在图6中，体积单位是立方毫米。然而，肺的大小因患者而异。因此，优选将通过器官的体积即肺的体积对观察结果体积进行了标准化的观察结果占有率(＝观察结果体积/肺体积)用作观察结果的尺寸。在本实施方式中，将观察结果占有率用作观察结果的尺寸。另外，可以将观察结果占有率作为尺寸特征量而包括在第1特征量中。在该情况下，特征量计算部23可以计算观察结果占有率。

关于检查图像V0的各个观察结果，权重系数设定部24通过下述式(1)设定每个观察结果的权重系数Wi。另外，在式(1)中，i是观察结果的种类，fi是将检查图像V0中的每个观察结果的观察结果占有率Pvi作为参数的函数。

Wi＝fi(Pvi) (1)

在此，如图6所示，在大尺寸观察结果和小尺寸观察结果中，体积值的位数不同。因此，优选通过函数fi将作为三维信息的观察结果占有率转换为等效的二维等以降低维数。由此，观察结果的尺寸的差异与医生的感觉一致。因此，如上所述，尺寸小却重要性高的观察结果为了提高其重要性，优选通过函数fi转换为非线性。因此，在本实施方式中，如下述式(2)所示设定函数fi。

fi＝a·(b·X+(1-b)·X^c) (2)

另外，在式(2)中，a是确定每个观察结果的整体重要性差异的常数。

c取1以下的值，并且是确定强调小尺寸观察结果的效果的常数。b是确定基于常数c的效果的程度的常数。并且，X＝(Pvi)^2/3。通过对观察结果占有率Pvi进行2/3次方，将观察结果占有率Pvi从三维转换成等效的二维。

权重系数设定部24将式(2)所示函数设定于每个观察结果并适用于式(1)，由此设定多个种类的观察结果的每一个观察结果的权重系数Wi。

相似度导出部25根据权重系数设定部24所设定的权重系数Wi，进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度。另外，相似度导出部25导出检查图像V0与登记到病例数据库DB中的所有病例图像的相似度。

为此，相似度导出部25将关于检查图像V0计算出的第1特征量标准化为0以上且1以下的值。然后，如下述式(3)所示，针对每个观察结果计算第1特征量与病例图像的第2特征量的距离之差作为特征量之差Ddi。另外，在式(3)中，k表示特征量的种类，Tvk表示检查图像V0中的每个种类的第1特征量，Tck表示病例图像中的每个种类的第2特征量。另外，计算差分的第1特征量与第2特征量的特征量的种类相同。并且，在式(3)中，∑表示求出关于所有种类的特征量的(Tvk-Tck)²的总和。另外，由于第1特征量及第2特征量标准化为0以上且1以下的值，因此特征量之差Ddi也成为0以上且1以下的值。另外，在第1特征量Tvk与第2特征量Tck一致的情况下，特征量之差Ddi为0。另外，可以使用第1特征量与第2特征量之差的绝对值等来代替第1特征量与第2特征量的距离之差。

Ddi＝√(∑(Tvk-Tck)²) (3)

然后，相似度导出部25使用权重系数Wi，并由下述式(4)计算检查图像V0与病例图像的相似度S0。即，对每个观察结果乘以权重系数Wi和特征量之差Ddi，并将相乘结果对所有观察结果相加，由此计算相似度S0。另外，在使用式(4)计算出相似度S0的情况下，第1特征量与第2特征量的距离越小，检查图像V0与病例图像越相似。因此，在式(4)中赋予负号，检查图像V0与病例图像越相似，相似度S0的值变得越大。

S0＝-∑(Wi×Ddi) (4)

另一方面，在由上述式(4)计算出相似度的情况下，若相同的观察结果具有相同的尺寸，则相似度为0。然而，在比较相同的病变彼此的情况下，事实上，病变越大，越相似。在由上述式(4)计算出相似度的情况下，在尺寸较大的观察结果为相同的特征量的情况、以及尺寸较小的观察结果为相同的特征量的情况这两者并没有差异，未能反映出病变尺寸越大越相似的事实。

从而，关于检查图像V0及病例图像中所包括的相同的观察结果，不应该将尺寸仅视为差异，而优选使尺寸越相似，相似度越大。因此，在本实施方式中，相似度导出部25由以下式(5)在检查图像V0与病例图像之间进一步计算每个观察结果的尺寸差Dsi。

另外，在式(5)中，Pvi表示检查图像V0的观察结果i的观察结果占有率，Pci表示病例图像的观察结果i的观察结果占有率。

Dsi＝1-|Pvi-Pci|/(Pvi+Pci) (5)

从而，相似度导出部25优选由下述式(6)计算检查图像V0与病例图像的相似度S1。在此，在检查图像V0及病例图像中，观察结果特征量越相似，Ddi值越小，在检查图像V0及病例图像中，观察结果的尺寸越相似，Dsi的值越大。因此，通过使用式(6)，能够考虑相同的观察结果的尺寸而计算检查图像V0与病例图像越相似，值越大的相似度。

S1＝∑(Wi×(Dsi-Ddi) (6)

另外，在由式(6)计算出相似度S1的情况下，相似度S1的最大值根据检查图像V0而不同。因此，优选根据检查图像V0与病例图像的相似度S1为最大的条件，即，检查图像V0与病例图像没有差异的条件，对相似度S1进行标准化。式(7)根据检查图像V0与病例图像的相似度S1为最大的条件，对由式(6)计算出的相似度S1进行了标准化。式(7)中，S2是标准化的相似度。

S2＝S1/∑Wi＝∑(Wi×(Dsi-Ddi)/∑Wi (7)

另外，在由式(4)计算相似度的情况下，也优选对相似度S0进行标准化。式(8)根据检查图像V0与病例图像的相似度S0为最大的条件，对式(4)进行了标准化。在式(8)中，S3是标准化了的相似度。

S3＝S0/∑Wi＝∑(Wi×Dsi)/∑Wi (8)

检索部26进行检索处理，该检索处理根据相似度S2从病例数据库DB中检索与检查图像V0相似的病例图像作为相似病例图像。首先，对病例数据库DB进行说明。

在病例数据库DB中登记有多个由一个以上病例切片图像组成的病例图像。具体而言，多个病例图像的每一个的观察结果分类结果、特征量(即，第2特征量)与多个病例图像的每一个对应关联地被登记。在本实施方式中，若重新获取检查图像V0，则检查图像V0作为新的病例图像登记到病例数据库DB。

检索部26根据检查图像V0与登记到病例数据库DB中的所有病例图像的相似度S2，检索与检查图像V0相似的病例图像作为相似病例图像。具体而言，检索部26以相似度S2大的顺序将病例图像进行排序，从而制作检索结果列表。图7是表示检索结果列表的图。如图7所示，在检索结果列表L0中，登记到病例数据库DB中的病例图像以相似度S2大的顺序排序。然后，检索部26从病例数据库DB中提取检索结果列表L0中的排序顺序为上位规定数的病例图像作为相似病例图像。另外，相似病例图像对应于相似医用图像。

显示控制部27将基于检索部26的检索结果显示于显示部14。图8是表示检索结果的图。如图8所示，在检索结果51中显示有作标记的检查图像V1及作标记的相似病例图像R1～R4。另外，在此显示有四个相似病例图像R1～R4，但是还可以显示更多相似病例图像。

在图8中，检查图像V1及相似病例图像R1～R4是通过预先确定的投影方法拍摄到的投影图像。另外，在图8中，为了说明仅示出五个种类的标记，但是实际上根据分类出的观察结果的种类进行标记。在检查图像V1的下方，显示有轴向剖面、矢状剖面及冠状剖面三个剖面中的检查切片图像52～54。并且，在相似病例图像R1～R4的下方，也显示有相同的三个剖面中的病例切片图像。并且，在检查图像V1的下方显示的检查切片图像52～54、以及在相似病例图像R1～R4的下方显示的病例切片图像的切片面，可以通过来自输入部15的操作而切换。

接着，对第1实施方式中进行的处理进行说明。图9是表示在第1实施方式中进行的处理的流程图。首先，图像获取部21获取检查图像V0(步骤ST1)，观察结果分类部22将检查图像V0中包括的肺区域分类为分别表示多个种类的观察结果的多个种类的病变区域，从而生成观察结果分类结果(步骤ST2)。然后，特征量计算部23针对在检查图像V0中分类出的每个观察结果计算第1特征量(步骤ST3)。此外，权重系数设定部24设定检查图像V0的每个观察结果的权重系数Wi(步骤ST4)。

接着，相似度导出部25根据权重系数进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度(步骤ST5)。

另外，如上所述，相似度导出部25导出检查图像V0和登记到病例数据库DB中的所有病例图像的相似度。此外，检索部26根据相似度进行检索处理(步骤ST6)，显示控制部27将检索结果显示于显示部14(步骤ST7)，并结束处理。

如此，根据本实施方式，针对检查图像V0的每个像素，计算表示是多个种类的观察结果的每一个观察结果的可能性的多个评价值，根据多个评价值，检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果。并且，针对在检查图像V0中分类出的每个观察结果计算第1特征量。此外，针对在检查图像V0中分类出的各个观察结果，设定加权程度根据各个观察结果的尺寸而不同的权重系数。然后，根据权重系数进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度。根据本实施方式，由于如此设定加权程度根据各个观察结果的尺寸而不同的权重系数，因此能够根据检查图像V0及病例图像中所包括的观察结果的尺寸适当地确定图像之间的相似度。

另外，在上述实施方式中，观察结果分类部22将检查图像V0的各个像素分类为评价值为最大的一个观察结果，但是也可以将检查图像V0的各个像素分类为多个观察结果。具体而言，除了评价值为最大的观察结果以外，还可以分类为包括评价值为可预先确定的阈值以上的观察结果的多个观察结果。以下，将其作为第2实施方式进行说明。在此，在第2实施方式中，在观察结果分类部22中进行的处理与第1实施方式不同，装置的结构与图2相同，因此在此省略对装置的详细说明。

在此，实际的医用图像的方式为多种多样，并非能够由所定义的观察结果来表现所有状态，例如，有时存在两个观察结果混合存在的中间状态。并且，有时存在浓度及尺寸随着病情的发展而发生变化的病变，观察结果根据浓度及尺寸的微细差异而不同。然而，在这种情况下，观察结果之间的相似性高。

若能够考虑这种观察结果混合存在及观察结果之间的相似性而计算相似度，则能够检索检查图像V0和医学上更相似的病例图像。因此，在第2实施方式中，在观察结果分类部22中容许检查图像V0的各个像素分类为多个观察结果。

在此，如图4所示，在计算出关于某一关注区域的中心像素的与观察结果的种类对应的评价值的情况下，毛玻璃阴影的评价值为不是最大的7.6。这种像素表示网状阴影和毛玻璃阴影混合存在的状态的可能性高。因此，在第2实施方式中，观察结果分类部22除了在某一像素中评价值为最大的观察结果以外，将该像素也分类为评价值为可预先确定的阈值以上的观察结果。另外，作为阈值，能够使用评价值为最大值的α倍(例如α＝0.7)。然而，阈值并不限定于此，也可以使用绝对值。另外，在第2实施方式中，除了评价为值最大的观察结果以外，有时不存在评价值为阈值以上的观察结果。在这种情况下，各个像素不是分类为多个观察结果，而仅分类为一个观察结果。因此，在第2实施方式中，检查图像V0的各个像素分类为一个以上的观察结果。

图10是一维地表示检查图像V0中的观察结果分类结果的图。在图10中横轴表示图像的位置，纵轴表示观察结果评价值。并且，在图10中，检查图像V0仅使用各个像素中的观察结果评价值的最大值，并且分别分类为观察结果e0～e2的三个区域A0～A2。并且，在图10中，由单点划线来表示区域A0中的观察结果e0的评价值的分布，由实线来表示区域A1中的观察结果e1的评价值的分布，由虚线来表示区域A2中的观察结果e2的评价值的分布。

图11是表示考虑到在图10中区域A1中的观察结果e1的评价值的α倍以上的评价值的观察结果分类结果的图。另外，在图11中，由虚线来表示区域A1中的观察结果e1的评价值的最大值的d倍的阈值Th0的分布。在图10中分类为观察结果e1的区域A1中，若容许使用观察结果e1的评价值的最大值的α倍的阈值Th0来分类为多个观察结果，则观察结果e2的区域增加，其结果，在区域A1中包括观察结果e1的区域A11及观察结果e2的区域A12。其结果，当计算检查图像V0与病例图像的相似度时，通过考虑关于观察结果e2的特征量，可以考虑观察结果e2的相似度来检索病例图像。

如此，在将检查图像V0的各个像素分类为多个观察结果的情况下，观察结果分类部22将各个像素分类为与评价值对应的一个以上的观察结果。与第1实施方式同样，特征量计算部23针对分类出的每个观察结果计算第1特征量。在此，在第1实施方式中，在图10所示区域A1中仅计算观察结果e1的特征量，但是在第2实施方式中，除了在图11所示区域A1中计算观察结果e1的特征量以外，还在区域A12中计算观察结果e2的特征量。因此，在第2实施方式中，特征量计算部23计算关于更多区域的观察结果e2的特征量。

与上述第1实施方式同样，权重系数设定部24计算权重系数Wi，但是使用关于检查图像V0的各个像素被分类的一个以上所有观察结果的体积或观察结果占有率来设定权重系数。在第2实施方式中，在检查图像V0的每个像素中，容许一个以上的观察结果分类。因此，在仅使用评价值的最大值的情况下，如图12所示，分类为观察结果e4及观察结果e5的区域A4、A5容许一个以上的观察结果分类，其结果，如图13所示，与图12相比，可以分类为使观察结果e5的区域变大。从而，权重系数设定部24当设定权重系数Wi时，关于观察结果e4使用关于图12所示区域的观察结果占有率，关于观察结果e5使用关于图13所示区域的观察结果占有率。

与上述第1实施方式同样，相似度导出部25使用各个像素被分类的一个以上的观察结果来导出检查图像V0与病例图像的相似度。另外，关于每个观察结果的尺寸差Dsi，与权重系数设定部24设定权重系数Wi的情况同样，关于观察结果e4使用关于图12所示区域的观察结果占有率，关于观察结果e5使用关于图13所示区域的观察结果占有率。

如此，针对检查图像V0的每个像素容许分类为一个以上的观察结果，由此能够考虑多个观察结果混合存在的状况而导出检查图像V0与病例图像的相似度。

并且，在上述实施方式中，将检查图像V0的各个像素分类为一个以上的观察结果，但是也可以将多个种类的观察结果中例如将症状相似的两个以上的观察结果汇总定义观察结果组，将检查图像V0的各个像素分类为包括观察结果组的观察结果。例如，在将图12及图13所示观察结果e4和观察结果e5汇总到相同的观察结果组e6的情况下，特征量计算部23除了观察结果e4及观察结果e5以外，还计算关于观察结果组e6的特征量。权重系数设定部24除了观察结果e4及观察结果e5以外，还设定关于观察结果组e6的权重系数，相似度导出部25除了观察结果e4及观察结果e5以外，还使用观察结果组e6导出检查图像V0与病例图像的相似度。由此，能够考虑症状相似的观察结果而确定检查图像V0与病例图像的相似度。

并且，在上述各实施方式中，针对检查图像V0的每个像素，计算表示是多个种类的观察结果的每一个观察结果的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果，但是观察结果分类方法并不限定于使用评价值的方法。

另外，在上述各实施方式中，在图像保管服务器3中保存有病例数据库DB，但是也可以在储存器13中保存病例数据库DB。

并且，在上述各实施方式中，将检查图像登记在病例数据库DB中，但是也可以将除了检查图像以外的图像作为登记对象图像而登记于病例数据库。

并且，在上述各实施方式中，例如作为图像获取部21、观察结果分类部22、特征量计算部23、权重系数设定部24、相似度导出部25、检索部26及显示控制部27等执行各种处理的处理部(processing unit)的硬件结构，能够使用以下所示各种处理器(processor)。在上述各种处理器中，如上所述，除了执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU以外，还包括FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造之后能够变更电路结构的处理器，即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器，即，专用电路等。

一个处理部可以由这些各种处理器中的一个来构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如，多个FPGA的组合或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。

作为由一个处理器构成多个处理部的例子，第一、有如下方式：以客户端、服务器等的计算机为代表，由一个以上CPU与软件的组合而构成一个处理器，该处理器作为多个处理部而发挥功能。第二，有如下方式：以片上系统(System on Chip：SoC)等为代表，使用由一个IC(Integrated Circuit：集成电路)芯片来实现包括多个处理部的整体系统的功能的处理器。如此，各种处理部构成为使用一个以上上述各种处理器作为硬件结构。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件的电路(circuitry)。

符号说明

1-相似度确定装置，2-三维图像摄影装置，3-图像保管服务器，4-网络，11-CPU，12-存储器，13-储存器，14-显示部，15-输入部，21-图像获取部，22-观察结果分类部，23-特征量计算部，24-权重系数设定部，25-相似度导出部，26-检索部，27-显示控制部，40-多层神经网络，41-输入层，42-输出层，51-检索结果，52～54-检查切片图像，A0～A2、A4、A5、A11、A12-区域，DB-病例数据库，e0～e5-观察结果，L0-检查列表，R1～R4-相似病例图像，V0、V1-检查图像。