具体实施方式

在矫正牙科的诊断中，作为患者的颅骨、颌面部的形态分析法的重要内容之一，存在头颅图像分析。如图1所示，该头颅图像分析大致由三个步骤构成。首先，基于从患者获取的头颅图像中的解剖学特征确定多个测量点(步骤S1)。接下来，从所确定的测量点中测定分析所需的点之间的几何学位置关系(距离以及角度等)(步骤S2)。然后，将通过几何学的方式得到的测定值与从年龄、性别等与作为受检者的该患者一致且具有正常的咬合的集团得到的基准值进行比较，由此评价该患者的偏离的程度(步骤S3)。本发明涉及通过计算机的深度学习处理来自动识别在步骤S1中进行的测量点(即，解剖学特征点)的确定或者识别的方法。以下，一边参照附图，一边对其具体实施方式详细地进行说明。

头颅图像通过在一定标准下对作为患者的受检者的侧面位头部进行X射线摄影而获取。即，通过将被摄体的中心与X射线管的焦点之间的距离、以及被摄体与膜面之间的距离设为始终恒定，并且将X射线的主线保持在贯通两耳杆的中心轴的位置(侧面位的情况下)，由此得到经时的、能够进行比较研究的X射线标准图像。

在图2中，示出几个能够从侧面位头部的图像中读取的代表性的解剖学特征点(标志)。例如，能够通过测定连接这些特征点的线的长度、角度来定量地评价上下颌的大小及其偏差、颌的形态、牙齿的倾斜角、嘴角的平衡等，或者能够观察术前术后的变化。

根据本实施方式，通过使用了运算处理装置所进行的深度学习模型的图像识别处理来鉴定作为头颅图像分析中的测量点的解剖学特征点。作为深度学习模型，例如能够采用使用了卷积神经网络(CNN；Convolutional Neural Network)模型的回归运算处理。在此，参照图3～图5，对使用了回归卷积神经网络模型(以下，简称为“回归CNN模型”。)的特征点的自动识别的概要进行说明。

在回归CNN模型10中，预先学习判明了某个特征点F的位置(Xf，Yf)的大量的教师图像12。教师图像12可以是头颅图像的整个区域，也可以是以包含特征点F的方式切取的一个区域。在本实施方式中，基本上通过使用了该学习完毕的教师图像12的回归运算处理，来推定输入图像11中的特征点F的位置(Xr，Yr)。

回归CNN模型10至少具有输入层101、隐藏层(深度学习层)102、以及输出层103。输入图像11的图像数据首先保持原状不变地进入输入层101。即，在输入层101的各神经元中输入与输入图像11对应的各像素值，具体而言，输入将X射线照片的灰度换算为“0”～“1”的值。

在隐藏层102中，提取构成输入图像11的各种特征的图案。图3所示的隐藏层102的纵列的各神经元承担通过分别对被赋予了权重的输入的线性和进行运算来分别判定各自的特征的图案的作用。通过调整各神经元的权重系数，能够学习该神经元所判定的特征。这些神经元对从上一层输入的排列数据和预先学习的特征的排列数据进行比较，将表示它们相互的一致度(类似的程度)的值传递给下一层的神经元列。从减少由深度学习层的増大引起的梯度损失的观点出发，各神经元所判定的结果优选通过ReLU(Rectified LinearUnits，线性整流函数)或者Sigmoid函数等进行激活。

若想要在整个图像中一并进行基于深度学习层的上述特征提取，则向一个神经元传递信息的突触的数量需要为与输入图像的分辨率(像素数)相当的数量，数据处理量变得庞大。为了解决该问题，在本实施方式中，在特征提取中采用CNN(卷积神经网络)。在深度学习模型为CNN的情况下，例如如图4以及图5所示，输入层101的图像信息被细分为作为小区域的多个片段101A、101B、101C、101D，隐藏层102的神经元1021、1022、……按每个上述片段101A、101B、101C、101D分别判定特征的一致度。通过在一次排列数据(初始为图像数据)整体中进行这样的按每个片段的一致度判定，能够得到进一步小型化的二次排列数据(中间数据)。

在作为深度学习层的隐藏层102中，依次多层地重复进行如上所述的一致度判定处理，最终得到强调了与教师图像12的一致性的小尺寸的特征提取数据。此外，也可以在深度学习的各层中适当配置将中间数据的尺寸缩小的池化处理，由此实现计算机的信息处理负荷的降低。

从隐藏层102输出且提取出片段图案的特征的数据(特征提取数据排列)最终被传递给输出层103。在输出层103中，调整神经网络的权重系数，以使得由任意的输入图像的特征提取数据得到的特征点F的推定位置与由教师图像12的特征提取数据得到的特征点F的位置(Xf，Yf)之间的误差最小。在该输出层103中，对从输入图像11提取的特征提取数据执行回归运算处理，由此能够得到该输入图像11中的特征点F的推定位置(Xr，Yr)。

在这样的回归运算处理中，一般而言，输入图像11的区域越宽(即，像素数越多)，越能够以较高的精度推定特征点的位置。然而，另一方面，若对整个头颅图像一并进行回归运算处理，则还会产生由计算机处理的信息量变得庞大而使运算时间变长这样的问题。因而，在本实施方式的系统中，为了兼顾特征点的自动识别中的较高的位置推定精度和运算处理负荷的减轻，采用接下来说明的新算法。

图6表示用于对本发明的一个实施方式所涉及的测量点的自动识别处理进行说明的流程图。该自动识别处理包括：检测步骤(S11)，在该检测步骤中，根据从受检者获取到的头颅图像，检测出与想要识别的特征点相关的特定的周边部位区域；推定步骤(S12)，在该推定步骤中，分别推定检测到的各周边部位区域中的特征点的候选位置；以及判定步骤(S13)，在该判定步骤中，基于在各周边部位区域中推定的多个候选位置的分布，来判定头颅图像中最可靠的特征点的位置。通过本自动识别方法推定的特征点的位置被识别为头颅图像分析(参照图1)中的测量点的位置，提供给用于矫正牙科诊断的定量的测定评价。

首先，在图6的步骤S11中，通过基于使用了例如图9所示的分类卷积神经网络模型(以下，简称为“分类CNN模型”。)的深度学习的图像识别处理，从被输入至系统的受检者的头颅图像14检测出多个周边部位区域31、32、33、34、……。输入至分类CNN模型13的图像可以是整个头颅图像，优选为如图7所示那样包含作为识别对象的解剖学特征点(例如蝶鞍(sella)、鼻根点(nasion)等)的、某个受限制的候选区域15。在此将从整个图像切取的该候选区域称为“宽候选区域”。此外，上述周边部位区域31、32、33、34是从“宽候选区域”选择的更加狭窄的区域，因此有时将其称为“窄候选区域”。

专业医生在根据头颅图像通过读片对某个特征点进行鉴定时，参照与该特征点相关的多个周边部位区域。例如，在鉴定解剖学特征点鼻根点(额头鼻骨缝合部的最前点)的情况下，有时要进行如下操作：首先找到额窦，找到存在于其前下方(在图像上为右下方)的透射图像，进一步地研究鼻子的形态，找到解剖学上为缝合部且没有问题的部位等。进一步地，再次研究是否与眼睑线混同，鉴定最终的鼻骨缝合部的最前点。此时，专业医生在鼻根点的图像上的左上方，识别额窦所进入的程度的图像，接下来，识别鼻根点的图像上的右下方的鼻子的形态，进一步地，找到位于鼻根点下方的眼睑等，使用多个解剖学特征综合地对位置进行判断。

在本说明书中，“周边部位区域”是指为了在头颅图像中鉴定所关注的特征点而由具有解剖学知识的专业医生等选择的、该特征点周围的特定的图像区域。在标准化的头颅图像中，能够针对某个特征点的多个周边部位区域分别规定像素坐标位置以及图像尺寸。与特征点相关的多个周边部位区域分别具有不同的图像尺寸。

此外，在此所说的周边部位区域的图像尺寸由下述数学式(1)进行定义。

像素尺寸＝像素数×分辨率……数学式(1)

以下，列举蝶鞍作为想要通过本系统对位置进行自动识别的特征点的一个例子，对将图7所示的宽候选区域15作为输入图像(宽候选区域图像15D)并根据多个周边部位区域对蝶鞍进行鉴定的情况下的实施例进行说明。

本系统具备运算处理装置以及数据库。数据库存储有显示针对所关注的特征点(例如蝶鞍等)而预先确定的多个周边部位区域的对照图像的数据、作为将对照图像作为教师数据而进行了学习的深度学习模型的分类CNN模型13和/或CNN模型16、以及作为预先对各周边部位区域中的特征点的位置进行了学习的深度学习模型的回归CNN模型10等。

以下说明的周边部位区域检测单元、特征点位置推定单元以及最大似然位置判定单元通过由运算处理装置按照规定的算法执行运算处理来实现。

(周边部位区域检测单元)

在此，图8是举例示出在鉴定从受检者获取的头颅图像14中的特征点蝶鞍的位置时所参照的周边部位区域31、32、33、34、……的图。在上述步骤S11中(参照图6)，周边部位区域检测单元通过基于学习了针对特征点蝶鞍而预先确定的多个周边部位区域的教师数据、即对照图像的分类CNN模型13的深度学习处理，检测出头颅图像14中的周边部位区域31、32、33、34、……，并切取与它们分别对应的周边部位区域图像(所谓的“补丁”)21、22、23、……。

在此，参照图9，作为一个例子，对自动检测与作为教师图像的对照图像52一致的周边部位区域32的处理进行说明。首先，从受检者的头颅图像14中选择包含特征点蝶鞍的宽候选区域图像15D，将该数据加载至系统的输入图像缓冲存储器。宽候选区域图像15D的选择可以自动进行，也可以由专业医生等一边实际地观察头颅图像一边通过光标操作等对范围进行选择。

如上所述，在分类CNN模型13中，预先学习了作为从过去的多个试样提供者(包含患者以及健康者)获取的周边部位区域32的教师图像的对照图像52。本自动识别系统在工作存储器中制作与想要检测的周边部位区域32的对照图像52纵横尺寸相同的扫描框32S。这样的扫描框32S的区域例如能够使用在该框的始端坐标变量(Sx，Sy)以及始端坐标变量上加上周边部位区域32的XY轴方向上的图像尺寸Lx，Ly作为偏移而得到的终端坐标变量(Sx+Lx，Sy+Ly)，规定为〔(Sx，Sy)：(Sx+Lx，Sy+Ly)〕。

然后，如图9所示，在宽候选区域图像15D上对扫描框32S进行逐行扫描，对通过扫描框32S在各扫描位置划出的宽候选区域图像15D的一部分(扫描图像)，依次适用分类CNN模型13。通过分类CNN模型13对各扫描图像与周边部位区域的对照图像52进行比较，判定它们的一致度(类似的程度)。然后，周边部位区域检测单元将整个宽候选区域图像15D中与对照图像52的一致度最高的扫描图像的区域检测为周边部位区域32。

通过采用以这样的特定的图像尺寸为线索来寻找与对照图像一致的周边部位区域的算法，能够提高检测周边部位区域的速度以及精度。

此外，优选在扫描框32S的扫描中，首先以几个像素为单位进行一次扫描而粗略地缩小宽候选区域图像15D的对象区域之后，以一个像素为单位对该缩小后的对象区域进行扫描而检测最终的周边部位区域32。

经验丰富的专业医生在确定软组织上的特征点时，有时不仅参照存在该特征点的周边部位，还要参照稍微离开该特征点的部位的骨骼构造(例如图8所示的周边部位区域34)。根据本自动识别方法，例如能够基于不包含特征点蝶鞍的周边部位区域34来推定蝶鞍的相对像素坐标位置。

或者，也可以如图10所示那样，从宽候选区域图像15D中选择出具有各种大小的多个分割图像41、42、43、44，并将分类CNN模型16适用于各自的图像，从而根据这些分割图像属于哪个周边部位区域而进行分类。在该情况下，可以将被判定为不包含特征点的例如分割图像44从处理对象排除。

(特征点位置推定单元)

接下来，在步骤S12(图6)中，分别推定所切取的多个周边部位区域图像21、22、23、……中的特征点的候选位置。在本实施例中，如图11所示，通过将上述回归CNN10适用于各周边部位区域图像21、22、23、……，能够得到针对各自的区域而以黑圆点所示的特征点蝶鞍的候选位置的相对像素坐标值。针对这一点，为了帮助理解，在图12中示出同时显示出针对特征点蝶鞍推定的多个候选位置的宽候选区域图像15D的例子。

(最大似然位置判定单元)

最后，在步骤S13(图6)中，通过基于在各周边部位区域图像21、22、23、……中推定的特征点蝶鞍的多个候选位置的分布的最大似然推定处理，判定头颅图像14(或者宽候选区域图像15D)中的、该特征点蝶鞍的位置。

例如，能够将在图13中用黑圆点表示的多个候选位置中的、距它们的分布密度曲线的峰值最近的位置判定为特征点的位置。或者，也可以将候选位置的分布密度曲线的峰值位置判定为特征点的位置。

另外，例如，如图14所示，在至少存在两个以上的特征点的候选位置的分布密度的峰值的情况下，也可以将基于上述峰值位置推定的两个以上的特征点判定为是分别针对该特征点的不同的测定点。在该情况下，也可以以两个候选位置之间的距离为规定的阈值以上为条件，判定为是不同的测定点。

此外，最大似然位置判定单元针对各周边部位区域图像21、22、23、……，具有为了推定例如特征点蝶鞍的位置而适用的、各自的回归CNN模型10。各回归CNN模型10优选以从周边部位区域图像推定的特征点的候选位置与在受检者的头颅图像14中通过最大似然推定处理判定的该特征点的位置之间的误差最小的方式进行学习。

此外，步骤S12中的各个候选位置的推定精度根据作为基础的周边部位区域图像而存在差异。由此，可以在步骤S13的最大似然推定处理中，对各个候选位置的推定结果根据其推定精度进行加权来进行评价。例如，能够将对在尺寸较大的周边部位区域图像23中推定的候选位置的结果附加的权重系数设为大于对在尺寸较小的周边部位区域图像22中推定的候选位置的结果附加的权重系数。另外，也可以对针对步骤S13中的判定结果的误差趋势进行学习，并根据各自的推定精度来决定权重系数。

也可以通过将特征点分为几个子集进行并列处理来自动识别。例如，能够对子集1：{S，B，N，……}、子集2：{Po，Or，Me，……}分别进行学习来进行并列处理。在此，S、B、N、Po、Or、Me、……分别相当于不同的解剖学特征点。

属于子集1的各个特征点S、B、N、……能够基于上述多个周边部位区域中的分布来进行提取。对于属于另一个子集2的Po、Or、Me、……也是同样的。

通过将相互处于模糊关系的特征点(位置较近或者相似等)分为不同的子集进行并列处理，能够同时提高整体的特征点提取速度和位置检测精度。

此外，在将特征点分为几个子集进行并列处理的本实施方式的方法中，可以如上述那样基于按每个特征点设定的多个周边部位区域的学习模型来进行提取处理，也可以使用按每个特征点设定的候选区域的学习模型来进行提取处理。

附图标记说明

10：回归CNN模型(用于特征点的位置推定)；11：输入图像；12：教师图像；13：分类CNN模型(用于周边部位区域检测)；14：受检者的头颅图像；15：宽候选区域；15D：宽候选区域图像；16：分类CNN模型(用于周边部位区域分选)；21、22、23：周边部位区域图像；31、32、33、34：周边部位区域；32S：扫描框；41、42、43、44：分割图像；52：周边部位区域的对照图像；101：输入层；102：隐藏层(深度学习层)；103：输出层；1021、1022：神经元。