具体实施方式

本发明的上述目的、单元及基于此的效果将通过与附图有关的以下的详细说明变得更加明确，由此，本发明所属技术领域的普通技术人员可以轻松实施本发明。并且，在说明本发明的过程中，在判断为与本发明有关的公知技术的具体说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。

在本发明中所使用的术语用于说明实施例，而并非用于限定本发明。在本说明书中，只要在文句中并未特别提及，则根据情况，单数型包括复数型。在本说明书中，“包括”、“形成”、“设置”或“具有”等的术语并不排除所提及的结构要素外的一个以上的其他结构要素的存在或追加。

在本说明书中，“或”、“至少一个”等的术语表示一同罗列的单词中的一个，或者两个以上的组合。例如，“A或B”、“A及B中的至少一个”可仅包括A或B中的一个，也可以包括A和B两者。

在本说明书中，如引用的特性、变量或值，在根据“例如”等的说明中，所揭示的信息可以并不完全一致，本发明多种实施例的方法的实施形态并不局限于包括允许误差、测定误差、测定准确度的限界和通常已知的其他因素在内的如变形等效果。

在本说明书中，在一个结构要素与其他结构要素“连接”或“联接”的情况下，可以与其他结构要素直接连接或联接，也可以在中间存在其他结构要素。相反，当一个结构要素与其他结构要素“直接连接”或“直接联接”时，在中间不存在其他结构要素。

在本说明书中，在一个结构要素位于其他结构要素的“上部”或与另一个结构要素“相接触”的情况下，可以与其他结构要素直接接触或连接，也可以在中间存在其他结构要素。相反，在一个结构要素位于其他结构要素的“正上方”或与另一个结构要素“直接接触”的情况下，在中间不存在其他结构要素。说明结构要素之间的关系的其他表现，例如，“～之间”和“直接～之间”等也相同。

在本说明书中，“第一”、“第二”等的术语可用于说明多种结构要素，对应结构要素并不局限于上述术语。并且，上述术语并不用于限定各个结构要素的顺序，而是用于区分一个结构要素和其他结构要素。例如，“第一结构要素”可以被命名为“第二结构要素”，类似地，“第二结构要素”也可被命名为“第一结构要素”。

只要没有其他定义，则在本说明书中所使用的的所有术语的含义可以与本发明所属技术领域的普通技术人员共同理解的含义相同。并且，只要并未明确特别定义，通常使用的词典定义的术语不能被异常或过度解释。

以下，参照附图，详细说明本发明优选一实施例。

图1示出本发明一实施例的影像整合装置100的框结构图。

本发明一实施例的影像整合装置100作为电子装置，是执行对于口腔内部的口腔扫描影像与计算机断层扫描影像之间的影像整合的装置。

口腔扫描影像为提供与向外部露出的牙齿的齿冠部分的形状和牙齿周边的牙龈形状有关信息的图像。在此情况下，口腔扫描影像可通过口腔扫描仪(oral scanner)等来直接扫描被手术人员的口腔内部来获取或者可通过扫描将被手术人员的口腔内部阴刻建模的印象模型或通过印象模型的阳刻生成的石膏模型来获取，印象模型的扫描图像可通过反转来用作口腔扫描影像。

计算机断层扫描影像为通过利用放射线的计算机断层装置拍摄的图像。即，计算机断层扫描影像可基于放射线的透过率来呈现出口腔内部中的齿冠、齿根及齿槽骨等内部组织的分布及骨密度信息等。

参照图1，一实施例的影像整合装置100可包括通信部110、输入部120、显示部130、存储部140及控制部150。

通信部110为与影像获取装置(未图示)、服务器(未图示)等的外部装置进行通信的结构，可以接收影像数据。例如，通信部110可以执行第五代通讯(5G，5^th generationcommunication)、先进的长期演进技术(LTE-A，long term evolution-advanced)、长期演进(LTE，long term evolution)、蓝牙、低功耗蓝牙(BLE，bluetooth low energe)、近场通信(NFC，near field communication)等无线通信，也可以执行电缆通信等的有线通信。

在此情况下，影像数据可包含口腔扫描影像数据、计算机断层扫描影像数据等。

输入部120与使用人员的输入对应地发生输入数据。输入部120包括至少一个输入单元。例如，输入部120可包括键盘(key board)、小键盘(key pad)、圆顶开关(domeswitch)、触摸板(touch panel)、触摸键(touch key)、鼠标(mouse)、菜单按钮(menubutton)等。

显示部130显示基于预处理装置100的操作的显示数据。这种显示数据可包含影像数据。例如，显示部130可包括液晶显示器(LCD，liquid crystal display)、发光二极管(LED，light emitting diode)显示器、有机发光二极管(OLED，organic LED)显示器、微机电系统(MEMS，micro electro mechanical systems)显示器及电子纸(electronic paper)显示器。并且，显示部130可以与输入部120相结合来体现为触摸屏(touch screen)等。

存储部140存储用于影像整合装置100的动作的各种信息及程序。例如，存储部140可存储从影像获取装置等接收的影像数据和与利用本发明一实施例的牙齿目标的影像整合方法有关的算法等。并且，存储部140可存储学习模型。

控制部150执行从影像获取装置或服务器接收或在存储部140预先存储的口腔扫描影像与计算机断层扫描影像之间的影像整合。为此，控制部150可从影像获取装置或服务器等接收影像数据来存储于存储部140。并且，控制部150可控制通信部110、输入部120、显示部130及存储部140的动作。

以下，说明通过控制部150控制动作的利用本发明一实施例的牙齿目标的影像整合方法。

图2为示出用于说明本发明一实施例的利用牙齿目标的影像整合方法的流程图。

参照图2，本发明一实施例的利用牙齿目标的影像整合方法可包括对影像数据执行图像处理的步骤S100及步骤S200。

首先，在步骤S100中，控制部150在整合对象的口腔扫描影像及计算机断层扫描影像中分别生成相互隔开的多个基准点。即，控制部150在整合对象口腔扫描影像生成基准点(以下，称之为“第一基准点”)，在整合对象计算机断层扫描影像生成基准点(以下，称之为“第二基准点”)。

之后，在步骤S200中，控制部150利用第一基准点和第二基准点，以使这些基准点相一致的方式改变整合对象口腔扫描影像或整合对象计算机断层扫描影像来执行影像整合。

在此情况下，基准点为表示对于特定牙齿的位置(例如，对应特定牙齿的中心点位置)的点，当影像整合时将会利用。即，在步骤S200中，控制部150以使特定第一基准点和与此对应的特定第二基准点相一致的方式改变整合对象口腔扫描影像和整合对象计算机断层扫描影像的角度、大小、位置等来执行这些影像之间的影像整合。

图3示出包括前齿区域FA及臼齿区域BA的牙齿区域。

参照图3，整合对象的整合对象口腔扫描影像及计算机断层扫描影像包含表示多个牙齿的形状的牙齿区域。在此情况下，牙齿区域包括位于前方的前齿区域FA和位于前齿区域FA后方的臼齿区域BA。例如，前齿区域FA可以为1号牙齿至3号牙齿所在的区域，臼齿区域BA可以为4号牙齿至8号牙齿所在的区域。

在此情况下，基准点可分别包括对于前齿区域FA的最前方1个牙齿FT的基准点(以下，称之为“最前方基准点”)和对于臼齿区域BA的最后方两侧的2个牙齿BT1、BT2的基准点(以下，称之为“最后方基准点”)。即，在最后方基准点中，一个为对于选自臼齿区域BA的右侧牙齿中的一个牙齿的基准点，另一个为选自臼齿区域BA的左侧牙齿中的另一个牙齿的基准点。

这种最前方基准点及最后方基准点在整合对象口腔扫描影像及整合对象计算机断层扫描影像生成。结果，在各个影像中，1个最前方基准点和2个最后方基准点形成三角形的顶点，当整合对象口腔扫描影像与整合对象计算机断层扫描影像之间的影像整合时，可提供用于使这些影像的角度、大小、位置等的变更更加简单且准确的基准。

在此情况下，第二基准点可以从能够呈现出对于牙齿的内部的结构、大小、位置等信息的整合对象计算机断层扫描影像的三维坐标信息通过手动或通过多种算法轻松导出。在此情况下，所导出的第二基准点可以为表示1个最前方牙齿FT和2个最后方牙齿BT1、BT2的中心点位置的点。当然，第二基准点可以利用后述的第一基准点的导出(检测)方法来导出。在此情况下，对于“口腔扫描影像”的说明可以被对于“计算机断层扫描影像”的说明代替。

另一方面，需要导出与所导出的第二基准点对应的第一基准点。但是，第一基准点需要在呈现出与牙齿的表面有关的信息的口腔扫描影像导出，因此，在手动或遗忘算法(在口腔扫描影像中利用曲率信息)的情况下，其准确性不得不降低。

由此，本发明利用作为牙齿的简化形状的目标OB来导出第一基准点。对此，根据后述的步骤S101至步骤S104进行更加详细的说明。

图4为利用本发明一实施例的牙齿目标的影像整合方法的S100的详细流程图。图5示出在第一学习对象口腔扫描影像中抽取关系区域ROI的状态。

参照图5，在步骤S101中，控制部150在学习对象的口腔扫描影像(以下，称之为“学习口腔扫描影像”)中抽取包括牙齿的关注区域ROI。即，学习口腔扫描影像可包括牙齿区域和牙齿区域外区域，在步骤S101中，控制部150可以从关注区域ROI抽取这种牙齿区域。

之后，在步骤S102中，控制部150通过在所抽取的关注区域ROI的多个方向形成对于各个牙齿的目标OB1的学习数据(training data)进行学习来生成学习模型。在此情况下，控制部150可利用机器学习(machine learning)工法来学习准备的学习数据。

例如，机器学习工法为监督学习(supervised Learning)工法，可以为Artificialneural network、Boosting、Bayesian statistics、Decision tree、Gaussian processregression、Nearest neighbor algorithm、Support vector machine、Random forests、Symbolic machine learning、Ensembles of classifiers、Deep Learning等的工法中的一种。

即，学习数据可将所抽取的关注区域ROI的学习口腔扫描影像作为输入值包含，在对应影像中，可将对各个牙齿形成的目标OB作为形成对于对应输入值的组(set)的结果值(目标值)包含。在此情况下，目标OB1可以在学习口腔扫描影像的关注区域ROI中的多个方向设定，以与各个牙齿的形状对应的方式可呈在对应方向将对应牙齿的形状简化的多种形状(在对应方向覆盖对应牙齿的面积且形状比上述牙齿形状简单)，即，圆形或多边形等的形状。并且，对于这种目标OB1的学习数据的结果值可包含在关注区域ROI中对应目标OB1所占据的位置信息、中心点信息及大小信息。

并且，学习模型利用学习数据来通过机器学习工法监督学习的模型，包含用于匹配对应输入值及结果值的规则函数。

图6示出在第二学习对象口腔扫描影像的关注区域ROI中设定对于4个方向的目标OB1的状态。即，图6的(a)部分为平面方向，图6的(b)部分为正面方向，图6的(c)部分为左侧方向，图6的(d)部分为右侧方向。

例如，如图6所示，在学习口腔扫描影像的关注区域ROI中，可设定对于4个方向，即，平面、正面、左侧及右侧方向的目标OB1。在此情况下，使用人员可通过输入部120设定目标OB1。结果，学习数据可以对各个牙齿包含至少2个方向(特定方向)中的目标OB1。在此情况下，特定方向可包括平面方向和平面方向之外的方向(正面方向、左侧方向或右侧方向)。

即，对在关注区域ROI的正面方向呈现的1号至3号牙齿，可在关注区域ROI的平面方向和正面方向设定目标OB1。并且，对在关注区域ROI的左侧方向呈现的左侧4号至左侧8号牙齿，可在关注区域ROI的左侧方向和正面方向分别形成目标OB1。并且，对在关注区域ROI的右侧方向呈现的右侧4号至右侧8号牙齿，可在关注区域ROI的右侧方向和正面方向分别形成目标OB1。并且，如上所述，对关注区域ROI的平面方向，可形成对于所有牙齿的目标OB1。

平面方向的目标OB1为将对应牙齿的平面方向中的形状简化的形状，平面方向之外的方向的目标OB1为将对应牙齿的平面方向之外的方向中的形状简化的形状。由此，平面方向的目标OB1可以为提供与对应牙齿的平面有关的信息的介质，平面方向之外的方向的目标OB1可以为提供与对应牙齿的一侧面(高度等)有关的信息的介质。

例如，对于下颚的牙齿的平面方向的目标OB1可以为提供与对应牙齿的上部面有关的信息的介质，对于下颚的牙齿的平面方向之外的方向的目标OB1可以为提供与对应牙齿的一侧面有关的信息的介质。同样，对于上颚的牙齿的平面方向的目标OB1可以为提供与对应牙齿的下部面有关的信息的介质，对于上颚的牙齿的平面方向之外的方向的目标OB1可以为提供与对应牙齿的一侧面有关的信息的介质。

之后，在步骤S103中，控制部150利用在步骤S102中生成的学习模型来在整合对象的口腔扫描影像中检测对于各个牙齿的多个方向的目标OB2。即，控制部150可以将整合对象口腔扫描影像作为输入值向学习模型输入，结果，学习模型可以将对于对应整合对象口腔扫描影像的目标OB2作为其结果值输出。

图7示出在第一整合对象至第四整合对象的口腔扫描影像检测目标OB2的状态。图8示出在第五整合对象的口腔扫描影像检测三维目标OB3的多种方向的状态。

参照图7，学习模型可以在整合对象口腔扫描影像输出(检测)与步骤S102的多个方向对应的目标OB2。

即，对在整合对象口腔扫描影像的正面方向呈现的1号至3号牙齿，可在整合对象口腔扫描影像的平面方向和正面方向分别检测对应目标OB2。并且，对在整合对象口腔扫描影像的左侧方向呈现的左侧4号至左侧8号牙齿，可在整合对象口腔扫描影像的左侧方向和正面方向分别检测目标OB2。并且，对在整合对象口腔扫描影像的右侧方向呈现的右侧4号至右侧8号牙齿，可在整合对象口腔扫描影像的右侧方向和正面方向分别检测目标OB1。并且，如上所述，对关注区域ROI的平面方向，可检测对于所有牙齿的目标OB2。

另一方面，在步骤S103中，控制部150可利用对于所检测的各个牙齿的2个以上的目标OB2来生成(检测)三维目标OB3。即，控制部150生成将对于所检测的各个牙齿的2个以上的目标OB2作为面包含的三维形状，可以将对应三维形状作为三维目标OB3检测。

在此情况下，生成学习模型的目标OB2以与各个牙齿的形状对应的方式可呈在对应方向将对应牙齿的形状简化的多种形状(在对应方向覆盖对应牙齿的面积且形状比牙齿形状简单)，即，圆形或多边形等的形状。并且，三维目标OB3以与各个牙齿的三维形状对应的方式可呈将对应牙齿的三维形状简化的多种三维形状(覆盖对应牙齿的体积且形状比上述牙齿三维形状简单)，即，圆柱、椭圆柱、多边柱、圆锥或多边锥等形状。

例如，如图8所示，在三维目标OB3为正六面体的情况下，控制部150生成将对于任一牙齿的2个目标OB2作为第一面和第二面具有，并将与对应第一面及第二面垂直的虚拟面作为剩余面具有的正六面体，由此，可检测对于对应牙齿的正六面体形状的三维目标OB3。

即，平面方向的目标OB2表示对应牙齿的平面方向中的形状，平面方向之外的方向的目标OB2表示对应牙齿的平面方向之外的方向的形状。由此，平面方向的目标OB2可以为提供与对应牙齿的平面有关的信息的介质，平面方向之外的方向的目标OB2可以为提供与对应牙齿的一侧面(高度等)有关的信息的介质。

结果，控制部150可检测将平面方向的目标OB2作为对应牙齿的上部面或下部面具有，且将平面方向之外的方向的目标OB2作为对应牙齿的一侧面具有的三维目标OB3。在此情况下，控制部150可以将除平面方向的目标OB2及平面方向之外的方向的目标OB2所形成的面之外的剩余面作为虚拟的面追加。即，控制部150可以将相对于平面方向的目标OB2垂直的虚拟的面作为另一侧面追加一个以上，将与平面方向的目标OB平行对应的虚拟面作为另一平面(在对应牙齿在下颚的情况下为下侧面，在对应牙齿在上颚的情况下为上侧面)追加。

之后，在步骤S103中，控制部150可以抽取所检测的各个目标OB2、OB3的位置信息(在口腔扫描影像中的位置坐标)，中心点信息(在口腔扫描影像中的中心点坐标)及大小信息。在此情况下，目标OB2的位置信息、中心点信息及大小信息可以作为与学习模型的输入值有关的结果值与目标OB2一同输出。

只是，控制部150可利用为了生成各个三维目标OB3而使用的与2个以上的有关目标OB2有关的位置信息、中心点信息及大小信息来抽取对应三维目标OB3的位置信息、中心点信息及大小信息。

例如，如图8所示，在三维目标OB3为正六面体的情况下，控制部150可以利用构成正六面体的第一面和第二面的目标OB2的位置信息、中心点信息及大小信息来抽取对应三维目标OB3的位置信息、中心点信息及大小信息。

之后，控制部150可以在整合对象口腔扫描影像显示所检测的各个目标OB2、OB3。即，控制部150可利用所检测的各个目标OB2、OB3的位置信息、中心点信息及大小信息来在整合对象口腔扫描影像显示各个目标OB2、OB3。只是，如图6所示，为了更加明确区分对于各个牙齿，控制部150可以将所检测的目标OB2、OB3按各个牙齿以不同颜色显示在整合对象口腔扫描影像。

在此情况下，控制部150可以在整合对象口腔扫描影像一同显示与所检测的各个目标OB2、OB3有关的位置信息、中心点信息及大小信息中的至少一个和所检测的各个目标OB2、OB3。

另一方面，图5至图8仅示出下颚的牙齿，本发明并不局限于此，本发明的目标检测动作也同样可以对上颚的牙齿适用。

图9及图10示出整合对象的口腔扫描影像与计算机断层扫描影像之间的影像整合过程的状态。在此情况下，在图9及图10中，虚线的正六面体表示各个影像中的最前方牙齿FT和最后方牙齿BT1、BT2的区域。即，图9及图10示出形成影像整合的过程的状态，以使在各个影像中的第一基准点及第二基准点相匹配。并且，图11示出整合对象的口腔扫描影像与计算机断层扫描影像之间的影像整合后的状态。

之后，在步骤S104中，控制部150在所检测的目标OB2、OB3中选择基准目标来在所选择的基准目标中生成第一基准点。在此情况下，基准目标可包括对于前齿区域FA的最前方1个牙齿FT的目标(以下，称之为“最前方目标”)和对于臼齿区域BA的最后方两侧的2个牙齿BT1、BT2的目标(以下，称之为“最后方目标”)。并且，控制部150可以将基准目标的中心点(表面或体积的中心点)选择为第一基准点。

本发明可以在对于口腔内部的口腔扫描影像中轻松地检测能够与各个牙齿对应的目标OB2、OB3，从而可提高上述检测时间及有效性。

并且，本发明可提供所检测的各个目标OB2、OB3的位置、中心点及大小信息等的抽取信息，结果，抽取信息可在用于与计算机断层扫描影像的影像整合的基准点使用，不仅如此，由于抽取信息的准确性高，从而可以提高影像整合的准确性。

即，参照图9及图10，当与计算机断层扫描影像的影像整合时，可将能够迅速抽取多个目标OB2、OB3的对于多个目标OB2、OB3的中心点信息等用作影像整合的第一基准点，与这种第一基准点的信息比利用以往的曲率信息的牙齿检测方式的信息更准确，结果，如图11所示，可提高影像整合的速度及准确性。

另一方面，在步骤S100中，控制部150可以使学习模型将最前方目标及最后方目标作为其输出值输出。

在此情况下，在步骤S102中，控制部150通过在所抽取的关注区域ROI的多个方向中形成对于作为一部分牙齿的相互隔开的n个牙齿(以下，称之为“对象牙齿”)(只是，n为3以上的自然数)的各个目标OB1的学习数据，根据机器学习工法进行学习来生成学习模型。即，对象牙齿包括最前方牙齿FT及最后方牙齿BT。由此，学习模型利用形成与最前方目标及最后方目标对应的目标OB1的学习数据来进行学习。并且，在步骤S103中，控制部150利用在步骤S102中生成的学习模型来在整合对象的口腔扫描影像中检测对于各个牙齿的多个方向的目标OB2。并且，利用上述目标OB2检测三维目标OB3。结果，在步骤S104中，控制部150将所检测的目标OB2、OB3选择为基准目标来在所选择的基准目标生成第一基准点。此外，与上述步骤S101至步骤S104的内容相同。

在本发明的详细说明中，与具体实施例有关地进行了说明，在不超出本发明的范围的情况下，可以对本发明进行多种变形。因此，本发明的范围并不局限于所说明的实施例，需要通过后述的发明要求保护范围及与发明要求保护范围等同的内容定义。

产业上的可利用性

本发明的牙齿目标检测方法及利用牙齿目标的影像整合方法及装置可用于种植牙手术等各种牙科治疗领域。