阅读说明：本技术 医用图像诊断装置以及对位方法 (Medical image diagnosis apparatus and alignment method ) 是由 简伟健 唐喆 陈颀 陈宇 于 2018-06-26 设计创作，主要内容包括：本发明提供一种医用图像诊断装置以及对位方法,该医用图像诊断装置具有在医用图像数据间进行对位的功能,具备：输入部,受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与；生成部,基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素；以及对位部,使用生成的上述多个超像素来进行上述医用图像数据间的对位。(The present invention provides a medical image diagnostic apparatus and a positioning method, the medical image diagnostic apparatus has a function of positioning between medical image data, and comprises: an input unit that receives a label assigned to a tubular structure of a subject included in at least one of the medical image data; a generation unit that generates a plurality of superpixels corresponding to a plurality of cells specified in the medical image data, based on the assigned tags; and a registration unit that performs registration between the medical image data using the plurality of generated superpixels.)

医用图像诊断装置以及对位方法

技术领域

本发明涉及能够在医用图像数据间进行对位的医用图像诊断装置以及对位方法。

背景技术

针对由CT、MR、超声扫描仪等设备扫描而获得的单张图像，在现有的医用图像诊断装置中，存在通过对血管等管状组织通过人工标记来获得整个血管部分的图像的技术。

但是，针对同一患者，当进行了不同设备的扫描时，例如既进行了CT扫描又进行了超声扫描时，有时需要针对同一组织、例如同一血管，比对其在不同模态图像、即在CT扫描图像和在超声扫描图像中的特征，从而找出该血管的病变部位等。但有时由于在图像中血管很多，用户难以在上述两张扫描图像中找出对应的同一血管，从而无法进行迅速而又准确的诊断。

发明内容

因此，鉴于上述情况，本发明提供一种能够在不同的医用图像数据间找出相同的管状构造物的医用图像诊断装置以及对位方法。

本发明的医用图像诊断装置，具有在医用图像数据间进行对位的功能，具备：输入部，受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与；生成部，基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素；以及对位部，使用生成的上述多个超像素来进行上述医用图像数据间的对位。

另外，本发明的对位方法，在医用图像数据间进行对位，具备如下步骤：受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与；基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素；以及使用生成的上述多个超像素来进行上述医用图像数据间的对位。

发明效果

用户能够在针对同一患者以多种拍摄方法拍摄的多个图像中容易地找出相应的同一血管，实现不同模态图像之间的对位，从而能够进行迅速而又准确的诊断。

附图说明

图1是本发明的第1实施方式的医用图像诊断装置的结构框图。

图2是用于对医用图像进行超像素分割的示意图。

图3是超像素计算单元的结构图。

图4是用于说明医用图像数据之间的对位处理的图。

图5是用于说明医用图像数据之间的对位处理的流程图。

图6是用于说明如何在浮动图像中找出对应的超像素的流程图。

图7是表示对医用图像数据进行对位后的状态的示意图。

图8是本发明的第2实施方式的医用图像诊断装置的结构框图。

图9是在浮动图像中所计算的超像素错误时进行修正的说明图。

图10是本发明的第2实施方式的医用图像数据的对位处理的流程图。

图11是本发明的第3实施方式的医用图像诊断装置的结构框图。

图12是本发明的第3实施方式的医用图像数据的对位处理的流程图。

具体实施方式

下面，参考附图对本发明的医用图像诊断装置以及其中的对位方法进行说明。

第1实施方式

下面，基于图1～图7对本发明的第1实施方式的医用图像诊断装置进行说明。

图1是医用图像诊断装置100的结构框图。

如图1所示，医用图像诊断装置100具备特征提取单元101、图像分割单元102、超像素标记单元103以及超像素计算单元104。

特征提取单元101针对医生等用户所选择出的医用图像，提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征。

图像分割单元102用于对用户所选择出的各医用图像进行超像素分割。

超像素分割是为了定位图像中的物体和边界等将图像细分为多个图像子区域、即超像素的过程。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。

图2示出了对同一患者拍摄的两幅图像，其中，(a)的左侧的图像是超声图像P1，(b)的左侧的图像是CT图像P2，在该两幅图中分别示出有相同的血管，在超声图像P1中示出有血管vs1，CT图像P2中示出有与血管vs1相同的血管vs2。

在图2中，(a)的右侧的图是将超声图像P1进行超像素分割后的将图中的方框部分放大示出的包括血管vs1的超像素分割图S1，(b)的右侧的图是将CT图像P2进行超像素分割后的将图中的方框部分放大示出的包括血管vs2的超像素分割图S2。超像素分割图S1以及超像素分割图S2分别由多个超像素sp构成。

在图2的(a)中，仅清楚地示出了包括血管vs1的Y形血管，在图2的(b)中，清楚地示出了包括血管vs2的Y形血管，但这是为了描述方便而选择的附图，通常在各个图像中会同时存在多条血管，假设在超声图像P1中定位了血管vs1的情况下，很难用肉眼在CT图像P2中找出其对应的相同的血管vs2。

另外，在本发明中，用超声图像P1来代表参考图像，并用CT图像P2来代表浮动图像，通过在以超声图像P1为代表的参考图像上连续标记构成血管的超像素，能够自动地在以CT图像P2为代表的浮动图像上显示对应的血管的超像素，从而显示出对应的血管。

超像素标记单元103受理用户用手指或者电容笔等对显示于触控面板上的超像素分割图进行的标记、即标签付与，能够将所标记的点所处于的超像素或者所标记的线所经过的超像素进行强调显示，也就是说，能够基于付与的标签生成与在各医用图像数据内确定的多个小划区对应的多个超像素。该强调显示例如可以是通过改变超像素的颜色等而与其它超像素区别开来。

超像素计算单元104针对参考图像和浮动图像中的同一组成部分、如血管，根据在参考图像上进行连续的划线标记而强调显示的多个超像素以及在浮动图像上标记的起始超像素，而在浮动图像上计算与参考图像上的超像素对应的超像素，并进行强调显示，从而进行参考图象与浮动图像的数据间的对位。

图3是示出超像素计算单元104的结构的结构图。超像素计算单元104具备中心点计算单元1041、矩阵生成单元1042、坐标转换单元1043、选择单元1044、特征取得单元1045、相似度计算单元1046、判断单元1047以及决定单元1048。

中心点计算单元1041能够针对超像素标记单元103强调显示的超像素而计算出该超像素的重心来作为该超像素的中心点。

图4是用于说明医用图像数据之间的对位处理的图，其中，(a)对应图2的(a)中的超像素分割图S1，(b)对应图2的(b)中的超像素分割图S2，在图4中，为了使各个标记更加清楚，去除了超像素分割图S1以及S2中的灰度。

如图4所示，在超像素分割图S1中，中心点计算单元1041能够计算出通过标记而获得的超像素sp1以及超像素sp2的中心点，将该中心点分别以坐标x1以及x2来表示，在超像素分割图S2中，中心点计算单元1041能够计算出通过标记而获得的超像素sp1′的中心点，将该中心点以坐标y1来表示。

矩阵生成单元1042根据超像素分割图S1的血管vs1的多个超像素(至少2个超像素)的中心点坐标以及超像素分割图S2的血管vs2的与血管vs1的上述多个超像素对应的超像素的中心点坐标来生成超像素分割图S1的血管vs1与超像素分割图S2的血管vs2之间的变换矩阵T。该变换矩阵T例如为仿射变换矩阵，该仿射变换矩阵例如能够通过最小二乘法来计算。

坐标转换单元1043将坐标x2与变换矩阵T相乘来获得超像素分割图S2的超像素sp2′的推测坐标C(x2)。

选择单元1044在以坐标C(x2)为中心的半径r的范围内，分别选择全部或部分处于该范围内的超像素，如图4所示，分别选择超像素spx′、spy′、spz′、sp2′。当然，该半径r的大小可以根据需要来进行设定。

特征取得单元1045针对这些超像素spx′、spy′、spz′、sp2′的每个从特征提取部101提取的特征中取得其各自的特征，如灰度值、梯度、形状、位置以及黑森矩阵等。

例如取得超像素的1～d个特征，在取得超像素spx′的特征时，将其特征以集合a_j＝(a_j1，a_j2，…，a_jd)来表示。同时，特征取得单元1045针对超像素分割图S1中的超像素sp2取得其特征a₂＝(a₂₁，a₂₂，…，a_2d)。

相似度计算单元1046计算超像素分割图S1中的超像素sp2与超像素分割图S2中的超像素spx′的特征的相似度，具体为，将特征a_j与a₂放入一个集合，即形成集合ak＝(a₂，a_j)＝(a₂₁，a₂₂，…，a_2d，a_j1，a_j2，…，a_jd)，并对各个特征进行比对，来计算特征a_j与a₂的整体的相似度s_2j。

判断单元1047判断在CT图像P2的超像素分割图S2中以坐标C(x2)为中心的半径r的范围内是否所有超像素都被选择。

决定单元1048通过比较超像素spx′、spy′、spz′、sp2′的每个的特征与超像素sp2的特征的相似度来将具有最近似的相似度(相似度最高)的超像素决定为CT图像P2中的与超像素sp2对应的超像素。

下面，基于图2、图4、图5来说明医用图像数据的对位处理，其中，图5是用于说明医用图像数据的对位处理的流程图。

首先，用户找出对同一患者拍摄的两幅图像，即、超声图像P1(参考图像)和CT图像P2(浮动图像)，在该两幅图像中，通过用户对图像切片位置的比对等判断应该存在相同的血管，即、超声图像P1中的血管vs1和CT图像P2中的血管vs2。也就是说，用户获得存在相同的血管的参考图像和浮动图像(步骤S11)。

然后，特征提取单元101针对超声图像P1和CT图像P2，提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征(步骤S12)。

然后，如图2的右侧部分的超像素分割图S1以及超像素分割图S2所示，图像分割单元102对用户所选择出的超声图像P1和CT图像P2进行超像素分割(步骤S13)。

然后，如图4的(b)所示，在超像素分割图S2、即CT图像P2中，用户用手指或者电容笔等触碰超像素sp1′所在的位置来进行手工标记，超像素标记单元103受理用户的标记、即标签付与，从而将所标记的点所处于的超像素sp1′进行强调显示、即生成超像素sp1′(步骤S14)。

然后，如图4的(a)所示，在超像素分割图S1、即超声图像P1中，用户用手指或者电容笔等沿着血管vs1的延伸方向，以与超像素sp1′对应的超像素sp1所位于的位置为起点连续地划线，从而对血管vs1进行手工标记，超像素标记单元103受理用户的标记、即标签付与，从而将所标记的划线所处于的超像素sp1、sp2等进行强调显示，血管vs1被逐渐显示(步骤S15)。

然后，超像素计算单元104根据在超像素分割图S1、即超声图像P1上进行连续的划线标记而强调显示的多个超像素以及在超像素分割图S2、即CT图像P2上标记的起始像素，而在超像素分割图S2、即CT图像P2中计算与超声图像P1的多个超像素对应的超像素，并进行强调显示而自动进行标记(步骤S16)。

下面，基于图4、图6来说明在CT图像P2中计算对应的超像素的方法，其中，图6是用于说明如何在浮动图像中找出对应的超像素的流程图。

首先，如图4的(a)所示，针对超像素分割图S1，中心点计算单元1041计算连续划线标记出的超像素sp1以及超像素sp2的中心点坐标x1以及x2，针对超像素分割图S2，中心点计算单元1041计算通过标记而获得的超像素sp1′的中心点坐标y1，矩阵生成单元1042根据中心点坐标x1、x2以及y1，生成超像素分割图S1的血管vs1与超像素分割图S2的血管vs2之间的变换矩阵T(步骤S161)。

然后，如图4的(b)所示，在超像素分割图S2、即CT图像P2中，坐标转换单元1043将坐标x2与变换矩阵T相乘来获得超像素分割图S2的超像素sp2′的推测坐标C(x2)(步骤S162)。

然后，如图4的(a)所示，在超像素分割图S1、即超声图像P1中，特征取得单元1045取得在划线标记中后标记、即最新标记的超像素sp2的特征a₂＝(a₂₁，a₂₂，…，a_2d)(步骤S163)。

然后，如图4的(b)所示，在超像素分割图S2、即CT图像P2中，选择单元1044在以坐标C(x2)为中心的半径r的范围内，选择部分处于该范围内的超像素spx′，特征取得单元1045针对该超像素spx′，从特征提取部101提取的特征中取得其特征a_j＝(a_j1，a_j2，…，a_jd)(步骤S164)。

然后，相似度计算单元1046将特征a_j与a₂放入一个集合，即形成集合ak＝(a₂，a_j)＝(a₂₁，a₂₂，…，a_2d，a_j1，a_j2，…，a_jd)，并对各个特征进行比对，来计算特征a₂与a_j的整体的相似度s_2j，从而计算超像素分割图S1中的超像素sp2与超像素分割图S2中的超像素spx′的特征的相似度(步骤S165)。

然后，判断单元1047判断在以坐标C(x2)为中心的半径r的范围内的所有超像素是否都被选择(步骤S166)。在判断为未都被选择的情况下(步骤S166的否)，返回步骤S164，如图4的(b)所示，在超像素分割图S2中，选择超像素spy′、spz′或者sp2′并取得其特征，然后进行步骤S165。在判断为超像素spx′、spy′、spz′、sp2′都被选择的情况下(步骤S166的是)，决定单元1048通过比较超像素spx′、spy′、spz′、sp2′的每个的特征与超像素sp2的特征的相似度来将具有最近似的相似度的超像素决定为CT图像P2中的对应超像素(步骤S167)，在此，由于超像素sp2′与超像素sp2的灰度值最相似，都是血管，且形状也相似等，因此在CT图像P2中，将超像素sp2′决定为与超声图像P1中的超像素sp2对应的超像素。

图7是表示对医用图像数据进行对位后的状态的图。在图7的(b)中，在CT图像P2中的超像素分割图S2中，当在超像素sp1′(起始超像素)所处的区域的某一点进行了标记的情况下，在图7的(a)中，在超声图像P1中的超像素分割图S1中，从超像素sp1(起始超像素)所处的区域的某一点开始沿着血管vs1的方向连续划线至超像素sp6所处的区域的某一点时，如图7的(b)所示，能够在CT图像P2中的超像素分割图S2中自动地标记至超像素sp6′，从而自动地找出与血管vs1对应的血管vs2。因此，用户能够在超声图像P1以及CT图像P2这两张扫描图像中容易地找出同一血管，从而能够进行迅速而又准确的诊断。

另外，在超像素计算单元104中，也可以不具备特征取得单元1045和判断单元1047，在不具备特征取得单元1045时，由特征提取单元101提供超像素的特征，在不具备判断单元1047时，省略图6中的步骤S166，此时，在步骤S164中，如图4的(b)所示，在超像素分割图S2、即CT图像P2中，选择单元1044在以坐标C(x2)为中心的半径r的范围内，选择部分处于该范围内的所有超像素spx′、spy′、spz′以及sp2′，并由特征提取单元101提供各超像素的特征，然后，在步骤S165中，相似度计算单元1046计算超像素分割图S1中的超像素sp2分别与超像素分割图S2中的超像素spx′、spy′、spz′以及sp2′的特征的相似度，然后，在步骤S167中，决定单元1048将超像素spx′、spy′、spz′、sp2′中与超像素sp2的特征最近似的超像素决定为CT图像P2中的对应超像素。

另外，如上所述，以图4为例说明了计算对应的超像素的方法，在图7中，在计算超像素sp6′时，根据超像素分割图S1中的血管vs1的各个超像素的中心点坐标x1、x2、x3、x4、x5以及超像素分割图S2中的血管vs2的与上述各超像素的中心点坐标对应的超像素的中心点的坐标y1、y2、y3、y4、y5，来计算血管vs1与血管vs2之间的变换矩阵T，并根据超像素sp6的中心点坐标x6与变换矩阵T相乘来计算出超像素sp6′的中心点的推测坐标，之后的超像素sp6′的计算方法如图6中的步骤S163～步骤S167。

第2实施方式

下面，基于图8～图10对本发明的第2实施方式的医用凸显诊断装置200进行说明。

而且，仅对不同于第1实施方式的区别点进行说明，对与第1实施方式相同的部分赋予相应的附图标记而省略重复说明或简化说明。

图8是医用图像诊断装置200的结构框图，图9是在CT图像的超像素分割图S2中所计算的超像素错误时进行修正的说明图，图10是医用图像数据的对位处理的流程图。

如图8所示，医用图像诊断装置200具备特征提取单元201、图像分割单元202、超像素标记单元203、超像素计算单元204以及修正输入单元205。

其中，特征提取单元201、图像分割单元202、超像素标记单元203以及超像素计算单元204的功能与第一实施方式中的特征提取单元101、图像分割单元102、超像素标记单元103以及超像素计算单元104的功能相同，因此对这些单元进行简化说明。

特征提取单元201针对医生等用户所选择出的医用图像，提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征。

图像分割单元202用于对用户所选择出的各医用图像进行超像素分割。

超像素标记单元203受理用户用手指或者电容笔等对显示于触控面板上的超像素分割图进行的标记、即标签付与，能够将所标记的点所处于的超像素或者所标记的线所经过的超像素进行强调显示。

超像素计算单元204根据在参考图像上进行连续的划线标记而强调显示的多个超像素，而在浮动图像上计算对应的超像素，并进行强调显示。

修正输入单元205针对超像素计算单元204的计算结果(对位结果)，由用户(操作者)判断该计算结果是否适当，在判断为不适当的情况下，受理用户通过付与标签而进行的修正指示。

下面，基于图9对修正输入单元205的功能进行说明。

在图9的(b)中，在CT图像中的超像素分割图S2中，当在超像素sp1′(起始超像素)所处的区域的某一点进行了标记的情况下，由超像素标记单元203生成超像素sp1′，在图9的(a)中，在超声图像中的超像素分割图S1中，从超像素sp1(起始超像素)所处的区域的某一点开始沿着血管vs1的方向经由超像素sp2、sp3连续划线至超像素sp4所处的区域的某一点时，针对超像素sp2、sp3，超像素计算单元204在超像素分割图S2的血管vs2中计算为其对应的超像素为sp2′、sp 3′，但针对超像素sp4，超像素计算单元204计算为其对应的超像素为sp0′，此时，用户意识到该计算结果是不适当、即错误的，用户以用手指或者电容笔等触摸显示屏而将超像素sp0′拖动至正确的超像素sp4′或者先点击超像素sp0′然后点击超像素sp4′等的方式付与标签来进行修正指示，修正输入单元205受理用户的该修正指示。

下面，基于图9、图10来说明医用图像数据的对位处理。

其中，步骤S21～步骤S26与第一实施方式的步骤S11～步骤S16相同，因此省略重复的说明。

在步骤S27中，当用户判断为超像素计算单元204的计算结果正确的情况下(步骤S27的是)，返回步骤S25，在超声图像、即参考图像中继续连续地手工标记血管的动作，当用户判断为超像素计算单元204的计算结果不适当、即错误的情况下(步骤S27的否)，由用户付与标签来进行修正指示，修正输入单元205受理用户的该修正指示，超像素标记单元203基于该修正指示后的标签，以将该标签所处于的超像素进行强调显示的方式生成该超像素，如图9的(b)所示那样，将错误的超像素sp0′修正为正确的超像素sp4′，即人工选择对应的正确的超像素(步骤S28)，然后，返回步骤S25，在超声图像、即参考图像中继续连续地手工标记血管的动作。

因此，当超像素计算单元204的计算结果错误的情况下，能够人工地将错误的超像素修正为正确的超像素，从而用户能够在CT图像、即浮动图像中容易地找出与超声图像、即参考图像中的血管vs1相同的血管vs2，从而能够进行迅速而又准确的诊断。

第3实施方式

下面，基于图11～图12对本发明的第3实施方式的医用凸显诊断装置进行说明。

而且，仅对不同于第2实施方式的区别点进行说明，对与第2实施方式相同的部分赋予相应的附图标记而省略重复说明。

图11是本发明的医用图像诊断装置300的结构框图。图12是医用图像数据的对位处理的流程图。

医用图像诊断装置300具有特征提取单元301、图像分割单元302、超像素标记单元303、超像素计算单元304、修正输入单元305以及训练单元306。

其中，特征提取单元301、图像分割单元302、超像素标记单元303、超像素计算单元304以及修正输入单元305的功能与第二实施方式中的特征提取单元201、图像分割单元202、超像素标记单元203、超像素计算单元204以及修正输入单元205的功能相同，因此省略对这些单元的说明。

训练单元306以如下方式训练超像素计算单元304：对修正输入单元305所受理的修正指示和超像素计算单元304所计算的超像素的计算结果进行存储，对超像素的正确的计算结果付与大的权重，对被修正指示的错误的计算结果付与小的权重，随着训练过程的迭代，在以后，使正确的超像素被选取的概率越来越高。

下面，基于图12来说明医用图像数据的对位处理。

其中，步骤S31～步骤S35、步骤S37、步骤S38与第二实施方式的步骤S21～步骤S25、步骤S27、步骤S28相同，因此省略重复的说明。

在步骤S39中，训练单元306根据修正输入单元305所受理的修正指示以及超像素计算单元304所计算出的正确的超像素的计算结果来训练超像素计算单元304，将该训练结果反应到以后的超像素的生成中，以便在以后的超像素的生成中，生成正确的超像素。

在步骤S36中，超像素计算单元304参考训练单元306对该超像素计算单元304进行训练而得到的以往的训练结果，在CT图像、即浮动图像中计算与超声图像、即参考图像中的超像素对应的超像素，并对该超像素自动进行标记。

在上述实施方式中，通过训练单元306对超像素计算单元304的训练，能够使超像素计算单元304的超像素的计算结果更加准确，从而用户能够进行更加迅速且准确的诊断。

而且，在上述实施方式中，也可以构成为，超像素计算单元304具有学习部，该学习部学习修正输入单元305所受理的修正指示，并将该学习结果反应到医用图像诊断装置300的超像素计算单元304的以后的超像素的生成中。

在本发明中，举出了超声图像和CT图像为例，来进行它们的数据之间的对位，但也可以是以其它拍摄方法拍摄而获得的图像，另外，为了说明方便，使用了参考图像和浮动图像这样的名称，但只要是对同一患者拍摄的多种图像，也可以使用其它名称。

如上所述，虽然对本发明的多个实施方式进行了说明，但这些实施方式是作为例子而示出的，并不意图对发明的范围进行限定。这些新的实施方式能够以其他各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并包含于技术方案所记载的发明和与其等同的范围中。