具体实施方式

以下参考附图来详细说明本发明的实施方式。

图1是说明本实施方式的超声波摄像装置和利用其的导管治疗辅助系统(以下略作医疗辅助系统)的整体结构的图。

另外，图2是说明导丝的前端部的样子的图。

如图1所示那样，医疗辅助系统100具备：搭载了包含超声波产生源13(信标)和光产生部15的超声波产生设备10的生物体插入器具11(导丝)；超声波探头20(探针)和机械臂90，并具备：取得被插入生物体插入器具11的被检体80的超声波图像的超声波摄像部30以及其显示部34。

生物体插入器具11例如是球囊导管、微导管、营养导管等治疗用器具、用于将这些治疗用器具送往目的部位的导丝等细长的管状的医疗器具。以下说明生物体插入器具是导丝的情况。

以下说明具备通过光声(PA、Photo acoustic)效应来发出超声波信号的PA信号产生源13的超声波产生设备10，但也可以通过压电元件产生超声波。

超声波产生设备10如图1、图2所示那样，具备：配置于柔软的中空的导丝11的中空部内的光纤12(不图示)；固定于光纤12的插入侧端面的光声超声波产生源13；和与光纤12的另一端(与固定光声超声波产生源13的端部相反一侧的端部)连接并产生激光的光产生部15。光纤12作为将光产生部15所产生的激光引导到前端的光声超声波产生源13的导光构件发挥功能。将这些超声波产生设备10和中空的导丝11包括在内而称作光声源搭载丝。

如图2所示那样，在超声波探头20检测插入血管82的导丝11的前端的光声超声波产生源13(以后记作PA信号产生源13)所发出的超声波。然后，超声波摄像部30在基于超声波探头20所发出的超声波形成的被检体80以及血管82的截面图像重叠检测到的PA信号产生源13的图像。

由此能掌握被检体80以及血管82中的导丝11的位置。

PA信号产生源13用通过接受激光并隔热膨胀而发出PA信号等超声波的材料、例如公知的色素(光敏剂)、金属纳米粒子、碳基化合物体等构成。包含PA信号产生源13的光纤12的前端被树脂性的密封构件覆盖。另外，在图2中，PA信号产生源13定位于导丝11的前端，但并不限于丝前端。

接下来说明构成实施方式的超声波摄像装置的超声波摄像部30的细节。图3是超声波摄像部30所包含的超声波摄像装置的框图。

超声波摄像部30具备：后述细节的控制部40；对超声波探头20发送超声波信号的发送部31；接收超声波探头20检测到的反射波(RF信号)并进行调相、加法运算等处理的接收部32；用于用户输入摄像所需的条件、指令的输入部33；显示超声波摄像部30取得的超声波图像、GUI(Graphic User Interface，图形用户接口)等的显示部34；和存储处理结果、根据处理结果在显示图像形成部43形成的显示图像等的存储器35。

控制部40具备：对在超声波探头20接收到的超声波图像(包含反射超声波信号和PA信号)进行处理的信号处理部41；根据在信号处理部41进行过处理的信号来检测PA信号的声源位置的PA声源位置检测部42；使用PA声源位置检测部42中检测到的PA声源位置和事前取得的被检者的事前取得3D解剖学的信息44来形成显示于显示部34的图像的显示图像形成部43；和使用PA声源位置检测部42中检测到的声源位置和事前取得被检者的事前取得3D解剖学的信息44来决定超声波探头20的操作位置的动作计划部45。

在事前取得3D解剖学的信息44中可以使用被检者在CT(Computer Tomography，计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)中取得的3D容积像，也可以使用由超声波摄像装置扫掠(sweep)而摄像的3D容积像。

信号处理部41具备：使用接收部32接收到的作为反射波的RF信号来作成B模式图像等超声波图像的反射超声波信号处理部411；基于光产生部15的激光的发光定时来检测从PA信号产生源13发出而由超声波探头20的各换能器(transducer)元件检测到的PA信号并进行处理的超声波信号解析部(PA信号解析部)412。

另外，控制部40除了追加接收PA信号的PA信号解析部412、和检测PA信号的产生位置的PA声源位置检测部42以外，具有与一般的超声波摄像装置同样的结构。

PA声源位置检测部42具备：根据PA信号解析部412中解析的PA信号来估计PA信号产生源13的摄像区域内的位置的相对位置检测部421；对相对位置检测部421中检测到的PA信号产生源13的位置进行微分来导出速度的相对速度测量部422；基于机械臂90的操作位置信息来测量超声波探头20的速度的探头速度测量部425；基于相对速度测量部422测量的速度和探头速度测量部425测量的超声波探头20的速度来检测PA信号产生源13的绝对位置的绝对位置检测部424；和将绝对位置检测部424中检测到的绝对位置进行滤波来减低误差的位置滤波器423。

位置滤波器423通过任意的滤波处理来减低绝对位置检测部424的检测结果中所含的误差。例如若是PA信号产生源13以低速进行移动的情况，则能通过基于移动平均滤波器、LPF(Low Pass Filter，低通滤波器)等滤波器的平滑化来减低位置检测误差。

另外，位置滤波器423也可以是考虑了将PA声源位置检测部42的位置检测手法中会在原理上产生的检测误差模型化的误差模型的滤波器。具体地，能综合考虑PA声源位置检测部42中检测的PA信号产生源13的位置和速度、超声波探头20的位置、速度和姿态、和PA声源位置检测部42的误差模型，来运用估计统计上概率最高的状态的伽马滤波器、粒子滤波器等。

PA声源位置检测部42中的其他结构的细节后述。

控制部40的功能的一部分或全部能在具备CPU或GPU和存储器的计算机中通过执行将其功能编程的软件而实现。另外还能用电子电路、ASIC、FPGA等硬件实现各部的功能的一部分或全部。另外，控制部40可以安装在单一的计算机，也可以按每个功能安装在多个计算机。

超声波探头20是具有一个大量换能器元件在一维方向上排列的阵列排列的1D阵列探头(线性阵列探头)。另外，能使用在与1D阵列探头的阵列排列方向正交的方向上具有二维或三维的阵列排列的1D3排列探头、在二维方向上具有大量阵列排列的2D阵列探头等种种超声波探头20。信号处理部41采用与所用的超声波探头20的种类相应的解析手法。

接下来说明实施方式的医疗辅助系统100的动作。

在此，在超声波摄像装置使用1D阵列探头的超声波探头20进行被检体80的超声波摄像的同时，手术实施者将引导导管等的在前端设置了PA信号产生源13的导丝11插入被检体的体内，超声波摄像装置根据PA信号来监控导丝11的前端位置。然后，说明超声波摄像装置操作机械臂90以使得超声波探头20追踪导丝的前端位置的情况。

图4是超声波摄像装置的处理流程图。

在步骤S401，超声波摄像装置判定对超声波探头20的追踪的辅助动作是否有效，若无效(S401“否”)，就结束处理。若有效(S401“是”)，则前进到步骤S402。

在步骤S402，超声波摄像装置进行基于超声波探头20的反射超声波摄像(以后称作摄像模式)。在该摄像模式下，进行与现有的超声波摄像装置同样的超声波摄像。

详细地，由超声波探头20从发送部31发送超声波，在超声波探头20接收发送的超声波从被检体内部的组织反射的反射波。接收部32对从超声波探头20按每帧接收到的接收信号进行调相、加法运算等处理，并送往信号处理部41。反射超声波信号处理部411使用来自接收部32的帧信号来作成超声波图像例如B模式图像，交到形成显示于显示部43的图像的显示图像形成部43。

在该摄像模式下，在超声波探头20为1D阵列探头时，由于能取得阵列探头的方向和深度方向的反射波强度的信息，因此能通过反射波强度的信息来得到二维的反射波强度的信息。

另外，在对超声波探头20使用2D阵列探头的情况下，在1次的摄像模式中，得到与将探头面和深度方向合起来的三维的反射波的强度对应的信息。

在步骤S403，超声波摄像装置接收基于超声波探头20的PA信号(以后称作PA接收模式)。在该PA接收模式下，对将导管插入被检体的体内例如血管内时的PA信号产生源13的PA信号进行监控。

详细地，在PA接收模式下，暂时停止发送部31的动作，使光产生部15工作，并从光产生部15照射脉冲状的激光。光产生部15所发出的光经由插入体内的导丝11的光纤12照射到PA信号产生源13。通过该照射光而从构成PA信号产生源13的光声材料产生PA信号(超声波)，在超声波探头20的各元件进行检测。

PA信号解析部412根据超声波探头20中接收到的PA信号来作成与来自光产生部15的光照射同步的信号数据，并交到PA声源位置检测部42的相对位置检测部421。在接收到的PA信号的同步中，可以根据光产生部15照射光时对PA信号解析部412输出的触发信号来取得光照射的定时，也可以从超声波探头20的各元件接收到的PA信号来推测光照射的定时。

另外，在利用了使用压电元件产生超声波的超声波产生设备10的情况下，除了能通过使用发送部31发送超声波来推测产生信号的定时以外，还可以与利用PA信号产生源时同样地，通过触发信号与外部的信号源来取得同步。

在步骤S404，PA声源位置检测部42根据从PA信号解析部412交来的PA信号、和从机械臂9交来的超声波探头20的绝对位置(三维)和姿态(方向)的信息来检测PA信号产生源13的位置。

详细地，在PA声源位置检测部42中，首先，相对位置检测部421根据从PA信号解析部412交来的PA信号来检测相对于超声波探头20的PA信号产生源13的相对位置。

接下来，根据相对速度测量部422检测到的相对位置的时间变化来检测相对速度，探头速度测量部425根据从机械臂90交来的超声波探头20的绝对位置和姿态(方向)的信息的时间变化来检测超声波探头20的速度和角速度。

另外，相对速度测量部422也可以使用在接收到的PA信号中产生的多普勒效应来测量相对速度。

然后，绝对位置检测部424根据这些值来检测PA信号产生源13的绝对位置。

检测到的PA信号产生源13的绝对位置通过位置滤波器423进行滤波，来减低检测误差。

在步骤S405，显示图像形成部43形成显示内容，显示于显示部34。

详细地，显示图像形成部43使用反射超声波信号处理部411中形成的反射超声波像、PA声源位置检测部42中检测到的PA信号产生源13的位置、和事前取得并记录于事前取得3D解剖学的信息44的关于被检体80的解剖学结构的3D容积像来形成使得手术实施者能掌握PA信号产生源13的立体的位置关系的显示图像，并显示于显示部34。

通过图11、图12来说明具体的显示部34的显示例。

在步骤S406，动作计划部45使用被检体80的事前取得3D解剖学的信息44、从机械臂90得到的探头的位置和坐标、和超声波摄像装置得到的反射超声波图像和PA声源位置来计划机械臂90的动作，对机械臂90指示操作位置。

例如动作计划部45驱动机械臂90，使得PA信号产生源13位于步骤S402的反射超声波图像的给定位置，追踪PA信号产生源13。由此，超声波探头20能持续接收从PA信号产生源13产生的PA信号(超声波)。

通过图13A、图14A后述更具体的超声波探头20的追踪例。

然后回到步骤S401，重复步骤S402～406。

另外，摄像模式(步骤402)和PA接收模式(步骤S403)并不限定于图4的流程图。例如，也可以重复执行4次摄像模式并执行1次PA接收模式的动作，还可以重复分别各执行1次摄像模式和PA接收模式的动作。

以后详细说明图4的步骤S404中的绝对位置检测部424的处理。

图5是在以后的说明时说明超声波探头20的坐标系的图。坐标系将作为1D阵列探头的超声波探头20的声元件阵列21的阵列排列方向设为长轴22，将与阵列接收面平行且与长轴22正交的轴设为短轴23，将与阵列接收面正交的轴设为深度轴24，将声元件阵列21的表面中的长轴方向和短轴方向的中心设为坐标系的原点。

在超声波探头20是在二维方向上具有大量阵列排列的2D阵列探头的情况下，可以任意决定长轴22和短轴23的朝向。

首先，通过图6来说明根据超声波探头20在短轴23的方向上并进而移动时的位置与姿态的关系、即根据PA信号产生源13与超声波探头20的位置变化(并进)来检测PA信号产生源13的绝对位置的方法。

如图6所示那样，在作为1D阵列探头的超声波探头20向短轴23的方向而使超声波探头20从712B向712A并进711的情况下，能通过机械臂90来取得712A和712B各自中的超声波探头20的绝对位置。另外，由于能由PA信号解析部412根据光产生部15的发光测量超声波探头20的PA信号的到达时间，因此能求取从712A和712B各自到PA信号产生源13的距离713A和713B。

因此，由于PA信号产生源13的位置715是距离713A的圆弧714A与距离713B的圆弧714B的交点，因此能根据712A和712B各自中的超声波探头20的绝对位置、和到PA信号产生源13的距离713A和713B来算出绝对位置。

详细地，若将移动前后的RA信号的到达时间设为ta、tb，则通过式(1)求取到PA信号产生源13的距离713A(la)和713B(lb)。

【数学式1】

l_b＝c·t_b，l_a＝c·t_a (1)

这里c是音速。

然后，若将超声波探头20从712B向712A以速度v、微小时间Δt并进，则通过式(2)求取PA信号产生源13的位置715(yPA、zPA)。

【数学式2】

其中，y是短轴23方向的相对值，z是深度轴24方向的相对值，微小时间Δt设为十分短，近似为la≈lb。

在上述中，设为PA信号产生源13静止，但还有正在移动的情况。为此，虽然通过PA信号产生源13的移动确定的PA信号产生源13的绝对位置中会出现误差，但通过位置滤波器423减轻该误差。

接下来，通过图7来说明根据超声波探头20绕着深度轴24旋转移动时的位置与姿态的关系、即根据超声波探头20的摄像面的旋转位置变化来检测PA信号产生源13的绝对位置的方法。

如图7所示那样，在作为1D阵列探头的超声波探头20绕着深度轴24向旋转方向721而从722B向722A旋转的情况下，能由PA信号解析部412取得各个PA信号产生源13的长轴方向的位置723B和723A，能由机械臂90取得各个PA信号产生源13的长轴方向的位置723B和723A的绝对位置。

因此，PA信号产生源13的位置725由于是直线724A与直线724B的交点，因此能根据723A和723B的绝对位置来算出PA信号产生源13的位置725的绝对位置。

详细地，若将移动前后的PA信号产生源13中的长轴22方向的位置变化设为xPA，将绕着深度轴24的旋转721的角速度设为ω，将PA信号的到达时间设为t，将音速设为c，则通过式(3)求取PA信号产生源13的位置725(yPA，zPA)。

【数学式3】

在根据上述的超声波探头20和PA信号产生源13的位置变化、或超声波探头20的摄像面的旋转位置变化来检测PA信号产生源13的绝对位置的方法中，使用移动前后的位置来检测PA信号产生源13的绝对位置，但在移动前后的时间差短的情况下，使用超声波探头20的速度来检测PA信号产生源13的绝对位置。

通过图8来说明在PA声源位置检测部42中使用超声波探头20的速度来检测PA信号产生源13的绝对位置的处理流程。

在该流程中，从超声波探头20的移动提取并进和旋转，来检测PA信号产生源13的绝对位置。

在步骤S801，探头速度测量部425测量超声波探头20的移动的速度和角速度。在此，也可以从机械臂90取得超声波探头20的移动的速度和角速度。

在步骤S802，绝对位置检测部424从测量出的超声波探头20的移动的速度和角速度提取超声波探头20的短轴23的方向的并进速度和超声波探头20的绕着深度轴24的旋转速度分量。

在步骤S803，绝对位置检测部424判定提取的短轴23的方向的并进速度是否等于0，若等于0(S803的“＝0”)，则前进到步骤S805。若不等于0(S803的“≠0”)，则前进到步骤S804。

在步骤S804，绝对位置检测部424与通过图6说明的方法同样地，根据与PA信号产生源13的超声波探头20的短轴23的方向的并进速度来检测PA信号产生源13的绝对位置。详细地，设为PA信号产生源13以该并进速度从速度的测定时间分开的2点起位于与由PA信号解析部412测量的距离相等的点，来检测PA信号产生源13的绝对位置。然后前进到步骤S805。

在步骤S805，绝对位置检测部424判定提取的超声波探头20的绕着深度轴24的旋转速度是否等于0，若等于0(S805的“＝0”)，则前进到步骤S807。若不等于0(S805的“≠0”)，则前进到步骤S806。

在步骤S806中，绝对位置检测部424与通过图7说明的方法同样地，使用超声波探头20的绕着深度轴24的旋转速度来检测PA信号产生源13的绝对位置。详细地，设为PA信号产生源13位于该旋转速度的测定时间分开的2点的法线的交点，来检测PA信号产生源13的绝对位置。然后前进到步骤S807。

在步骤S807，位置滤波器423对步骤S804和步骤S806中求得的PA信号产生源13的绝对位置的至少一方进行滤波处理。由此进行位置检测的高精度化。

在上述中，说明了作为超声波探头20而使用1D阵列探头的情况，但对将2D阵列探头作为超声波探头20的情况进行说明。

在该情况下，由于不是通过超声波探头20的并进、旋转取得PA信号产生源13的三维位置，而是能取得相对于超声波探头20的PA信号产生源13的三维位置，因此能将在从机械臂90通知的超声波探头20的三维绝对位置和姿态中取得的三维相对位置进行加法运算来检测PA信号产生源13的三维绝对位置。

在上述的超声波摄像装置以及治疗辅助系统中，说明了机械臂90操作超声波探头20、基于机械臂90检测到的超声波探头20的绝对位置来检测PA信号产生源13的三维绝对位置，但也可以设为设置检测超声波探头20的绝对位置的探头位置/姿态传感器91的结构。另外，也可以由机械臂90操作超声波探头20，由探头位置/姿态传感器91检测超声波探头20的绝对位置。

探头位置/姿态传感器91可以内置于超声波探头20，也可以另外分体构成。

探头位置/姿态传感器91例如是使用组合地磁传感器等定位传感器、加速度传感器、陀螺仪传感器而构成的传感器、利用了外部的摄像机的传感器等，只要是能测量探头的位置和姿态的传感器，就并没有限定。

图9是表示由探头位置/姿态传感器91检测超声波探头20的绝对位置的超声波摄像装置以及治疗辅助系统的结构的框图。

图9的超声波摄像装置与图3说明的超声波摄像装置相比，在去除了机械臂90的动作计划部45而设置探头位置/姿态传感器91这点上不同，其他成为相同结构。

探头位置/姿态传感器91周期性地检测超声波探头20的绝对位置和姿态，并对控制部40通知。

探头速度测量部425取代机械臂90而根据从探头位置/姿态传感器91交来的超声波探头20的绝对位置和姿态(方向)的信息的时间变化检测超声波探头20的速度和角速度。

显示图像形成部43进行与基于机械臂90检测到的超声波探头20的绝对位置来检测PA信号产生源13的三维绝对位置的情况同样的处理。

图10是超声波摄像装置的处理流程图。

与图4中说明的超声波摄像装置的处理流程相比，不同点在于：去除了步骤S406的动作计划部对机械臂指示动作的处理这点、以及步骤S404取代成步骤S407这点不同。

在步骤S407，PA声源位置检测部42根据从PA信号解析部412交来的PA信号、从探头位置/姿态传感器91交来的超声波探头20的绝对位置(三维)和姿态(方向)的信息来检测PA信号产生源13的位置。

由此，即使是手动操作超声波探头20的情况，也能检测PA信号产生源13的三维绝对位置。

以上说明了PA信号产生源13的位置检测的实施方式，但各实施方式只要技术上没有矛盾，就能适宜组合，这样的组合也包含在本发明中。

在此说明在图4、图10的步骤S405显示于显示部34的显示图像。

图11是表示显示于显示部34的显示图像51的一例的图。

如图11所示那样，显示于显示部34的显示图像51显示：显示被检体80的血管82内的PA信号产生源13的位置并显示血管82的长轴截面的图像511；和显示血管82的圆切片截面的图像512。并且在图像511、512显示：被检体80的身体和血管82的显示；和PA信号产生源13的位置显示519和轨迹的显示518。这些显示要素可以显示全部，也可以显示一部分。

另外，显示图像511和图像512可以使用由超声波摄像部30摄像并由显示图像形成部43形成的显示图像来显示，也可以通过使用PA声源位置检测部42检测到的PA信号产生源13和事前取得的被检体80的事前取得3D解剖学的信息44以CG(Computer Graphics，计算机图形)形成，来由显示图像形成部43显示超声波摄像部30的摄像区域外的解剖学结构的信息。

显示于显示部34的图像的内容能包含辅助手术的任意的图像处理，能包含强调显示存在于所述超声波图像、所述CG内的血管、病变这样的关注点的显示、示出画面外的病变位置的显示等。

在基于所述CG的图像形成中，为了针对事前取得的被检体80的事前取得3D解剖学的信息44检测在机械臂90进行检测的绝对坐标上位于哪个位置并进行对位，将显示图像形成部43形成的超声波图像内的特征点和所述事前取得3D解剖学的信息44内的特征点进行比较，检测一致的部位。例如，作为特征点，能使用血管的分岔、骨，也可以使用其他特征点。

另外，在基于所述CG的图像形成中，可以直接使用所述事前取得3D解剖学的信息44来形成显示图像，也可以以手术中形成的反射超声波图像为参考，检测事前取得的解剖学结构和手术中的解剖学结构的变形，使用使事前取得的所述事前取得3D解剖学的信息44变形以使得事前取得的所述事前取得3D解剖学的信息44更适应手术中的结构的信息，来形成显示图像。例如考虑如下的处理等：辨识手术中形成的反射超声波图像内的血管壁，使事前取得的所述事前取得3D解剖学的信息44内中所含的血管壁变形成与反射超声波图像内的血管壁同样的形状。

显示于显示部34的图像的内容并不限定于显示图11例示的来自2方向的图像的画面，只要能提示病变与PA信号产生源13的立体的位置关系，也可以显示来自1方向的图像，还可以通过第3角度法显示图像。另外，还可以将来自任意的视点的图像显示4画面以上，显示方法和显示的图像的视点并没有限定。

图12是表示基于第3角法的显示图像52的一例的图。

显示图像52由血管的侧视图521、血管的圆切片图522和血管的顶视图523的来自3方向的图像构成。

图12的附图标记528表示PA信号产生源13的轨迹，附图标记529表示PA信号产生源13的位置。

接下来，详细说明图4的步骤S406中的动作计划部45所计划的机械臂的动作指示。

通过图13A、图14A来说明动作计划部45的机械臂90的移动计划的一例。

在图13A中，在PA信号产生源13从移动前的位置613向移动后的位置614移动时，机械臂90驱动超声波探头20，使得超声波探头20的摄像区域保持为将血管82设为圆切片，并且追踪PA信号产生源13从移动前的位置611向移动后的位置612移动。

图13B是使机械臂90如图13A那样驱动超声波探头20的情况下的超声波图像。

在超声波图像中描绘出被检体80的血管82和PA信号产生源13(位置615)，被检体80的血管82内的PA信号产生源13的位置615的掌握变得容易。

在图14A中，机械臂90驱动超声波探头20，使得追踪PA信号产生源13的移动前后的位置623和624，从移动前的位置621向移动后的位置622移动，使得超声波探头20的摄像区域包含血管82的长轴截面。

图14B是使机械臂90如图14A那样驱动超声波探头20的情况的超声波图像。

在超声波图像中描绘出被检体80的血管82和PA信号产生源13(位置625)，在被检体80的血管82中存在闭塞部83的情况下，能易于掌握闭塞部83与PA信号产生源13(位置625)的位置关系。

其中，关于超声波探头20的驱动方式，只要能在图4、图10的步骤S405的显示图像形成中取得为了形成显示图像所需的反射超声波信号和PA信号即足够，并不限定于图13A和图14A的活动方式。

例如如图8说明的那样，在图6说明的并进711和图7说明的旋转721的速度都不是0时能进行位置检测。

因此，通过机械臂90对超声波探头20进行摇动操作，使得超声波探头20的所述并进711的速度ve和所述旋转的角速度ωd成为式(4)，所述并进711和所述旋转721不会同时成为0。由此，能始终持续PA信号产生源13的位置检测。其中，v0和ω0是用于调整速度的常数，T是摇动的周期。

【数学式4】

以上说明了本发明的超声波摄像装置以及导管治疗辅助系统的实施方式，但各实施方式只要在技术上不矛盾，就能适宜组合，这样的组合也包含在本发明中。