具体实施方式

下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种胃部消化道下手术器械追踪和实时预警的方法，包括如下步骤：

(1)内镜微创手术模拟平台的搭建

为了模拟项目中所需的器械内镜微创手术平台，本发明基于单目摄像头、猪胃部消化道和手术钳等搭建了一个最小的双器械内镜手术模拟平台，其具备基本的辅助器械夹持、拉拽生物软组织等功能。猪胃部消化道模拟病人消化道软组织，其与生物软组织具有相似的软体特征。模拟平台采用手术钳作为辅助器械负责对软组织表层粘膜进行夹持、拉拽等操作，为手术提供更大操作空间，辅助手术刀切割；采用猪消化道内壁软组织模拟生物软组织，如肿瘤、肠道粘膜等；采用单目摄像头拍摄记录手术影像，采集数据；采用摄像头USB接口连接电脑，存储数据；采用光源照明手术区域，为摄像头提供亮度补偿。

(2)动物离体实验与单目视频数据采集：

基于模拟实验平台，本文首先将单目摄像头连接电脑以记录影像，调节光源亮度和摄像头焦距以获得清晰成像，然后用手术钳夹持拉拽软组织凸起，模拟手术钳与生物软组织的交互过程，最后记录并存档整个手术过程，从而得到模拟手术视频集。基于模拟平台，本发明模拟内镜手术操作，采集了累计20段有效器械拉拽视频，同时借助多次实验采集得到的位移和拉力关系，对多组实验数据的散点图进行拟合，最终初步得到了的拉力和位移形变的关系函数。

(3)视频预处理：

为有效利用和获取视频中的交互数据，首先需要将视频图像从内窥镜采集格式变换到图像处理所需格式，再进行单目鱼眼内窥镜摄像头的畸变校正，得到几乎不受畸变影响的图像，最后进行图像裁剪保留图像中部区域，获得可直接处理的核心视频图像信息。

(4)基于HSV颜色分割的手术器械识别：

在得到可直接处理的视频数据后，需要将图像转换到HSV颜色空间，通过滤波、腐蚀、膨胀等图像处理操作，借助设计的滑动调节函数，确定出器械在实验环境下所适用的色调H、饱和度S和明度V的取值范围，再进行多次实验调整该取值，最终得到符合实际效果的最佳范围，获取到手术夹钳的轮廓，将其余噪点过滤，通过最大轮廓提取和外接矩形末端短边中点对器械末端工具中心点的位置加以描述，获得手术器械末端位置。

其中，手术器械末端位置采用如下推导算法：

如图2所示，在输入为手术器械最小外接矩形四个端点(p₀,p₁,p₂,p₃)时，取任意邻边的欧拉距离进行比较，若ED(p₀,p₃)<ED(p₀,p₁)，则确定最小外接矩形短边为(p₀,p₃)和(p₁,p₂)；进一步分析，考虑两条短边中点到图像中点的距离，如果有ED(mid(p₀,p₃),O_c)<ED(mid(p₁,p₂),O_c)，则确定器械末端短边为中点为(p₀,p₃)，对应器械末端点为短边中点mid(p₀,p₃)；反之，其他三种情况可以同理推得手术器械末端位置。

(6)手术器械追踪预警，具体包括：

a)三维深度的标尺变换：

由于采用单目摄像头进行图像数据采集，对于器械位移实际大小的检测需要借助额外的基准进行。在图像数据中，由于采用的器械为圆管状，因此最为明显的是以器械的直径作为基准进行尺寸变换。通过测量已知器械直径为2.3mm，借助之前得到的最小外接矩形，可以得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小。通过这种尺寸变换确定位移的方法，避免了因单目无法获取深度信息以及因深度不同带来的偏差，仍可以较好的完成末端位置点的实际位移测量。

b)HARRI角点检测：

由于器械在拉动软组织过程中，不同位置的软组织其形变的方向和大小各不相同。为了更好的描述软组织的整体形变，首先对软组织进行HARRI角点检测，检测出200个特征点，其中绝大部分在软组织上，用于定性判断软组织整体的形变大小。

c)光流追踪：

再借助光流追踪，得到每一个特征点的像素点移动距离，再根据之前的尺寸变换和求和平均，得到表征软组织整体的形变大小。实际应用时，可以用绿点代表软组织的特征角点，红色线代表特征点起始位置到实时位置的光流位移。

d)形变安全预警：

通过角点检测和光流追踪实时获取器械和软组织相较开始时刻的位移以及形变，并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，要求器械立刻停止夹取和拉扯状态。

其中，安全阈值可以由步骤(2)中得到的拉力和位移形变的关系函数从而设定，从而便于对拉扯状态进行判断。

本实施例的胃部消化道下手术器械追踪和实时预警方法，确定了检测器械拉扯软组织过程中开始运行和结束运行算法。对于软组织形变安全性识别模块的判断开始算法，可以基于特征点的整体位移大小进行判断，在不考虑外部振动的情况下，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时，则模块开始检测，进行形变的安全性判断。对于软组织形变安全性识别模块的判断结束算法，具体思路是根据在拉扯过程中的先验信息：随着软组织的位移，每一帧特征点的平均位移会随着帧数的增大而增大；但在拉扯断裂时，特征点位移会随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，从而判断出结束时刻。

本实施例中，对于器械数量的确定，可以借助之前HSV图像分割的最佳取值范围，在器械颜色等基本情况相同的前提条件下，对图像进行反二值化和适当的腐蚀、膨胀操作，通过确定二值图中最大连通区域大于阈值的个数，来判断出器械数量。

本实施例利用单目内窥镜采集到的视频数据，通过HSV颜色分割有效识别出器械本体，再进一步通过标尺变换以及角点检测来追踪器械的位移和软组织的形变，通过分析位移及形变大小来设置安全阈值，达到安全预警的功能，有效保障了手术过程中医生的安全操作和患者的人身安全。

本实施例还公开了一种胃部消化道下手术器械追踪和实时预警的系统，其包括：

图像预处理模块，对获取的单目内窥镜术中实时影像进行图像预处理，将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，得到几乎不受畸变影响的图像，最后进行图像裁剪保留图像器械夹持软组织的主要区域，获得可直接处理的核心视频图像信息。

手术器械识别与分割模块，利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助先验信息和算法确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。

手术器械追踪预警模块，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。

所述手术器械识别与分割包括器械末端推理模块，所述器械末端推理模块采用如下步骤进行确定器械末端：

在输入为手术器械最小外接矩形四个端点(p₀,p₁,p₂,p₃)时，取任意邻边的欧拉距离进行比较，若ED(p₀,p₃)<ED(p₀,p₁)，则确定最小外接矩形短边为(p₀,p₃)和(p₁,p₂)；考虑两条短边中点到图像中点的距离，如果有ED(mid(p₀,p₃),O_c)<ED(mid(p₁,p₂),O_c)，则确定器械末端短边为中点为(p₀,p₃)，对应器械末端点为短边中点mid(p₀,p₃)；反之，其他三种情况可以同理推得器械末端位置。

本实施例的系统在具体应用时，可以先通过在动物离体的胃消化道下构建视频数据集，通过在相关视频进行HSV颜色分割等操作，完成手术器械的识别过程；同时将二维视频数据进行标尺变换，基于光流追踪得到实时器械的运动位移和状态，并定量分析了软组织的综合形变，最终设定阈值以达到预警功能，实现了对手术器械和软组织交互的实时状态追踪与预警。

本发明还公开了一种设备，其包括相连的处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序，以执行如上任一项所述的胃部消化道下手术器械追踪和实时预警的方法。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在计算机上运行时，以执行如上任一项所述的胃部消化道下的手术器械追踪和实时预警的方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。