阅读说明：本技术 基于三维重建的智能腹腔镜超视距术野导航系统 (Intelligent laparoscope over-the-horizon surgical field navigation system based on three-dimensional reconstruction ) 是由 汪涌 于 2020-05-02 设计创作，主要内容包括：本发明涉及医疗领域,尤其涉及基于三维重建的智能腹腔镜超视距术野导航系统。该系统包含操作部分、中控部分和图像显示部分,其中的操作部分和图像显示部分通信连接着中控部分,还包含信息综合导航部分,所述的信息导航部分包含三维成型定位系统和图像或者视频自动分析预警部分；达芬奇手术机器人或者是腹腔镜操作系统的操作部分的长度是一定的,在其进入肾脏的过程中,不断通过操作部分进入的距离长短,结合测算肾脏动脉、肾脏静脉以及输尿管的长度以及宽度来判断操作部分的头部,达芬奇手术机器人或者是腹腔镜操作系统端部的成像系统同时进行清晰的术野图像提供；根据判断的位置,实时在图像上显示操作头的位置。(The invention relates to the field of medical treatment, in particular to an intelligent laparoscope beyond-the-sight surgical field navigation system based on three-dimensional reconstruction. The system comprises an operation part, a central control part and an image display part, wherein the operation part and the image display part are in communication connection with the central control part, and the system also comprises an information comprehensive navigation part, and the information navigation part comprises a three-dimensional forming positioning system and an image or video automatic analysis early warning part; the length of the operation part of the DaVinci surgical robot or the laparoscope operation system is fixed, in the process of entering the kidney, the head of the operation part is judged by measuring and calculating the length and the width of the renal artery, the renal vein and the ureter continuously through the entering distance of the operation part, and the imaging system at the end part of the DaVinci surgical robot or the laparoscope operation system simultaneously provides a clear operation field image; and displaying the position of the operating head on the image in real time according to the judged position.)

基于三维重建的智能腹腔镜超视距术野导航系统

技术领域

本发明涉及医疗领域，尤其涉及基于三维重建的智能腹腔镜超视距术野导航系统。

背景技术

泌尿外科是专门研究男女泌尿系统与男性生殖系统的一门医学，是从外科学细分而来的下属专科，其治疗范围包括各种尿结石和复杂性肾结石；肾脏和膀胱肿瘤；前列腺增生和前列腺炎；睾丸附睾的炎症和肿瘤；睾丸精索鞘膜积液；各种泌尿系损伤；泌尿系先天性畸形，如尿道下裂、隐睾、肾盂输尿管连接部狭窄所导致的肾积水等。

达芬奇机器人手术系统以麻省理工学院(原名斯坦福研究学院)研发的机器人外科手术技术为基础。Intuitive Surgical随后与IBM、麻省理工学院和Heartport公司联手对该系统进行了进一步开发。FDA已经批准将达芬奇机器人手术系统用于成人和儿童的普通外科、胸外科、泌尿外科、妇产科、头颈外科以及心脏手术。达芬奇外科手术系统是一种高级机器人平台，其设计的理念是通过使用微创的方法，实施复杂的外科手术。

简单地说，达芬奇机器人就是高级的腹腔镜系统。大家可能对现在流行的微创治疗手段如：胸腔镜、腹腔镜、妇科腔镜等有所了解，达芬奇机器人进行手术操作的时候也需要机械臂穿过胸部、腹壁。

腹腔镜与电子胃镜类似，是一种带有微型摄像头的器械，腹腔镜手术就是利用腹腔镜及其相关器械进行的手术。

目前的问题是：术野非常复杂，虽然有精度很高的装置，但是还是需要大夫进行手动操作，而人体非常复杂，比如，肾脏中包含多个间隙可能存在结石，而术野中位置无法确定，有时容易遗漏，尤其是不同人的肾脏形状还可能不一致。

发明内容

发明的目的：为了提供一种效果更好的三维重建的智能腹腔镜超视距术野导航系统，具体目的见具体实施部分的多个实质技术效果。

为了达到如上目的，本发明采取如下技术方案：

基于三维重建的智能腹腔镜超视距术野导航系统，其特征在于，该系统包含操作部分、中控部分和图像显示部分，其中的操作部分和图像显示部分通信连接着中控部分，还包含信息综合导航部分，所述的信息导航部分包含三维成型定位系统和图像或者视频自动分析预警部分；所述的三维成型定位系统能够收集目标肾脏的CT模型信息，在CT模型信息中能显示肾脏的基本形状和主要动脉血管信息，其还包含对CT图像进行距离分析的步骤，即其在建立好的三维模型中，测算肾脏动脉、肾脏静脉以及输尿管的长度以及宽度；所述的图像或者视频自动分析预警部分包含对术野图像进行分析的步骤，术野图像进行分析的步骤采用如下方法：标定重点区域划定范围，所述的重点区域包含肾脏动脉、肾脏静脉以及输尿管，在该图像区域划定安全范围，该范围是距离含肾脏动脉、肾脏静脉以及输尿管为N厘米；所述的术野图像分析能够实时显示到显示屏上；所述的操作部分为达芬奇手术机器人或者是腹腔镜操作系统；由于达芬奇手术机器人或者是腹腔镜操作系统的操作部分的长度是一定的，在其进入肾脏的过程中，不断通过操作部分进入的距离长短，结合测算肾脏动脉、肾脏静脉以及输尿管的长度以及宽度来判断操作部分的头部，达芬奇手术机器人或者是腹腔镜操作系统端部的成像系统同时进行清晰的术野图像提供；根据判断的位置，实时在图像上显示操作头的位置。

本发明进一步技术方案在于，当操作部分为腹腔镜的时候，镜子直接在输尿管中运行，一旦镜子的管道逐渐接近安全区域的边界，则进行报警；如果是达芬奇手术机器人的时候，当手术操作臂接近安全区域的时候，则语音提醒接近重要部位，注意操作。

本发明进一步技术方案在于，还包含术野突发情况的判断方式，其包含的步骤是，图像或者视频自动分析预警部分中突然出现大量红色区域，怎判定可能是大出血，进行警示，警示的方式是语音报警或者声光报警。

本发明进一步技术方案在于，还包含造影剂定位的步骤，在操作部分上依附有造影剂密封管道，在手术中，不定期通过造影装置对造影剂进行位置确定，辅助确定操作头的位置。

本发明进一步技术方案在于，所述的造影装置悬吊在手术台上方，其安装在支架上并可以被移动开。

本发明进一步技术方案在于，在图像或者视频自动分析预警部分还包含根据判断的位置实时将距离目标操作位置的具体距离进行播报的步骤，即，现在图像或者视频中在画面中显示其和具体的目标操作位置的动态距离，所述的目标操作位置为在图像或者视频中划定的病灶区域或者检查区域，该播报的信息能够随时提醒操作者。

本发明进一步技术方案在于，图像或者视频自动分析预警部分中采用图像分析的方式进行。

本发明进一步技术方案在于，图像或者视频自动分析预警部分中还包含形态初分析的步骤，将术野中的异常凸起学习判定为疑似肿瘤，提醒操作者进一步实施。

本发明进一步技术方案在于，所述的学习判定，是指让图像或者视频自动分析预警部分识别N组以上的肿瘤形态，包含肿瘤形态和肿瘤表面纹理，将学习到的部分内容转化为图片和数据进行存储，在操作的过程中自动比对，发现异常相似的位置进行提醒。

采用如上技术方案的本发明，相对于现有技术有如下有益效果：A.解决的技术问题是，现在即便是达芬奇手术机器人，操作也需要医师的熟练操作和人为技巧，本专利开创性利用图像、距离、三维建模进行位置精确控制；B.能够利用图像分析和数据分析，价格重点部位在图像上表示出来，并随时判断操作部分和该部分的距离以及位置，并进行报警;C.开创性对获得的手术资料的图像进行即时分析，用以量化手术操作的风险和过程；D.在复杂的人体腔道和器官中，比如复杂的肾脏内环境中，精确定位，不至于因为术野纷繁丢掉部分结石等，因为操作不会“迷路”。

附图说明

为了进一步说明本发明，下面结合附图进一步进行说明：

图1为肾脏结构示意图；

图2为术野之一示意图；

图3为造影图像部分的示意图；

图4为三维造影图像部分的示意图；

图5为手术操作术野示意图；

图6为手术床周边实现示意图；

图7为造影剂依附于操作部分的实现图之一；

其中：1.肾脏；2.髓质；3.肾盂；4.间隙；5肾盏；6.输尿管；7.操作部分；8.安全区域；9.边侧支架；10.显示屏；11.支架；12.造影剂成像扫描装置；13.造影剂封装密封细管；14.操作头；15.手术床;16.变动数据显示。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本专利提供多种并列方案，不同表述之处，属于基于基本方案的改进型方案或者是并列型方案。每种方案都有自己的独特特点。

基于三维重建的智能腹腔镜超视距术野导航系统，其特征在于，该系统包含操作部分、中控部分和图像显示部分，其中的操作部分和图像显示部分通信连接着中控部分，还包含信息综合导航部分，所述的信息导航部分包含三维成型定位系统和图像或者视频自动分析预警部分；所述的三维成型定位系统能够收集目标肾脏的CT模型信息，在CT模型信息中能显示肾脏的基本形状和主要动脉血管信息，其还包含对CT图像进行距离分析的步骤，即其在建立好的三维模型中，测算肾脏动脉、肾脏静脉以及输尿管的长度以及宽度；所述的图像或者视频自动分析预警部分包含对术野图像进行分析的步骤，术野图像进行分析的步骤采用如下方法：标定重点区域划定范围，所述的重点区域包含肾脏动脉、肾脏静脉以及输尿管，在该图像区域划定安全范围，该范围是距离含肾脏动脉、肾脏静脉以及输尿管为N厘米；所述的术野图像分析能够实时显示到显示屏上；所述的操作部分为达芬奇手术机器人或者是腹腔镜操作系统；由于达芬奇手术机器人或者是腹腔镜操作系统的操作部分的长度是一定的，在其进入肾脏的过程中，不断通过操作部分进入的距离长短，结合测算肾脏动脉、肾脏静脉以及输尿管的长度以及宽度来判断操作部分的头部，达芬奇手术机器人或者是腹腔镜操作系统端部的成像系统同时进行清晰的术野图像提供；根据判断的位置，实时在图像上显示操作头的位置。本处的技术方案所起到的实质的技术效果及其实现过程为如下任意之一：A.解决的技术问题是，现在即便是达芬奇手术机器人，操作也需要医师的熟练操作和人为技巧，本专利开创性利用图像、距离、三维建模进行位置精确控制；B.能够利用图像分析和数据分析，价格重点部位在图像上表示出来，并随时判断操作部分和该部分的距离以及位置，并进行报警;C.开创性对获得的手术资料的图像进行即时分析，用以量化手术操作的风险和过程；D.在复杂的人体腔道和器官中，比如复杂的肾脏内环境中，精确定位，不至于因为术野纷繁丢掉部分结石等，因为操作不会“迷路”。

当操作部分为腹腔镜的时候，镜子直接在输尿管中运行，一旦镜子的管道逐渐接近安全区域的边界，则进行报警；如果是达芬奇手术机器人的时候，当手术操作臂接近安全区域的时候，则语音提醒接近重要部位，注意操作。本处的技术方案所起到的实质的技术效果及其实现过程为如下：因为人体结构复杂，医生操心很多，通过语音提示，能警示一些重要部分。

作为更进一步的优选，当操作头进入安全区域后，中控系统强制当机询问是否继续，比如图5中，当操作部分足够接近安全区域8的时候，强制停止机械臂运动，显示界面询问是否确定继续运行，将操作权交给人类，同时进行强制止损确认，该方法碰到大动脉之类的手术事故。

还包含术野突发情况的判断方式，其包含的步骤是，图像或者视频自动分析预警部分中突然出现大量红色区域，怎判定可能是大出血，进行警示，警示的方式是语音报警或者声光报警。本处的技术方案所起到的实质的技术效果及其实现过程为如下：原来的技术中根本没有该种方式的实现，图像或者视频自动分析预警部分中采用图像分析的方式进行。毫无疑问，图像分析属于成熟的技术，包含但是不限于颜色分析、像素分析、颜色分析、像素分隔技术等。本处的判断是，术野中突然出现大量红色的像素，则判定为可能大出血。避免医生误判。

还包含造影剂定位的步骤，在操作部分上依附有造影剂密封管道，在手术中，不定期通过造影装置对造影剂进行位置确定，辅助确定操作头的位置。本处的技术方案所起到的实质的技术效果及其实现过程为如下：结合图6和图7，造影剂通过密封的方式，能使得手臂操作的时候也能够判定距离，需要说明的是，该种判定方式属于辅助，用以多渠道验证距离。以内窥镜目视镜作为主要的基础。所述的造影装置悬吊在手术台上方，其安装在支架上并可以被移动开。

在图像或者视频自动分析预警部分还包含根据判断的位置实时将距离目标操作位置的具体距离进行播报的步骤，即，现在图像或者视频中在画面中显示其和具体的目标操作位置的动态距离，所述的目标操作位置为在图像或者视频中划定的病灶区域或者检查区域，该播报的信息能够随时提醒操作者。本处的技术方案所起到的实质的技术效果及其实现过程为如下：结合图5，其中显示的是动态距离，如果安全区域8为病灶，则有更好的指示作用。

图像或者视频自动分析预警部分中还包含形态初分析的步骤，将术野中的异常凸起学习判定为疑似肿瘤，提醒操作者进一步实施。所述的学习判定，是指让图像或者视频自动分析预警部分识别N组以上的肿瘤形态，包含肿瘤形态和肿瘤表面纹理，将学习到的部分内容转化为图片和数据进行存储，在操作的过程中自动比对，发现异常相似的位置进行提醒。本处的技术方案所起到的实质的技术效果及其实现过程为如下：该技术毫无疑问属于现有技术，属于图像相似度识别，但是其根本没有在内窥镜下使用。

开创性地，以上各个效果独立存在，还能用一套结构完成上述结果的结合。

以上结构实现的技术效果实现清晰，如果不考虑附加的技术方案，本专利名称还可以是一种新型手术系统。图中未示出部分细节。

需要说明的是，本专利提供的多个方案包含本身的基本方案，相互独立，并不相互制约，但是其也可以在不冲突的情况下相互组合，达到多个效果共同实现。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的范围内。