阅读说明：本技术 可见光和近红外荧光3d融合图像内窥镜系统 (Visible light and near-infrared fluorescence 3D fusion image endoscope system ) 是由 史成勇 张红鑫 王泰升 于 2019-12-19 设计创作，主要内容包括：本发明涉及一种可见光和近红外荧光3D融合图像内窥镜系统,属于内窥镜成像系统技术领域。解决了如何实现可见光彩色3D图像和近红外荧光3D图像的同时获取和显示的问题。本发明的3D融合图像内窥镜系统,包括可见光近红外激发光源、双目内窥成像系统、分束镜、可见光成像子系统、近红外荧光成像子系统、图像处理融合模块和3D图像显示系统。该3D融合图像内窥镜系统通过分束镜把双目内窥成像系统所成的双目图像分成两路,分别获取可见光彩色3D图像信息和近红外荧光3D图像信息,实现可见光彩色3D图像和近红外荧光3D图像的实时同时获取,经过适当的图像处理和融合,最终实现可见光彩色3D图像和近红外荧光3D图像的实时同时显示。(The invention relates to a visible light and near-infrared fluorescence 3D fusion image endoscope system, and belongs to the technical field of endoscope imaging systems. The problem of how to realize acquireing simultaneously and showing of visible light colour 3D image and near-infrared fluorescence 3D image is solved. The 3D fusion image endoscope system comprises a visible light near-infrared excitation light source, a binocular endoscopic imaging system, a beam splitter, a visible light imaging subsystem, a near-infrared fluorescence imaging subsystem, an image processing fusion module and a 3D image display system. The 3D fusion image endoscope system divides binocular images formed by the binocular endoscopic imaging system into two paths through the beam splitter, respectively acquires visible light color 3D image information and near infrared fluorescence 3D image information, realizes real-time simultaneous acquisition of the visible light color 3D images and the near infrared fluorescence 3D images, and finally realizes real-time simultaneous display of the visible light color 3D images and the near infrared fluorescence 3D images through proper image processing and fusion.)

可见光和近红外荧光3D融合图像内窥镜系统

技术领域

本发明属于内窥镜成像系统技术领域，具体涉及一种可见光和近红外荧光3D融合图像内窥镜系统，该内窥镜系统尤其适用于手术导航。

背景技术

在临床外科手术中，如何准确判断肿瘤组织边缘进行精准的组织切除是手术成功与否的关键。当前的手术中，主要还是依靠医生的人眼判断，这需要医生有充足的经验，故对医生自身条件要求很高。虽然现有的2D图像内窥镜系统可以进行肿瘤组织边缘的实时显示，但是该类内窥镜系统不能实现可见光和近红外荧光的同时显示，需要进行工作状态的切换，为手术流程带来了不便，延长了手术时间。

另外，随着内窥成像技术的发展，3D内窥成像逐渐成为微创手术中不可或缺的器械。3D内窥成像相比现有2D内窥镜，可以获取场景的深度信息，更能反映场景真实情况，使医生“身临其境”般感受到手术部位的状况，从而更好地掌控手术流程。

但是，现有技术中没有能够实现可见光和近红外荧光3D图像的同时获取和显示的内窥镜系统。

发明内容

为了解决现有技术中存在的技术问题，实现可见光和近红外荧光3D图像的同时获取和显示，本发明提出一种可见光和近红外荧光3D融合图像内窥镜系统。

本发明解决上述技术问题采取的技术方案如下。

可见光和近红外荧光3D融合图像内窥镜系统，包括可见光近红外激发光源、双目内窥成像系统、分束镜、可见光成像子系统、近红外荧光成像子系统、图像处理融合模块和3D图像显示系统；

所述可见光近红外激发光源为双目内窥成像系统同时提供可见光照明和近红外荧光激发光照明；

所述双目内窥成像系统采集具有水平视差的双目图像；

所述分束镜将双目图像分成两束，一束进入可见光成像子系统，另一束进入近红外荧光成像子系统；

所述可见光成像子系统把经分束镜入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块；

所述近红外荧光成像子系统把经分束镜入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块；

所述图像处理融合模块将可见光成像子系统输出的数字图像和近红外荧光成像子系统输出的数字图像分别进行预处理，将预处理后的可见光成像子系统输出的数字图像和近红外荧光成像子系统输出的数字图像进行图像融合，得到的3D融合图像，并对得到的3D融合图像进行3D编码后传输至3D图像显示系统；

所述3D图像显示系统将接收的3D编码显示为3D图像。

进一步的，所述可见光近红外激发光源为集成了可见光冷光源和近红外荧光激发光源的光源，可见光冷光源的工作波段为400-700nm，近红外荧光激发光源为785nm激光。

进一步的，所述双目内窥成像系统的工作波段为400-1000nm。

进一步的，所述双目内窥成像系统包括镜体外管、第二光纤、镜体内管、第一固定件和单管内窥镜；第一固定件为圆柱体，第一固定件上设有两个轴向通孔，在第一固定件的径向横截面上，两个轴向通孔相对于径向横截面的圆心中心对称；镜体内管和镜体外管从内至外依次套装在第一固定件外，且三者同轴设置，镜体内管的内壁固定在第一固定件的外壁上；第二光纤为多根，固定在镜体内管的外壁和镜体外管的内壁之间，且第二光纤的长度方向沿第一固定件轴向设置；单管内窥镜为两个，分别固定在第一固定件的两个轴向通孔内，单管内窥镜的工作波段为400-1000nm；镜体外管、第二光纤、镜体内管、第一固定件和单管内窥镜的后端水平对齐，前端位于同一个面上。

更进一步的，该3D共成像内窥镜系统还包括第一光纤，镜体外管的后部的外壁上设有第一连接通孔，第一光纤的一端连接可见光近红外激发光源，另一端穿过第一连接通孔，与第二光纤连接。

再进一步的，该3D共成像内窥镜系统还包括第二固定件，第二固定件为筒状结构，套装并固定在双目内窥成像系统后部的外壁外，第二固定件上设有与第一连接孔配合的第二连接孔，第一光纤的另一端依次穿过在第二连接孔和第一连接通孔，与第二光纤连接。

进一步的，所述分束镜为全波段半反半透镜，反射光进入近红外荧光成像子系统，透射光进入可见光成像子系统。

进一步的，所述分束镜为400-700nm透射800-1000nm反射的分束镜，或者为400-700nm反射800-1000nm透射的分束镜，400-700nm波段的分束光进入可见光成像子系统，800-1000nm波段的分束光进入近红外荧光成像子系统。

进一步的，所述可见光成像子系统的工作波段在400-700nm；包括可见光中继光学系统和可见光彩色探测器，可见光中继光学系统把经分束镜入射的双目图像中的可见光信息成像到可见光彩色探测器上，可见光彩色探测器将接收的可见光中继光学系统的像采样为数字图像，并传输至图像处理融合模块。

进一步的，所述近红外荧光成像子系统的工作波段在800-1000nm，包括近红外中继光学系统和近红外荧光探测器，近红外中继光学系统把经分束镜入射的双目图像中的近红外荧光信息成像到近红外荧光探测器上，近红外荧光探测器将接收的近红外中继光学系统的像采样为数字图像，并传输至图像处理融合模块。

进一步的，所述3D图像显示系统为偏振3D显示器、3D头盔眼镜或快门式3D显示器。

与现有技术相比，本发明的有益效果为：

本发明的可见光和近红外荧光3D融合图像内窥镜系统，通过分束镜把双目内窥成像系统所成的双目图像分成两路，分别获取可见光彩色3D图像信息和近红外荧光3D图像信息，实现可见光彩色3D图像和近红外荧光3D图像的同时实时获取，经过适当的图像处理和融合，最终实现可见光彩色3D图像和近红外荧光3D图像的实时同时显示。

本发明的可见光和近红外荧光3D融合图像内窥镜系统，无需工作状态切换，确保手术流程的连贯并提供实时有效的手术部位三维信息和荧光标记信息，帮助医生准确判断肿瘤组织边缘，辅助医生更好的掌控手术流程和对肿瘤组织的识别、切除，极大地提高肿瘤组织诊断识别率和切除手术的成功率，且不影响手术流程。

附图说明

为了更清楚地说明本发明

具体实施方式

中的技术方案，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些具体实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的可见光和近红外荧光3D融合图像内窥镜系统的结构示意图；

图2为本发明的可见光和近红外荧光3D融合图像内窥镜系统中双目内窥成像系统的俯视图；

图3为本发明的可见光和近红外荧光3D融合图像内窥镜系统的分束镜工作原理图，(a)为全波段半反半透，(b)为400-700nm透射，800-1000nm反射；

图4为本发明的可见光彩色探测器/近红外荧光探测器接收的双目图像的示意图(两个探测器接收双目图像模式相同)；

图中，1、可见光近红外激发光源，2、双目内窥成像系统，2-1、镜体外管，2-2、第二光纤，2-3、镜体内管，2-4、第一固定件，2-5、单管内窥镜，3、分束镜，4、可见光成像子系统，5、近红外荧光成像子系统，6，图像处理融合模块，7、3D图像显示系统，8、第二固定件，9、第一光纤。

具体实施方式

以下结合附图进一步说明本发明的技术方案。

如图1所示，本发明的可见光和近红外荧光3D融合图像内窥镜系统，包括可见光近红外激发光源1、双目内窥成像系统2、分束镜3、可见光成像子系统4、近红外荧光成像子系统5、图像处理融合模块6、3D图像显示系统7、第二固定件8和第一光纤9。双目内窥成像系统2为内窥镜系统的主体部分，可见光近红外激发光源1、分束镜3、可见光成像子系统4、近红外荧光成像子系统5、图像处理融合模块6和3D图像显示系统7为内窥镜系统的***设备。

上述内窥镜系统中，可见光近红外激发光源1为集成了可见光冷光源和近红外荧光激发光源的光源。可见光冷光源的工作波段为400-700nm，近红外荧光激发光源为785nm激光。可见光近红外激发光源1可通过本领域技术人员熟知方式获得。可见光近红外激发光源1为双目内窥成像系统2同时提供可见光照明和近红外荧光激发光照明。

上述内窥镜系统中，双目内窥成像系统2包括镜体外管2-1、第二光纤2-2、镜体内管2-3、第一固定件2-4和单管内窥镜2-5。第一固定件2-4为圆柱体，第一固定件2-4上设有两个轴向通孔，两个轴向通孔的内径分别与两个单管内窥镜2-5的外径尺寸配合，在第一固定件2-4的径向横截面上，两个轴向通孔相对于径向横截面的圆心中心对称；第一固定件2-4可以为一体结构，也可由多个结构组装而成。镜体内管2-3和镜体外管2-4从内至外依次套装在第一固定件2-4外，且三者同轴设置，镜体内管2-3的内壁通过胶水黏贴固定在第一固定件2-4的外壁上，镜体内管2-3的外壁和镜体外管2-1的内壁之间存在间隙。第二光纤2-2为多根，可根据实际需要设置；第二光纤2-2通过光纤固定胶水固定在镜体内管2-3的外壁和镜体外管2-1的内壁之间，且第二光纤2-2的长度方向沿第一固定件2-4的轴向设置。单管内窥镜2-5为两个，两个单管内窥镜2-5分别固定在第一固定件2-4的两个轴向通孔内。镜体外管2-1、第二光纤2-2、镜体内管2-3、第一固定件2-4和单管内窥镜2-5的后端水平对齐，前端位于同一个面上；该面没有特殊限制，可以为水平面也可以为斜面，该面与双目内窥成像系统2所成角度通常在0-90度，如0度、30度、90度。镜体外管2-1的材料为生物兼容性钢材，可直接接触人体。两个单管内窥镜2-5分别采集单目图像，进而实现双目内窥成像系统2像人眼一样，采集两幅具有水平视差的图像，称为双目图像。两个单管内窥镜2-5的参数必须尽可能相同，以获取两幅不同视角但倍率相同的图像。为了同时采集可见光和近红外荧光3D图像，两个单管内窥镜2-5的工作波段均在400-1000nm，通过对单管内窥镜2-5的光学镜组镀可见和近红外增透膜可以实现同时通过可见光和近红外荧光激发光。单管内窥镜2-5的类型没有特殊限制，可以采用柱镜组成的硬杆内窥镜，也可以是其他类型的内窥镜，如柔性光纤内窥镜等。

上述内窥镜系统中，分束镜3将双目内窥成像系统2的双目图像分成两束，一束进入可见光成像子系统4，另一束进入近红外荧光成像子系统5。分束镜3为半反半透镜；分束镜3可以为全波段半反半透镜，一般透射光进入可见光成像子系统4，反射光进入近红外荧光成像子系统5，如图3中(a)所示，全波段分束后，在可见光成像子系统4和近红外荧光成像子系统5中需要滤光片选择出所需成像波段，分别为400-700nm和800-1000nm；也可以为不同波段分束镜，如为400-700nm透射(反射)，800-1000nm反射(透射)，400-700nm波段的分束光进入可见光成像子系统4，800-1000nm波段的分束光进入近红外荧光成像子系统5，如图3中(b)所示；不同波段分束后，在可见光成像子系统4和近红外荧光成像子系统5中则无需再进行波段的选择，只需根据各自工作波段设计即可。

上述内窥镜系统中，可见光成像子系统4和近红外荧光成像子系统5均与图像处理融合模块6连接。可见光成像子系统4的工作波段在400-700nm；可见光成像子系统4把经分束镜3入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块6。近红外荧光成像子系统5的工作波段在800-1000nm，且能够滤除785nm波段激光干扰；近红外荧光成像子系统5把经分束镜3入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块6。具体的，可见光成像子系统4可以包括可见光中继光学系统和可见光彩色探测器，可见光中继光学系统把经分束镜3入射的双目图像中的可见光信息成像到可见光彩色探测器上，可见光彩色探测器将接收的可见光中继光学系统的像采样为数字图像，并传输至图像处理融合模块6；近红外荧光成像子系统5包括近红外中继光学系统和近红外荧光探测器，近红外中继光学系统把经分束镜入射的双目图像中的近红外荧光信息成像到近红外荧光探测器上，近红外荧光探测器将接收的近红外中继光学系统的像采样为数字图像，并传输至图像处理融合模块6。可见光探测器和近红外荧光探测器均采用单个探测器接收具有水平视差的双目图像，如图4所示，从而缩小系统体积减小了系统复杂度。可见光成像子系统4和近红外荧光成像子系统5均可通过本领域技术人员熟知方式获得。

上述内窥镜系统中，图像处理融合模块6与3D图像显示系统7连接，图像处理融合模块6将可见光成像子系统4和近红外荧光成像子系统5输出的数字图像进行预处理(彩色校正和伪彩处理)，并将预处理后的可见光成像子系统4输出的数字图像和近红外荧光成像子系统5输出的数字图像进行图像融合，得到一幅既包含可见光彩色信息又包含近红外荧光信息的3D融合图像，对3D融合图像进行3D编码后，传输至3D图像显示系统7。图像处理融合模块6也可通过本领域技术人员熟知方式实现，其硬件部分可以采用工控机或嵌入式主板等，软件部分为图像融合算法程序。

上述内窥镜系统中，3D图像显示系统7将接收的3D编码显示成3D图像。3D图像显示系统7是指可以提供给使用者3D感觉的显示器，可以是偏振3D显示器、快门式3D显示器、3D头盔眼睛以及其他裸眼3D显示设备等。

本发明的可见光和近红外荧光3D融合图像内窥镜系统可用于医生临床手术实时检测和导航，也可以集成到手术机器人中用于手术导航。本发明的可见光和近红外荧光3D融合图像内窥镜系统的工作过程为，在可见光近红外激发光源1的照射下，双目内窥成像系统2采集两幅具有水平视差的图像(即双目图像)；分束镜3将双目图像分成两束，一束进入可见光成像子系统4，另一束进入近红外荧光成像子系统5，可见光成像子系统4把经分束镜3入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块6，近红外荧光成像子系统5把经分束镜3入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块6，图像处理融合模块6将可见光成像子系统4和近红外荧光成像子系统5输出的数字图像进行预处理(彩色校正和伪彩处理)、图像融合以及3D编码后，传输至3D图像显示系统7，3D图像显示系统7将接收的3D编码显示为3D图像。