阅读说明：本技术 一种用于远程手术指导和示教的系统及方法 (System and method for remote operation guidance and teaching ) 是由 周超 何鹏飞 于 2020-06-10 设计创作，主要内容包括：本发明公开了一种用于远程手术指导和示教的系统及方法,包括手术室子系统、服务器和示教子系统；手术室子系统包括多路图像采集模块和图像处理模块；图像处理模块根据设定的画面拼接布局信息将多路视频信息拼接整合成为一路视频信息然后输出,经服务器发送给示教子系统；服务器包括信令服务单元以及流媒体服务单元；信令服务单元用于处理各子系统的注册、通话控制、画面拼接布局控制和标记同步控制；流媒体服务单元用于音视频编码数据的转发处理；将整合后的视频信息经服务器发送给所述示教子系统,如此实现一路视频传输多路视频信息,大大减小了传输所需要带宽,从而节约了成本。(The invention discloses a system and a method for remote operation guidance and teaching, which comprises an operating room subsystem, a server and a teaching subsystem; the operating room subsystem comprises a multi-path image acquisition module and an image processing module; the image processing module splices and integrates multiple paths of video information into one path of video information according to the set picture splicing layout information, then outputs the video information and sends the video information to the teaching subsystem through the server; the server comprises a signaling service unit and a streaming media service unit; the signaling service unit is used for processing registration, call control, picture splicing layout control and mark synchronization control of each subsystem; the streaming media service unit is used for forwarding and processing the audio and video coding data; the integrated video information is sent to the teaching subsystem through the server, so that one path of video transmission multi-path video information is realized, the bandwidth required by transmission is greatly reduced, and the cost is saved.)

一种用于远程手术指导和示教的系统及方法

技术领域

本发明医疗远程手术媒体信息交互领域，具体涉及一种用于远程手术指导和示教的系统及方法。

背景技术

传统的手术教学、手术指导，需要相应人员现场观摩、交流，而狭窄的手术室空间必然会限制观摩人员的数量，对手术感染率也会带来负面影响。随着音视频编码、网络通信等技术的发展，医疗行业的信息化水平不断提高，更多的使用实时音视频转播与网络通话技术来进行手术指导与示教，将手术室视频通过网络传输出去，提高了效率。

手术端传输音视频需要较大的上传带宽：专家端或示教端在观看手术影像时，往往需要同时观看多路视频图像，比如术野图像、腔镜图像、全景图像，并且每一路图像分辨率高达1080P，以一个[email protected]的全高清视频为例，一般需要5Mbps的上传带宽，3路图像则需要15Mbps的上传带宽，在局域网尚可，而在互联网上，一般会选择专线网络，大大增加成本。

手术指导与示教时，遇到患者特殊部位：比如肿瘤等，一般以语音、文字的方式说明，不能直接的在视频中标识。

发明内容

本发明提供了一种用于远程手术指导和示教的系统及方法，解决目前手术示教中视频路数多，实时传输时需要提高要求，高带宽的网络环境，成本高昂的问题。

本发明所采用的技术方案为：

在第一方面，本发明提供了一种用于远程手术指导和示教的系统，包括手术室子系统、服务器和示教子系统；

所述手术室子系统包括多路图像采集模块和图像处理模块；所述图像处理模块接收图像采集模块传来的多路视频信息；所述图像处理模块根据设定的画面拼接布局信息将多路视频信息拼接整合成为一路视频信息然后输出；整合后的视频信息经服务器发送给所述示教子系统；

采用以上技术，通过手术室子系统中的图像处理模块将多路视频信息拼接整合成为一路视频信息然后输出，将整合后的视频信息经服务器发送给所述示教子系统，如此实现一路视频传输多路视频信息，大大节约了传输带宽，节约了成本；另外，在图形整合时根据设定的画面拼接布局信息来拼接整合，实现拼接图像的可调整性，大大增加了该系统的实用性；另外，通过信令服务单元进行各个子系统的管理注册，再通过该服务器进行通话控制、画面拼接布局控制和标记同步控制，实现子系统的对接控制，实现该系统的开放性，由此，解决目前手术示教中视频路数多，实时传输时需要提高要求，大带宽的网络环境，成本高昂的问题，其次，该系统也同时具有开放性，可调性，其实用性强。

在一种可能的设计中，所述服务器包括信令服务单元以及流媒体服务单元；信令服务单元用于处理各子系统的注册、通话控制、画面拼接布局控制和标记同步控制；流媒体服务单元用于音视频编码数据的转发处理。

所述手术室子系统还包括第一信令模块和第一编解码模块；

所述第一信令模块用于与信令服务单元交互流媒体控制信息，所述流媒体控制信息包括通话控制信息、画面拼接布局信息和标记信息；所述图像处理模块根据第一信令模块的画面拼接布局信息进行画面拼接整合调整；图像处理模块根据第一信令模块的标记信息将标记整合在整合后的视频信息中；

第一编解码模块用于将图像处理模块输出的图像进行编码发送到流媒体服务单元，将音频进行编码发送到流媒体服务单元；第一编解码模块还用于解码从服务器端获取的音频信息和视频信息，然后输出解码后的音频信息和视频信息到多媒体播放终端。

在一种可能的设计中，所述示教子系统包括第二信令模块以及第二编解码模块；

所述第二信令模块用于与信令服务单元交互流媒体控制信息，通过信令服务单元与手术室子系统进行通话控制、同步画面拼接布局信息以及同步标记信息；

第二编解码模块也用于解码从流媒体服务单元获取的音频信息和视频信息，然后输出解码后的音频信息和视频信息到多媒体播放终端。

在一种可能的设计中，所述示教子系统还包括影音录入设备，第二编解码模块将影音录入设备采集的音频信息和视频信息进行编码，发送到流媒体服务单元。

在一种可能的设计中，所述手术室子系统的图像采集模块包括全景摄像机、术野摄像机、腔镜摄像机、监护仪和超声波设备中的一种或多种。

在第二方面，本发明提供了一种用于远程手术指导和示教的方法，包括：手术室子系统通过第一信令模块或示教子系统通过第二信令模块发起示教；

双方接受示教后，第二信令模块将示教子系统的第二显示屏的分辨率通过信令服务单元发送到第一信令模块；

第一信令模块根据第二显示屏的分辨率、用户设置的拼接分辨率与手术图像分辨率，计算出拼接画面的建议分辨率，并分配一个默认的画面布局样式，启动画面拼接；

第一信令模块将当前采用的画面布局样式信息通过服务器的信令服务单元发送到第二信令模块，实现信令同步；

第一信令模块启动手术室子系统中第一编解码模块，第二信令模块启动示教子系统的第二编解码模块，

第一编解码模块将音频信息和拼接后的视屏信息通过服务器的流媒体服务单元发送给第二编解码模块；第一编解码模块同时解码从流媒体服务单元获取的音频信息和视频信息，然后进行播放；

第二编解码模块将示教子系统录入的视频信息和音频信息进行编码，通过流媒体服务单元发送给第一编解码模块，第二编解码模块同时解码从流媒体服务单元获取的音频信息和视频信息，然后进行播放。

在一种可能的设计中，第一信令模块根据第二显示屏的分辨率、用户设置的拼接分辨率与手术图像分辨率，计算出拼接画面建议分辨率的方法如下：

获取手术影像的所有分辨率，设获取的分辨率的数目有N个，计算出建议使用的拼接画面分辨率，

a.若N＝1，则建议分辨率为第二显示屏的分辨率与手术影像分辨率中的小者，否则进入b；

b.若第二显示屏的分辨率≤1080P，则建议分辨率为第二显示屏的分辨率，否则进入c；

c.对N个分辨率中的最大分辨率、1080P以及第二显示屏的分辨率进行大小排序，在这些分辨率中取排序在中间的分辨率值作为建议分辨率。

在一种可能的设计中，所述第一信令模块和第二信令模块预设有多种画面布局样式，所述画面布局样式包括均分、画中画、大小分布、单画面和关闭指定画面；第一信令模块和第二信令模块通过调整画面布局样式同步至图像处理模块，图像处理模块按照当前布局样式实时调整拼接画面。手术室画面多种样式同步控制：示教室与手术室均可调整“画中画”、“均分”、“一大多小”等画面布局，可关闭指定某一路画面，可交换某两路图像的位置，可放大某一路画面，所有控制均会实时同步到手术室的画面处理模块进行实时处理，视频传输不会终止，无黑屏；并且往往示教端，更需要主动去控制画面的布局显示方式，以达到远程指导、学习的目的。

在一种可能的设计中，在视频信息呈现的画面上设置有一层透明窗口；该透明窗口覆盖当前视频信息呈现的画面；透明窗口用于呈现对影像内容进行文字和/或图像的标记，每次输入完成或写完一个字符后，第一信令模块或第二信令模块将新的标记进行转换，并将转换后的信息进行同步。通过以上技术，实现支持同屏标记，使用方便：传统的方式，一般只能使用语音、文字方式沟通；本发明所述方式，双方可以对实时手术影像进行同步标记。

在一种可能的设计中，在对影像内容进行文字和/或图像标记时，采用预设的标记符号进行直接调用，或通过画笔录入进行标记；第一信令模块或第二信令模块将新的标记进行转换时，文字和直接调用的标记转换成字符串，通过画笔手绘的标记转换成图片信息。

本发明具有如下的优点和有益效果：

1.本发明通过手术室子系统中的图像处理模块将多路视频信息拼接整合成为一路视频信息然后输出，将整合后的视频信息经服务器发送给所述示教子系统，如此实现一路视频传输多路视频信息，大大节约了传输带宽，节约了成本；另外，在图形整合时根据设定的画面拼接布局信息来拼接整合，实现拼接图像的可调整性，在运用中，专家端某些子画面实际显示分辨率低于其原始画面分辨率，因此拼接后更加符合实际要求，大大增加了该系统的实用性；另外，通过信令服务单元进行各个子系统的管理注册，再通过该服务器进行通话控制、画面拼接布局控制和标记同步控制，实现子系统的对接控制，实现该系统的开放性，由此，解决目前手术示教中视频路数多，实时传输时需要提高要求，大带宽的网络环境，成本高昂的问题，其次，该系统也同时具有开放性，可调性，其实用性强；

2.本发明节省系统资源，传统的方式中，手术室需要同时编码5路1080P视频，示教端需要同时解码5路1080P视频，本文所述方式中，手术室仅需要编码1路视频，示教端仅需要解码1路视频；

3.本发明支持同屏标记，使用方便；传统的方式，一般只能使用语音、文字方式沟通；本发明提供的技术，双方可以对实时手术影像进行同步标记。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明系统框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

应当理解，术语第一、第二等仅用于区分描述，而不能理解为指示或暗示相对重要性。尽管本文可以使用术语第一、第二等等来描述各种单元，这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，当将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直接连接或耦合，或中间单元可以存在。相対地，当将单元称作与另一个单元“直接相连”或“直接耦合”时，不存在中间单元。应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本文使用的术语仅用于描述特定实施例，并且不意在限制本发明的示例实施例。如本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解术语“包括”、“包括了”、“包含”、和/或“包含了”当在本文中使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

实施例1：

如图1所示，本实施例提供了一种用于远程手术指导和示教的系统，包括手术室子系统、服务器和示教子系统；

所述手术室子系统包括多路图像采集模块和图像处理模块；所述图像处理模块接收图像采集模块传来的多路视频信息；所述图像处理模块根据设定的画面拼接布局信息将多路视频信息拼接整合成为一路视频信息然后输出；整合后的视频信息经服务器发送给所述示教子系统；

所述服务器包括信令服务单元以及流媒体服务单元；信令服务单元用于处理各子系统的注册、通话控制、画面拼接布局控制和标记同步控制；流媒体服务单元用于音视频编码数据的转发处理。

具体实施时，手术室子系统还包括第一信令模块和第一编解码模块；

所述第一信令模块用于与信令服务单元交互流媒体控制信息，所述流媒体控制信息包括通话控制信息、画面拼接布局信息和标记信息；所述图像处理模块根据第一信令模块的画面拼接布局信息进行画面拼接整合调整；图像处理模块根据第一信令模块的标记信息将标记整合在整合后的视频信息中；

第一编解码模块用于将图像处理模块输出的图像进行编码发送到流媒体服务单元，将音频进行编码发送到流媒体服务单元；第一编解码模块还用于解码从服务器端获取的音频信息和视频信息，然后输出解码后的音频信息和视频信息到多媒体播放终端。

具体实施时，所述示教子系统包括，第二信令模块用于与信令服务单元交互流媒体控制信息，通过信令服务单元与手术室子系统进行通话控制、同步画面拼接布局信息以及同步标记信息；

第二编解码模块也用于解码从流媒体服务单元获取的音频信息和视频信息，然后输出解码后的音频信息和视频信息到多媒体播放终端。

具体实施时，所述示教子系统还包括影音录入设备，影音录入设备包括摄像头，耳麦等多媒体终端设备；第二编解码模块将影音录入设备采集的音频信息和视频信息进行编码，发送到流媒体服务单元。

具体实施时，手术室子系统的图像采集模块包括但不仅限于全景摄像机、术野摄像机、腔镜摄像机、监护仪和/或超声波设备。

以传输5路[email protected]手术影像视频为例，该实施例可达到以下技术效果：

1、节省带宽，传统的方式中，手术室一般至少需要5Mbps×5＝25Mbps的稳定上传带宽，局域网尚可，普通互联网宽带难以达到，在互联网环境下，一般需要拉专线；本文所述方式中，将5路1080P视频进行拼接，

2、节省系统资源，传统的方式：手术室需要同时编码5路1080P视频，示教端需要同时解码5路1080P视频；本文所述方式：手术室仅需要编码1路1080P视频，示教端仅需要解码1路1080P视频；

实施例2：

本实施例提供了一种用于远程手术指导和示教的方法，该方法在实施例1所述的系统中进行，包括发起示教、远程指导的过程：

第一信令模块与第二信令模块分别注册到信令服务；

手术室子系统通过第一信令模块或示教子系统通过第二信令模块发起示教；

双方接受示教后，第二信令模块将示教子系统的第二显示屏的分辨率通过信令服务单元发送到第一信令模块；

第一信令模块根据第二显示屏的分辨率、用户设置的拼接分辨率与手术图像分辨率，计算出拼接画面的建议分辨率，并分配一个默认的画面布局样式，启动画面拼接；

第一信令模块将当前采用的画面布局样式信息通过服务器的信令服务单元发送到第二信令模块，实现信令同步；

第一信令模块启动手术室子系统中第一编解码模块，第二信令模块启动示教子系统的第二编解码模块，

第一编解码模块将音频信息和拼接后的视屏信息通过服务器的流媒体服务单元发送给第二编解码模块；第一编解码模块同时解码从流媒体服务单元获取的音频信息和视频信息，然后进行播放；

第二编解码模块将示教子系统录入的视频信息和音频信息进行编码，通过流媒体服务单元发送给第一编解码模块，第二编解码模块同时解码从流媒体服务单元获取的音频信息和视频信息，然后进行播放。

具体实施时，第一信令模块根据第二显示屏的分辨率、用户设置的拼接分辨率与手术图像分辨率，计算出拼接画面建议分辨率的方法如下：

获取手术影像的所有分辨率，设获取的分辨率的数目有N个，计算出建议使用的拼接画面分辨率，

a.若N＝1，则建议分辨率为第二显示屏的分辨率与手术影像分辨率中的小者，否则进入步骤b；

b.若第二显示屏的分辨率≤1080P，则建议分辨率为第二显示屏的分辨率，否则进入步骤c；

c.对N个分辨率中的最大分辨率、1080P以及第二显示屏的分辨率进行大小排序，在这些分辨率中取排序在中间的分辨率值作为建议分辨率。

具体实施时，第一信令模块和第二信令模块预设有多种画面布局样式，所述画面布局样式包括均分、画中画、大小分布、单画面和关闭指定画面；第一信令模块和第二信令模块通过调整画面布局样式同步至图像处理模块，图像处理模块按照当前布局样式实时调整拼接画面。如：监护仪画面，可交换某两路图像的位置，可放大某一路画面。

第一信令模块将新的拼接画面样式，生成JSON字符串控制图像处理模块，图像处理模块使用新的样式拼接手术画面，那么双方均可以看到新的拼接画面；

使用JSON表示四画面均分布局为例：

[{"index":0,"x":0,"y":0,"w":0.5,"h":0.5},{"index":1,"x":0.5,"y":0,"w":0.5,"h":0.5},\

{"index":2,"x":0,"y":0.5,"w":0.5,"h":0.5},{"index":3,"x":0.5,"y":0.5,"w":0.5,"h":0.5}]

第一信令模块将新的拼接画面样式，发送到第二信令模块。

示教室控制拼接画面样式的过程：

实施时，按照上述方法，具体操作方式：

以传输5路[email protected]手术影像视频为例，

a.教学投影仪、专家端显示屏分辨率一般并未超过5路1080P视频分辨率之和，很多情况下为全高清分辨率；

b.示教端，往往会以一定的视频布局方式查看5个画面，因此，实际上大部分画面的实际显示分辨率达不到1080P，而当用户想要仔细查看某一路画面时，可将该画面交换到最大的窗口，也可直接最大化该路视频，那么该路视频的实际编码分辨率也会相应增大。

若拼接画面分辨率为1080P，那么只需要5Mbps的稳定上传带宽即可流畅传输手术室所有影像，使用一般的电信光宽带即可流畅使用；

具体实施时，在视频信息呈现的画面上设置有一层透明窗口；该透明窗口覆盖当前视频信息呈现的画面；透明窗口用于呈现对影像内容进行文字和/或图像的标记，每次输入完成或写完一个字符后，第一信令模块或第二信令模块将新的标记进行转换，并将转换后的信息进行同步。标记支持规则图形包括但不仅限于：椭圆、矩形、箭头，不规则图形：画笔绘制。传统的方式，一般只能使用语音、文字方式沟通；本发明所述方式，双方可以对实时手术影像进行同步标记。

具体实施时，在对影像内容进行文字和/或图像标记时，采用预设的标记符号进行直接调用，或通过画笔录入进行标记；第一信令模块或第二信令模块将新的标记进行转换时，文字和直接调用的标记转换成JSON字符串，通过画笔手绘的标记转换成图片信息，例如PNG、JPG等。

因此，本发明具有节省成本，速度快、使用方便、效率高的特点。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。