具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。

本发明实施例提供一种基于双目时空自适应的手术3D视频稳像合成方法，本实施例的验证环境为Intel i7-10710U处理器，1.10GHz主频，16G内存，软件为Visual Studio2017版本。具体步骤如下：

步骤一、构建时空关联数据模型；

将双目内窥镜的3D成像系统，细分为基于时间相关和基于空间相关的数学模型；

其中，在基于时间相关数学模型中：S11、根据双目内窥镜各相机的获取术区灰度图像序列，提出对应的Shi-Tomasi角点特征，并根据术区场景设置相应的特征点数量N和均匀分布性参数p；

S12、在双目内窥镜手术引导过程中，利用相邻图像帧间对应特征点的灰度一致性假设，构建基于时间相关的跟踪数学模型：

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)

其中I(x，y，t)表示第f时刻下特征坐标点(x，y)处的灰度值，I(x+Δx，y+Δy，t+Δt)表示间隔Δt时间序列对应的新的坐标点灰度值I(x+Δx，y+Δy)。

S13、将步骤S12中等号右侧的表达式按一阶泰勒级数进行展开，可得到如下表达式：

其中为该特征点在f时刻的运动速度，通过选取特征点I(x，y)周围的(2w+1)×(2w+1)的邻域窗口，求解得到该特征点I(x，y)在f时刻下的运动方向矢量

S14、由上述步骤S13中特征点的运动方向矢量和帧间间隔时间Δt，求解得到相邻帧对应的特征点坐标(x+Δx，y+Δy)。分别构建t和t+1时刻下的特征点集合X_t和X_t+1，求解得到相邻视觉帧间的单应变换矩阵H_t：

X_t+1＝H_tX_t

由此得到基于时间序列的内窥镜单通道视频稳态模型函数h(H_t)。

其中，基于空间相关的数学模型中：S21、在术前通过对双目内窥镜系统的标定，得到两通道相机的内参数K_L(K_R)和双通道相机间的相对位姿关系[R，t]。

S22、在双目内窥镜系统光流初始化时，根据系统标定的内外参数，构建左右相机间的基础矩阵F，以此关联左光流特征点I_L(x，y)和右光流特征点I_R(x，y)，具体如下：

I_L(x，y)＝F_tI_R(x，y)。

为此通过双目术区图像特征点匹配情况，实时解算时间序列下的基础矩阵F_t。

步骤二、在双通道内窥镜3D视频合成过程中，基于时间序列和空间序列的匹配关系，构建具有双目时空自适应的3D视频合成模型，以构建稳态的全局优化模型f_t：

其中h(H_t)为内窥镜单通道时间序列的投影误差关联函数，g(F)为初始化后左右空间关联约束的评价函数，α和β分别是时间和空间序列的关联参数，通过求解全局最优，进而得到自适应的3D视频稳相合成对应的时空融合参数(α，β)。该参数对会根据术区视觉特征点的时空匹配情况，自适应调节时间防抖模块和空间防抖模块的融合效果，进而满足不同术区环境和运动状态下3D导航视频的稳相需求。

一种基于双目时空自适应的手术3D视频稳像合成系统，包括：

双目术区实时视频获取模块，用于控制手术过程中双目内窥镜的视频流，得到具有时间戳的双目图像流序列；

图像立体矫正模块，用于对所述双目术区实时视频获取模块获取的原始图像流进行畸变和立体矫正，得到无畸变的正视图像流；

图像特征提取模块，用于对所述图像立体矫正模块矫正后的内窥镜术区无畸变的正视图像流进行特征提取，得到术区图像流上的特征信息；

时间防抖模块，用于在时间序列维度下对所述图像特征提取模块提取到的左右图像流数据特征进行跟踪，得到时间维度单一相机图像序列间的单应变换矩阵即单相机时间约束；

空间防抖模块，用于对时间防抖模块下得到的单一相机图像特征序列增加双目几何约束，构建空间范围内左右术区图像跟踪的协同性框架，得到具有更强约束能力的空间特征信息约束；

时空自适应防抖模块，用于结合所述时间防抖模块输出的单相机时间约束和所述空间防抖模块输出的基于双目相机空间，得到术区不同特征点分布情况下的时空自适应防抖模型。

本发明一实施例还提供一种计算机设备。如图3所示，该设备包括：存储器、处理器；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现前述实施方式所述的手术3D视频稳像合成系统。

该计算机设备包括一个或多个处理器以及存储器，图3中以一个处理器为例。处理器、存储器可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施方式中的手术3D视频稳像合成系统。

本实施例的计算机设备，首先通过构建基于时间相关和基于空间相关的数学模型，并在双通道内窥镜3D视频合成过程中，基于时间序列和空间序列的匹配关系，构建具有双目时空自适应的3D视频合成模型，以构建稳态的全局优化模型。因此，本发明实施例可可去除手术过程中内窥镜3D视频中存在的抖动，为医生提供平稳连续的3D视频引导手术操作；且在术中弱纹理组织环境下鲁棒性较好。

上述设备可执行本发明实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本发明实施方式所提供的方法。

本申请一实施例还提供一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。