具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明的一种实施例涉及一种基于人工智能检索和提取手术视频片段的方法，具体包括以下内容：

S1、对手术阶段识别模型和手术事件识别模型进行构建；其具体包括以下内容：

S11、根据专家经验、指南、论著建立手术阶段理论模型和手术事件理论模型，并对收集的手术视频根据手术阶段理论模型和手术事件理论模型对手术阶段和手术事件进行边界划分；

S12、将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注。具体为：

按照每个手术视频分辨率不低于720×560且每秒不低于21帧的要求收集手术视频数据，并以图片的形式保存；

对收集完成的图片通过ffmpeg软件统一转码为相同的mpeg-4格式，并通过标注软件Anvil Video Annotation Research Tool完成对手术阶段时间段和手术事件时间段的初步标注；

通过由6个经过前期培训合格的外科专科医师负责质量控制，对完成初步标注的视频数据再进行人工标注，并将初步标注不合格的图片进行修改得到标注合格的图片。

S13、将完成标注的手术阶段数据和手术事件数据分布按照8:1:1的比例随机分配进入训练集、验证集和测试集，并通过ResNet网络和LSTM网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建。

其中，所有模型均使用Anaconda、Qt Creator平台进行开发，图像处理使用NVIDIATesla V100图形处理器。

S2、将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；

进一步地，其具体包括：

S21、将视频划分为多个视频片段，等间距抽取视频片段的n张图片，将每张图片存储为（N，C，H，W）格式的四维张量，N表示每个视频片段的抽帧数，C表示每张图片的通道数，H为图片的宽度，W表示图片的长度；

S22、将四维张量表示的图片放入由多个2D卷积、ReLU激活层、批归一化层和一个全连接层组成的ResNet网络中提取图像特征，并将图像特征的格式存储为（M，S），M表示输入图片数，S表示预设特征向量长度；

进一步地，卷积层或者全连接层计算公式为：，其中y表示计算输出，n表示神经元个数，表示第i个神经元的权重，表示第i个神经元的输入数据，b为计算结果添加一个偏移量，当为卷积计算时和是二维矩阵，当为全连接计算时和是一维向量。

批归一化层计算公式为：，其中BN表示批归一化计算输出，x表示输入数据，E[x]表示x张量的均值，Var[x]表示x张量的方差，表示一个极小的参数为保证分母不为0，γ和β为可学习系数。

ReLU激活函数的计算公式为：，其中ReLU表示计算输出，z表示输入张量，max()表示取其中的最大值。

S23、将格式为（M，S）的图像特征向量分M次输入到LSTM网络中，进行连续视频帧的手术阶段和手术事件识别。LSTM网络中由多个单元组成，提供忘记距离现在时间过久远的信息，通过新视频帧的输入更新当前状态完成识别。

进一步地，LSTM网络中一个单元的计算公式如下：

其中h_t表示t时刻的隐藏状态；c_t表示LSTM在t时刻的细胞计算结果；x_t表示在t时刻的输入数据；h_t-1表示t-1时刻的隐藏状态；i_t表示输入操作后的计算结果；f_t表示经过忘记操作后的计算结果；g_t表示输出操作的结果；o_t表示细胞核上一时刻信息融合操作的输出；W_ii、W_hi、b_ii、b_hi分别表示LSTM细胞中提取输入数据特征的权重参数和偏移量；W_if、W_hf、b_if、b_hf分别表示LSTM细胞中遗忘门中计算的权重参数和偏移量；W_ig、W_hg、b_ig、b_hg分别表示LSTM细胞中输出门中计算的权重参数和偏移量； W_io、W_ho、b_io、b_ho分别表示LSTM细胞中更新门中计算的权重参数和偏移量；σ()为sigmiod函数计算，其中，⊙表示同或运算。

S3、根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索系统和视频提取系统中；

S4、加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示；并标记出手术阶段和手术事件出现的时间段。

如图2所示，在播放时间轴提供手术阶段信息、手术事件信息，外科医生可以快速检索到需要观看的视频片段；其中播放时间轴下方有三条进度条对应时间轴，在一段时间中发生了某项事件或处于某个阶段，则会在对应时间位置标注出现对应手术阶段和手术事件。

同时，根据视频中手术事件和手术阶段的出现时间，使用ffmpeg软件抽取出对应视频或者图片制作成手术知识库，让医生或专家快速浏览进行安全性评估和主刀技能评估。

进一步地，视频检索系统和视频提取系统的构建方法包括：

采用手术阶段识别模型和手术事件识别模型对输入的图片进行基于深度学习的推理，得到手术阶段信息和手术事件信息；

通过定制化的视频播放软件为用户输出手术阶段和手术事件出现时间段在进度条上展示，实现视频检索系统的构建；

通过手术阶段识别模型和手术事件识别模型识别到的关键手术过程的起止时间点，根据定制化的抽取软件将视频中相应的视频片段进行抽取或者将视频按照一定的帧率抽取为静态图片，实现视频抽取系统的构建。

进一步地，通过ResNet网络和LSTM网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建包括：

将训练集、验证集和测试集的图片存储为（N，C，H，W）格式的四维张量，N表示每个视频片段的抽帧数，C表示每张图片的通道数，H为图片的宽度，W表示图片的长度；

将四维张量表示的图片放入由多个2D卷积、ReLU激活层、批归一化层和一个全连接层组成的ResNet网络中提取图像特征，并将图像特征的格式存储为（M，S）；

将格式为（M，S）的图像特征向量分M次输入到LSTM网络中，进行连续视频帧的手术阶段和手术事件识别。LSTM网络中由多个单元组成，提供忘记距离现在时间过久远的信息，通过新视频帧的输入更新当前状态完成识别。

将识别结果放入交叉熵损失函数中进行计算得到损失，并使用梯度下降的方式更新模型参数，以此构造手术阶段识别模型和手术事件识别模型。其中CELoss表示计算输出，M表示类别数；y_ic表示指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0；p_ic表示对于观测样本属于类别c的预测概率。

本发明的另一实施例涉及一种基于人工智能检索和提取手术视频片段的系统，它包括识别模块、视频检索与提取模块以及视频播放模块；

所述识别模块用于将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；

所述视频检索与提取模块用于根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索和提取单元中；

所述视频播放模块用于加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。

进一步地，还包括构建模块，所述构建模块用于构建视频检索与提取单元、手术阶段识别模型以及手术事件识别模型。

进一步地，还包括视频收集与标注模块，所述视频收集与标注模块用于将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。