阅读说明：本技术 用于生成电子喉镜医学检测报告的系统和方法 (System and method for generating electronic laryngoscope medical test reports ) 是由 潘晓英 陈皓 代栋 刘星星 闫庆元 孙雪华 于 2019-11-19 设计创作，主要内容包括：本发明涉及一种用于生成电子喉镜医学检测报告的系统和方法,该系统由数据处理模块、图像筛选模块、器官分割模块和病灶检测模块组成,所述数据处理模块与图像筛选模块相接,所述图像筛选模块分别接于器官分割模块和病灶检测模块；所述图像筛选模块、器官分割模块和病灶检测模块中分别设置有分类模型、分割模型和检测模型,器官分割模块和病灶检测模块分别接于器官定位模块。本发明提供的系统和方法能够在背景复杂的情况下识别出病灶并标记,生成诊断报告。并且可以针对不同器官的不同病变识别；预处理单元可以实时的从检查设备中读取检查视频并进行初步处理。(The invention relates to a system and a method for generating an electronic laryngoscope medical detection report, wherein the system consists of a data processing module, an image screening module, an organ segmentation module and a focus detection module, the data processing module is connected with the image screening module, and the image screening module is respectively connected with the organ segmentation module and the focus detection module; the image screening module, the organ segmentation module and the focus detection module are respectively provided with a classification model, a segmentation model and a detection model, and the organ segmentation module and the focus detection module are respectively connected with the organ positioning module. The system and the method provided by the invention can identify and mark the focus under the condition of complex background, and generate a diagnosis report. And can be identified for different lesions of different organs; the preprocessing unit can read the inspection video from the inspection device in real time and perform preliminary processing.)

用于生成电子喉镜医学检测报告的系统和方法

技术领域：

本发明涉及智能化医学应用领域，具体涉及用于生成电子喉镜医学检测报告的系统和方法。

背景技术：

如今，计算机技术以及相关的人工智能技术正在飞速发展，其在医学领域也得到了广泛应用。电子喉镜是观察空腔脏器黏膜最直接有效地手段，它具有镜体轻巧、纤细、灵便等特点，灵活的追随性，更好的***性，使得镜头进入喉腔更能接近病变部位，对呼吸道微细的变化都能清晰可见，实现更快速的诊疗。同时电子喉镜采用领先的光学数字技术来提供高清晰度的画质，无需对调、自动调光，这成为图像处理技术在电子喉镜上的应用重要条件。目前电子喉镜在临床上主要发挥诊断和微创诊疗的作用，已经成为耳鼻喉-头颈外科医生手中的重要工具。

目前的电子内镜检查中存在一些缺陷，首先，目前的检查十分依赖医生的经验，检查医生通过观察内镜图像来确定病变，我国医疗水平不均衡现象严重，；其次，内窥镜检查需要注意力十分集中医生容易出现漏检和误检的情况，而鼻咽喉部位精巧，漏检误检病人付出代价大；最后医生需要手动将对应病症和描述添加到报告中增加了检查的时间，导致了效率低下。现存的自动报告生成系统多有用于消化道等简单背景，而鼻咽部背景复杂，简单的自动报告生成系统不能满足复杂背景的需求；现存的医学影像处理系统只对单一器官识别病变现存的医学图像处理系统或方法；现存的数据处理周期长，不能很好的满足医院对于检查实时性的要求。

发明内容

：

本发明要提供一种用于生成电子喉镜医学检测报告的系统和方法，以克服现有技术存在的只能对单一器官识别病变和数据处理周期长，不能很好的满足医院对于检查实时性要求的问题。

为了实现本发明的目的，本发明提供的技术方案是：

一种用于生成电子喉镜医学检测报告的系统，由数据处理模块、图像筛选模块、器官分割模块和病灶检测模块组成，所述数据处理模块与图像筛选模块相接，所述图像筛选模块分别接于器官分割模块和病灶检测模块；所述图像筛选模块、器官分割模块和病灶检测模块中分别设置有分类模型、分割模型和检测模型，器官分割模块和病灶检测模块分别接于器官定位模块。

上述的系统用于生成电子喉镜医学检测报告的方法，包括以下步骤：

步骤一：建立医学检测报告模板和病症描述模板；

步骤二：数据集准备：读取医院电子内窥镜中的检查视频，将读取到的数据传入步骤三进行预处理，处理过后得到的图像数据构成训练数据；

步骤三：图像预处理：

S301：将视频逐帧进行切片，每间隔3帧截取一张图像，交于S302处理；

S302：对图像进行裁剪，通过图像处理方法识别出用于显示喉镜图像的圆形或矩形边框，自动将边框以外的无用区域裁剪掉，保留边框内的图像部分；

S303：去除体外和模糊：训练一个分类模型用于剪辑视频中体外以及模糊片段，将视频拆帧后的图像分为有效和无效图像，其中无效图像包括体外或模糊图像，去除无效图像后将有效图像按照S304的命名原则进行命名，并保存；

S304：图像命名，图像追溯：对预处理后的图像数据命名方式统一采用患者编号_时间_帧序号.jpg的方式；

步骤四：模型训练：

分类模型：从步骤三所产生的数据中挑选出器官部位清晰、位置居中的图像，并根据器官的类别将其划分成不同的标签类别，采用划分类别后的图像数据训练图像分类模型，该模型用于将检测图像根据器官划分为不同类别，并从每个类别中筛选分类准确率最高的数张图像；

分割模型：从步骤三所产生的数据中挑选器官部位清晰的图像，使用不规则多边形对图像中的器官边缘进行标记，并对器官类别进行标示，将标示后的图像数据作为训练样本训练器官分割模型，该模型用于对检测图像中的器官进行识别并分割，输出器官类别和轮廓坐标；

检测模型：从步骤三所产生的数据中挑选出有病灶的图像，使用矩形框标记出病灶的位置，并标示病灶名称，采用标示后的图像数据作为训练样本训练病灶检测模型，该模型用于识别出检测图像中的病灶，输出病灶类别和坐标范围到器官定位模块；

步骤五：使用步骤四中的预训练模型进行检测：

S501：数据录入：所述系统实时从电子内窥镜检测设备中读取视频流，将视频流交于数据处理模块进行数据处理；

S502：图像筛选：通过图像筛选模块中的分类模型对预处理过后的图像用分类模型进行分类，根据模型分类结果，输出每个目标部位准确率最高的数张图，将结果同时发送给器官分割模块和病灶检测模块；

S503：器官分割：从图像筛选模块中读取筛选出的有效图像数据，采用预训练好的分割模型对图像中的器官部位进行检测并对检测到的器官进行分割，输出检测到的每个器官类别和器官部位在当前图像中的坐标范围；

S504：病灶检测：从图像筛选模块中读取筛选出的有效图像数据，采用预训练好的检测模型对图像进行病灶检测，结合检测结果的准确率和图像分割步骤中分割效果的准确率，从中挑选出目标部位准确率最高一张或多张的图像作为典型图像输出；识别出病灶时，输出病灶类型及坐标范围到器官定位模块，未识别出病灶时，跳转到步骤七，生成无异常的病例报告；

步骤六：病灶器官定位：

检测到器官分割模块输出到器官定位模块中的器官名及坐标范围和病灶检测模块返回的病灶类型及病灶范围，生成病灶描述；

步骤七：报告生成：根据前述检测结果，在步骤一所建立的症状描述模板中匹配对应器官、病变以及无异常时的标准描述，从数据库中读取当前患者的信息、检测设备信息、检测医师信息等， ***到步骤一中生成的检测报告模板的对应位置，将步骤六中输出的能清楚反应病情信息的典型图像***到检测报告模板的对应位置，将模板保存为pdf格式文件并输出。

与现有技术相比，本发明所具有的显著进步是：

本发明提供的系统和方法能够在背景复杂的情况下识别出病灶并标记，现已有一些用于消化道内镜病变检测和识别方法，但是消化道的结构变化较小，病灶的背景简单。鼻咽喉部位结构变化较大，包含有鼻腔，鼻咽，会厌和喉，每个部位结构差异较大，病变多样且病灶背景复杂。本发明能够在复杂环境下检测出病灶，生成诊断报告。并且可以针对不同器官的不同病变识别；预处理单元可以实时的从检查设备中读取检查视频并进行初步处理。

附图说明：

图1 本发明的系统框图。

具体实施方式

：

下面将结合附图和实施例对本发明进行详细地说明。

参见图1，本发明提供的用于生成电子喉镜医学检测报告的系统，由数据处理模块、图片筛选模块、器官分割模块和病灶检测模块组成，所述数据处理模块与图片筛选模块相接，所述图片筛选模块分别接于器官分割模块和病灶检测模块；所述图片筛选模块、器官分割模块和病灶检测模块中分别设置有分类模型、分割模型和检测模型。

上述系统用于生成电子喉镜医学检测报告的方法，包括以下步骤：

步骤一：建立医学检测报告模板和病症描述模板。医学检测报告模板根据医院的病例报告撰写要求进行设计，对模板中相应的信息输入位置设置占位符，在生成报告阶段将对应信息***；病症描述模板例如：‘左侧声带上方有息肉’等。

步骤二：数据录入：实时读取医院电子内窥镜中的检查视频，然后将读取到的视频流传入数据处理模块进行处理；

步骤三：图像预处理过程分为以下四个步骤

S301：将视频流逐帧进行切片，每间隔3帧保存一张图片，交于S302处理；

S302：对图片数据进行裁剪，对图片数据进行裁剪，通过图像处理方法识别出用于显示喉镜图像的圆形或矩形边框，自动将边框以外的无用区域裁剪掉，只保留边框内的图像部分；

S303：去除体外和模糊：训练一个分类模型用于剪辑视频中体外以及模糊片段，将视频拆帧图片根据是否有效分为有效和无效图片，其中无效图片为体外或模糊图片，去除无效图片将有效图片按照S304的命名原则进行命名，并存入数据库；

S304：图像命名，图像追溯：对预处理后的图片数据命名方式统一采用患者名_时间_帧序号.jpg的方式，通过该步骤可以给报告上的图片建立联系，一定程度上避免错误，并可以获取当前图像的源视频信息。

步骤四：模型训练：

分类模型：从步骤三所产生的数据中挑选出器官部位清晰、位置居中的图像，并根据器官的类别将其划分成不同的标签类别，采用划分类别后的图像数据训练图像分类模型，该模型用于将检测图像根据器官划分为不同类别，并从每个类别中筛选分类准确率最高的数张图像；

分割模型：从步骤三所产生的数据中挑选器官部位清晰的图像，使用不规则多边形对图像中的器官边缘进行标记，并对器官类别进行标示，将标示后的图像数据作为训练样本训练器官分割模型，该模型用于对检测图像中的器官进行识别并分割，输出器官类别和轮廓坐标；

检测模型：从步骤三所产生的数据中挑选出有病灶的图像，使用矩形框标记出病灶的位置，并标示病灶名称，采用标示后的图像数据作为训练样本训练病灶检测模型，该模型用于识别出检测图像中的病灶，输出病灶类别和坐标范围到器官定位模块。

步骤五：使用步骤四中的模型进行检测：

S501：数据录入：所述系统实时从电子内窥镜检测设备中读取视频流，将视频流交于数据处理模块进行数据处理。

S502：图像筛选：通过图片筛选模块中的分类模型对预处理过后的图片用分类模型进行分类，根据模型分类结果，输出每个目标部位准确率最高的数张图，将结果同时返回给器官分割模块和病灶检测模块；

S503：器官分割：从图片筛选模块中读取图片筛选中筛选出的有效图像数据，采用预训练好的分割模型对图像中的目标部位进行检测并通过器官分割模块进行分割，输出检测到的每个器官和器官在当前图像中的坐标范围；

S504：病灶检测：从图片筛选模块中读取图片筛选步骤筛选出的有效图像数据，使用预训练好的检测模型对图像进行目标检测，结合检测结果的准确率和图像分割步骤中分割效果的准确率，从中挑选出目标部位准确率最高一张或多张的图片作为典型图像输出；识别出病灶时，输出病灶类型及坐标范围到器官定位模块，当没有检测到病灶时，跳转到步骤七，生成无异常的病例报告。

步骤六：病灶器官定位：

如果步骤五中S503阶段检测到病灶，根据S502器官分割模块输出到器官定位模块中的的器官名及坐标范围和S503病灶检测模块返回的病灶类型及病灶范围，确定病灶位置所属器官和所在方位，生成病灶描述。