一种医疗数据方法及系统

文档序号:99038 发布日期:2021-10-15 浏览:24次 >En<

阅读说明:本技术 一种医疗数据方法及系统 (Medical data method and system ) 是由 王璘 王欣 戈宗元 王斌 赵昕 和超 陈羽中 张大磊 于 2021-05-20 设计创作,主要内容包括:本发明实施例提供了一种医疗数据预测方法及系统,涉及医疗技术领域。方法包括:获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息;基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。本发明融合了医学影像等多模态数据,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性。(The embodiment of the invention provides a medical data prediction method and system, and relates to the technical field of medical treatment. The method comprises the following steps: acquiring information of a patient to be predicted and information of a target biomedical material, which are acquired before a target part of the patient to be predicted is treated; the information of the patient to be predicted comprises medical image information and text description information; and predicting treatment data of the target part of the patient to be predicted after treatment by the target biomedical material based on the information of the patient to be predicted and the information of the target biomedical material. The invention integrates multi-modal data such as medical images, predicts the treatment data of the target part of the patient to be predicted after being treated by the target biomedical material, and can effectively improve the prediction accuracy.)

一种医疗数据方法及系统

技术领域

本发明涉及医疗

技术领域

,尤其涉及一种医疗数据预测方法及系统。

背景技术

人工晶状体(英文全拼:Intraocular lens,英文简称:IOL)植入,一种形式是白内障患者进行晶状体摘除后,进行的人工眼内透镜植入。

白内障是由晶状体混浊,而导致视力受损的眼部疾病。白内障发病的常见原因一般为老化,也与遗传、局部营养障碍、免疫与代谢异常,外伤、中毒、辐射等有关,可单眼发病,也可双眼均发病。白内障多见于40岁以上,发病率与年龄具有显著的相关性。手术摘除是目前治疗白内障唯一有效的方式。手术摘除后,一般需要植入人工晶体,使患者恢复视力,维持正常生活。

近年来,机器学习在医学领域得到了广泛的应用。但在人工晶体的植入场景中,仍然以传统模型和医生经验来预测患者在晶体植入手术后的视力情况。而这种方式对于晶体植入手术后患者的视力状况的预测,仅仅是理论和经验的估计,存在很大的不确定性,准确性不高。随着医疗手段的不断发展,不同的人群,不同的矫正需求对于移植手术的术后预测提出了更高的要求,依靠目前传统模型和医生经验来对术后患者视力状况进行预测,已经很难满足当前的需求。

发明内容

本发明提供一种医疗数据预测方法及系统,解决现有技术中对于晶体植入手术后患者的视力状况的预测准确性不高,不能满足需求的问题。

在本发明实施的第一方面,提供了一种医疗数据预测方法,包括:

获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息;

基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

可选的,基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测的步骤包括:

基于所述待预测患者的医学影像类信息,获取影像特征数据;

基于所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获取数值特征数据;

基于所述数值特征数据和所述影像特征数据,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

可选的,基于所述数值特征数据和所述影像特征数据,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测步骤包括:

将所述数值特征数据和所述影像特征数据进行拼接处理,获得总的特征数据;

利用预先训练好的预测模型处理所述总的特征数据,获得所述预测模型输出的治疗数据预测值。

可选的,基于所述待预测患者的医学影像类信息,获取影像特征数据的步骤包括:

利用第一特征提取模型处理所述待预测患者的医学影像类信息,获得所述第一特征提取模型输出的影像特征数据;

基于所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获取数值特征数据的步骤包括:

利用第二特征提取模型处理所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获得所述第二特征提取模型输出的数值特征数据。

可选的,第一特征提取模型包括编码器和解码器;

利用第一特征提取模型处理所述待预测患者的医学影像类信息的步骤包括:

利用所述编码器处理所述待预测患者的医学影像类信息,获得所述编码器输出的影像特征数据。

可选的,利用第二特征提取模型处理所述待预测患者的文字描述类信息和所述目标生物医用材料的信息的步骤包括:

将所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,采用预设编码方式进行编码处理,获得编码信息;

将所述编码信息输入到所述第二特征提取模型中,获得所述第二特征提取模型输出的数值特征数据。

可选的,所述预测模型包括回归预测模型;利用预先训练好的预测模型处理所述总的特征数据,获得所述预测模型输出的治疗数据预测值的步骤包括:

利用所述回归预测模型处理所述总的特征数据,获得所述回归预测模型输出的治疗数据预测值。

可选的,所述预测模型包括分类预测模型;利用预先训练好的预测模型处理所述总的特征数据,获得所述预测模型输出的治疗数据预测值的步骤包括:

利用所述分类预测模型处理所述总的特征数据,获得所述分类预测模型输出的治疗数据预测类别值。

可选的,利用所述编码器处理所述待预测患者的医学影像类信息之前,所述方法还包括:

获取样本医学影像信息;

将所述样本医学影像信息作为所述编码器训练的输入特征,所述解码器基于所述编码器的输出,生成的还原医学影像信息作为所述编码器训练的输出特征,并将所述样本医学影像信息作为预测指标,对所述编码器进行训练。

可选的,利用第二特征提取模型处理所述待预测患者的文字描述类信息和所述目标生物医用材料的信息之前,所述方法还包括:

获取样本患者的文字描述类信息、样本生物医用材料的信息以及所述样本患者使用所述样本生物医用材料治疗后的真实治疗数据;

将所述样本患者的文字描述类信息和所述样本生物医用材料的信息,作为所述第二特征提取模型训练的输入特征,预测模型输出的治疗数据作为所述第二特征提取模型训练的输出特征,并将所述真实治疗数据作为预测指标,对所述第二特征提取模型进行训练。

可选的,所述待预测患者的文字描述类信息包括以下至少一项:所述待预测患者的基本信息、检查信息、治疗记录信息;

所述目标生物医用材料的信息包括以下至少一项:所述目标生物医用材料的品牌、尺寸、型号、成分、用途。

在本发明实施的第二方面,还提供了一种医疗数据预测系统,包括:

第一获取模块,用于获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息;

预测模块,用于基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

针对在先技术,本发明具备如下优点:

本发明实施例中,首先获取对待预测患者的目标部位(如眼睛)进行治疗之前,采集的待预测患者的信息以及目标生物医用材料(如人工晶体)的信息,其中待预测患者的信息不仅包括文字描述类信息,还加入了医学影像类信息,极大地丰富了信息量,使得对于患者治疗之前的身体状况能够有更全面的分析和了解,进而更准确地预测出患者治疗之后的效果;然后基于融合了医学影像等多模态数据的待预测患者的信息,以及目标生物医用材料的信息,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的

具体实施方式

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的医疗数据预测方法的流程示意图;

图2为本发明实施例提供的医疗数据预测方法中预测模型的示意框图;

图3为本发明实施例提供的医疗数据预测系统的示意框图;

图4为本发明实施例提供的电子设备的示意框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解的是,还可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。

目前,在最新的研究中,有研究者采用机器学习的技术尝试实现在手术前对患者术后视力的预估,达到指导植入晶体选型的作用。但由于术前的检查信息为高度抽象的数值或者类别信息,这些信息用来表现术前患者眼部的状态是片面不全的,信息是高度损失的。仅用这些信息来用来构建模型去预测术后视力往往会有较大的偏差。

本发明实施例提供的医疗数据预测方法及系统,采用多模态数据融合的方法,极大地丰富了数据的信息量,有助于提升预测准确率。

图1是本发明实施例提供的医疗数据预测方法的流程示意图。参见图1所示,该方法包括:

步骤101:获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息。

这里,首先获取治疗之前待预测患者的信息以及目标生物医用材料的信息,以基于这些数据预测治疗效果。其中,待预测患者的信息不仅包括文字描述类信息,还加入了医学影像类信息,极大地丰富了信息量,使得对于患者治疗之前的身体状况能够有更全面的分析和了解,进而更准确地预测出患者治疗之后的效果。

其中,待预测患者指需要对使用目标生物医用材料治疗目标部位后的治疗数据进行预测的患者,可以是任意一个患者。

其中,目标部位指需要治疗的部位,可以是身体中任意一个部位,例如眼睛、心脏等。

其中,目标生物医用材料指的是需要用到治疗中的材料,可以是任意一种治疗目标部位所需的生物医用材料,如治疗白内障所需的人工晶体、治疗心血管堵塞所需的心脏支架等。目标生物医用材料的信息一般属于文字描述类信息。

其中,对待预测患者的目标部位采用目标生物医用材料治疗的手段可以是外科手术等。

步骤102:基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

这里,基于融合了医学影像等多模态数据的待预测患者的信息,以及目标生物医用材料的信息,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性。预测出治疗数据以后,可以利用治疗数据,进行目标生物医用材料的选型等应用。

例如,假设目标部位为眼睛,目标生物医用材料为某种类型的人工晶体,最终预测的治疗数据包括视力数据。通过本发明实施例的方法,首先获取待预测患者的信息以及这种类型的人工晶体的信息,待预测患者的信息包括医学影像类信息和文字描述类信息多模态数据;然后基于融合了医学影像等多模态数据的待预测患者的信息,以及这种类型的人工晶体的信息,可准确预测出使用这种类型的人工晶体治疗眼睛后的视力数据,基于预测出的视力数据可以直观地看出患者使用这种类型的人工晶体的治疗效果,从而更好地指导人工晶体的选型等工作。

本发明实施例的医疗数据预测方法,基于融合了医学影像等多模态数据,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性,从而更好地指导目标生物医用材料的选型等。

本发明实施例中,待预测患者的医学影像类信息可包含以下至少一项:医学摄影图像、血管摄影、心血管造影、电脑断层扫描、核磁共振成像、医学超音波检查、内视镜检查等。当目标部位为眼睛时,医学摄影图像可包括以下至少一项:眼底图像、角膜地形图、OCT(英文全称:optical coherence tomography,中文全称:光学相干断层扫描)图像等。

本发明实施例中,待预测患者的文字描述类信息可包括以下至少一项:所述待预测患者的基本信息、检查信息、治疗记录信息。

其中,患者的基本信息如可包括但不限于以下至少一项:年龄、性别、常见病史、目标部位基本信息。假设目标部位为眼部,目标部位基本信息如可包括眼别。

其中,患者的检查信息如可包括但不限于以下至少一项:全身的检查信息、目标部位的检查信息。全身的检查信息如可包括但不限于抽血的检查信息,包括血常规、凝血因子、肝肾功、血糖以及血的一些感染性指标的检查信息,心电图的检查信息,胸片的检查信息等。假设目标部位为眼部,还需要做一些眼部的检查,眼部的检查信息如可包括但不限于视力、眼压、裂隙灯、眼底OCT、从人工晶体生物测量仪IOLMaster检查报告中提取的角膜曲率、轴向,眼轴、前房角、白到白等信息。

其中,患者的治疗记录信息如可包括但不限于手术治疗记录信息。假设目标部位为眼部,手术治疗记录信息如可包括但不限于切口大小,切口方向,术后诊断等。

本发明实施例中,目标生物医用材料的信息如可包括但不限于以下至少一项:所述目标生物医用材料的品牌、尺寸、型号、成分、用途。假设目标生物医用材料为人工晶体,人工晶体的信息如可包括但不限于晶体品牌及其固有参数、晶体尺寸、晶体度数等。

由于术前的检查信息为高度抽象的数值或者类别信息,这些信息用来表现治疗前患者的状态是片面不全的,信息是高度损失的,仅用这些信息来预测治疗后的数据(如视力)往往会有较大的偏差。本发明实施例中,进一步加入患者的眼底图像等医学影像信息作为输入,结合患者的基本信息、检查信息、治疗记录信息、目标生物医用材料的信息进行治疗后的数据预测,能够有效提升预测的准确性。

可选的,上述步骤102包括:

步骤1021:基于所述待预测患者的医学影像类信息,获取影像特征数据。

这里,基于待预测患者的医学影像类信息,提取出影像特征数据,以利用影像特征数据进行治疗数据预测。

步骤1022:基于所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获取数值特征数据。

这里,基于待预测患者的文字描述类信息和目标生物医用材料的信息,提取数值特征数据,以利用数值特征数据进行治疗数据预测。

步骤1023:基于所述数值特征数据和所述影像特征数据,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

这里,综合数值特征数据和影像特征数据,对待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测,能有效提高预测的准确性。

具体的,可利用神经网络模型提取影像特征数据,上述步骤1021包括:

步骤10211:利用第一特征提取模型处理所述待预测患者的医学影像类信息,获得所述第一特征提取模型输出的影像特征数据。

此时,利用第一特征提取模型处理患者的医学影像类信息,对影像特征进行学习和提取,可准确获得影像特征数据。

当然,本发明实施例也可通过其他方式提取影像特征数据,如首先判断选取的图像特征,如颜色或纹理;针对不同的特征选择具体的提取方法,如常用的基于颜色特征的颜色直方图或基于纹理的灰度共生矩阵和小波变换等,完成图像原始特征的提取;由于原始特征可能维数很高,或包含大量的冗余特征和无关特征,会使后续算法的计算复杂度变得很高,所以进一步通过启发式搜索、随机搜索等方式进行特征选择,降低数据维数和消除不相关特征和冗余特征。

可选的,如图2所示,第一特征提取模型可包括编码器和解码器;上述步骤10211包括:

利用所述编码器处理所述待预测患者的医学影像类信息,获得所述编码器输出的影像特征数据。

此时,参见图2,第一特征提取模型可由一个自编码器组成,包含编码器和解码器两部分,利用编码器处理患者的医学影像类信息,获得影像特征数据能够尽可能多的保留影像特征。其中,自编码器是通过对样本进行训练,使得编码器对医学影像Xim进行抽象,生成一组高度抽象的特征向量,即影像特征数据Fim用于表征医学影像所包含的信息,解码器输入编码器编码的影像特征数据Fim,期望对此特征向量进行复原,重新生成逼近原有输入的图像X'im。鉴于此,我们可以认为,中间由编码器输出的特征向量能够用于表征原始的输入图像,是在特征空间中对原始图像的抽象表达。

编码器和解码器可分别为由卷积层、批归一化层、激活层等(也可包含池化层等)堆叠而成的一组深度卷积神经网络序列。在编码器中,随着网络深度的增加,一般可以通过卷积步长(stride)或者通过池化层对输入的图片进行降采样。在解码器中,通过上采样、转置卷积等操作提升输入特征的尺寸。具体的卷积层配置可以根据实际的数据集情况在反复实验中调整确定。

本发明实施例中,还可在编码器后方添加一个医学影像病理分类模型,利用医学影像病理分类模型处理编码器输出的影像特征数据,得到影像病理分类数据,可以利用影像病理分类数据对编码器进行反馈调节,使得编码器提取得到的特征对于特定疾病的表达能力更强,更具有针对性;或者可以在进行治疗数据预测时,不仅参考编码器输出的影像特征数据,同时加入影像病理分类数据。

具体的,可利用神经网络模型提取数值特征数据,上述步骤1022包括:

步骤10221:利用第二特征提取模型处理所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获得所述第二特征提取模型输出的数值特征数据。

此时,继续参见图2,利用第二特征提取模型处理输入数据Xval,输入数据Xval包括患者的文字描述类信息和目标生物医用材料的信息,第二特征提取模型学习并提取数值特征,可准确获得数值特征数据Fval

其中,第二特征提取模块可由全连接神经网络组成,具体包含的层类型可以为全连接层、防过拟合dropout层,批归一化层和激活层等。具体的配置和层数量可在具体数据集上经过实验调整得到,一般包含2-5层全连接层。第二特征提取模块输入的特征为经过处理的待预测患者的文字描述类信息和目标生物医用材料的信息。

可选的,上述步骤10221包括:

将所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,采用预设编码方式进行编码处理,获得编码信息;

将所述编码信息输入到所述第二特征提取模型中,获得所述第二特征提取模型输出的数值特征数据。

此时,可首先将预测患者的文字描述类信息和目标生物医用材料的信息,采用预设编码方式编码成机器学习算法易于利用的编码信息,再将其输入到第二特征提取模型中进行处理,以提高模型计算的处理效率。

其中,预设编码方式如可包括一位有效编码One-Hot编码,One-Hot编码是将分类变量作为二进制向量的表示。

其中,将所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,采用预设编码方式进行编码处理的步骤包括:

将所述待预测患者的文字描述类信息和所述目标生物医用材料的文字描述类信息中的数值类信息,进行离散化处理后,采用预设编码方式进行编码处理;

将所述待预测患者的文字描述类信息和所述目标生物医用材料的文字描述类信息中的分类信息,直接采用预设编码方式进行编码处理。

此时,对于分类型的信息,如性别男、女等,可直接采用预设编码方式,如One-Hot编码进行编码处理;对于数值类的信息,如年龄等,可进行离散化处理后,再采用预设编码方式,如One-Hot编码进行编码处理;最后将多种编码信息连接起来作为第二特征提取模型的输入。其中离散化处理方式如可包括分箱处理等。

具体的,可利用神经网络模型进行治疗数据的预测,上述步骤1023包括:

步骤10231:将所述数值特征数据和所述影像特征数据进行拼接处理,获得总的特征数据。

这里,继续参见图2,首先将数值特征数据Fval和影像特征数据Fim拼接起来,获得总的特征数据F,作为预测模型的输入特征。

步骤10232:利用预先训练好的预测模型处理所述总的特征数据,获得所述预测模型输出的治疗数据预测值。

这里,利用预测模型处理融合了数值特征数据和影像特征数据的总的特征数据F,可准确获得治疗数据预测值Y。

其中,预测模型可采用与第二特征提取模型类似的网络结构,如也可由全连接网络组成,不同的是输出层根据任务的区别有所区别。

若最终要预测的是一个具体的数值,例如等效视力。可选的,预测模型可包括回归预测模型,上述步骤10232包括:

利用所述回归预测模型处理所述总的特征数据,获得所述回归预测模型输出的治疗数据预测值。

此时,可构建一个回归预测模型进行治疗数据的预测,回归预测模型网络的输出层维度为1。

治疗数据,如视力值(一般测量时精确到0.5或者0.25),也可按照一定的规则分成不同的类别,如按照数值的大小进行分类,因此也可以依此预测可能的输出类别。可选的,预测模型可包括分类预测模型,上述步骤10232包括:

利用所述分类预测模型处理所述总的特征数据,获得所述分类预测模型输出的治疗数据预测类别值。

此时,可构建一个分类模型进行治疗数据的预测,分类预测模型的输出层维度为类别数。

本发明实施例的医疗数据预测方法,通过第一特征提取模型处理输入的待预测患者的医学影像类信息(如眼底图像信息),生成表征影像信息的影像特征数据;通过第二特征提取模型处理输入的待预测患者的文字描述类信息和目标生物医用材料的信息,提取得到数值特征数据;在预测网络将影像特征数据和数值特征数据进行连接,再经过一个全连接的浅层神经预测网络,输出所需的最终预测结果。从而融合了医学影像等多模态数据,对治疗后的治疗数据进行预测,能够有效提升预测的准确性,从而更好地指导目标生物医用材料的选型等。

下面对本发明实施例中神经网络模型的损失函数进行介绍。损失函数的作用,就是计算神经网络每次迭代的前向计算结果与真实值的差距,从而指导下一步的训练向正确的方向进行。第一特征提取模型通过深度自编码器的输出对输入进行拟合,可以采用L1loss作为其损失函数。预测模型中,若构建回归预测模型,我们采用MSEloss作为模型的损失函数;若构建分类模型,我们采用交叉熵作为模型的损失函数。

下面对本发明实施例中神经网络模型的训练策略介绍如下。

由于本发明实施例输入的数据为多模态类型,包含了影像和数值向量两种不同的输入,直接对整个网络模型训练通常难以收敛。因此,我们采用对不同的网络模块先独立训练,再进行整合的方式,分步训练提出总的网络模型。

可选的,上述步骤10211之前,所述方法还包括:

获取样本医学影像信息;

将所述样本医学影像信息作为所述编码器训练的输入特征,所述解码器基于所述编码器的输出,生成的还原医学影像信息作为所述编码器训练的输出特征,并将所述样本医学影像信息作为预测指标,对所述编码器进行训练。

这里,单独训练自编码器结构,使得网络模型能够生成有意义的影像特征。

可选的,上述步骤10221之前,所述方法还包括:

获取样本患者的文字描述类信息、样本生物医用材料的信息以及所述样本患者使用所述样本生物医用材料治疗后的真实治疗数据;

将所述样本患者的文字描述类信息和所述样本生物医用材料的信息,作为所述第二特征提取模型训练的输入特征,预测模型输出的治疗数据作为所述第二特征提取模型训练的输出特征,并将所述真实治疗数据作为预测指标,对所述第二特征提取模型进行训练。

这里,训练使用单独的数值特征数据来进行治疗数据的预测,可以得到一个训练完成的提取数值特征的第二特征提取模型。

值得注意的是,在训练第二特征提取模型时所使用的预测模型,除去输入层与最终的预测模型输入层节点数不同外,我们保持其他层与最终的预测模型一致。由此,我们可以得到一个训练完成的数值特征提取网络。

当第一特征提取模型和第二特征提取模型训练完成后,可固定住这两个网络模型的参数不变,将它们输出的特征数据进行拼接后输入预测模型中,训练迭代更新预测模型的参数。

可选的,上述步骤10232之前,所述方法还包括:

获取样本医学影像信息、样本患者的文字描述类信息、样本生物医用材料的信息,以及所述样本患者使用所述样本生物医用材料治疗后的真实治疗数据;

将所述样本医学影像信息输入到预先训练好的第一特征提取模型中,得到样本影像特征数据;

将所述样本患者的文字描述类信息和所述样本生物医用材料的信息,输入到预先训练好的第二特征提取模型中,得到样本数值特征数据;

将所述样本影像特征数据与所述样本数值特征数据拼接后的数据,作为训练所述预测模型的输入特征,并将所述预测模型输出的治疗数据作为训练的输出特征,以及将所述真实治疗数据作为预测指标,对所述预测模型进行训练;其中训练过程中,固定所述第一特征提取模型和所述第二特征提取模型的参数保持不变。

这里,当第一特征提取模型和第二特征提取模型训练完成后,可固定住这两个网络模型的参数不变,训练迭代更新预测模型的参数。

待各神经网络模型训练相对稳定后,可使用小学习率对整个网络进行训练,达到对网络进行微调的目的,进一步提升模型性能。

本发明实施例的医疗数据预测方法,采用多模态数据融合的方式,极大丰富了输入模型数据的信息量,有助于提升模型的预测准确率。

本发明实施例的医疗数据预测方法,可应用于人工晶体植入手术后的视力情况预测场景中,应用该方法在模型中加入患者术前的眼底图像等信息作为输入,结合广泛人群采样的人工晶体移植手术患者术前信息、眼部生理参数和植入的人工晶体信息构建深度学习模型,从而整合更多的术前信息,有助于提升模型预测的准确性。

本发明实施例的医疗数据预测方法,泛化性能好,能够适用于多种人工晶体植入手术场景,根据不同的场景调整训练的输入和输出即可,而不需要过多关注模型内部细节。例如本方法也适用于将预测目标修改为拱高,用于ICL晶体植入的场景中。

参见图3所示,本发明的实施例还提供了一种医疗数据预测系统300,包括:

第一获取模块301,用于获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息;

预测模块302,用于基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

本发明实施例的医疗数据预测系统300,基于融合了医学影像等多模态数据,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性,从而更好地指导目标生物医用材料的选型等。

可选的,预测模块302包括:

第一获取子模块,用于基于所述待预测患者的医学影像类信息,获取影像特征数据;

第二获取子模块,用于基于所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获取数值特征数据;

预测子模块,用于基于所述数值特征数据和所述影像特征数据,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

可选的,预测子模块包括:

拼接单元,用于将所述数值特征数据和所述影像特征数据进行拼接处理,获得总的特征数据;

预测单元,用于利用预先训练好的预测模型处理所述总的特征数据,获得所述预测模型输出的治疗数据预测值。

可选的,第一获取子模块包括:

第一获取单元,用于利用第一特征提取模型处理所述待预测患者的医学影像类信息,获得所述第一特征提取模型输出的影像特征数据;

第二获取子模块包括:

第二获取单元,用于利用第二特征提取模型处理所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,获得所述第二特征提取模型输出的数值特征数据。

可选的,第一特征提取模型包括编码器和解码器;

第一获取单元具体用于:

利用所述编码器处理所述待预测患者的医学影像类信息,获得所述编码器输出的影像特征数据。

可选的,第二获取单元具体用于:

将所述待预测患者的文字描述类信息和所述目标生物医用材料的信息,采用预设编码方式进行编码处理,获得编码信息;

将所述编码信息输入到所述第二特征提取模型中,获得所述第二特征提取模型输出的数值特征数据。

可选的,所述预测模型包括回归预测模型;预测单元具体用于:

利用所述回归预测模型处理所述总的特征数据,获得所述回归预测模型输出的治疗数据预测值。

可选的,所述预测模型包括分类预测模型;预测单元具体用于:

利用所述分类预测模型处理所述总的特征数据,获得所述分类预测模型输出的治疗数据预测类别值。

可选的,所述系统还包括:

第二获取模块,用于获取样本医学影像信息;

第一训练模块,用于将所述样本医学影像信息作为所述编码器训练的输入特征,所述解码器基于所述编码器的输出,生成的还原医学影像信息作为所述编码器训练的输出特征,并将所述样本医学影像信息作为预测指标,对所述编码器进行训练。

可选的,所述系统还包括:

第三获取模块,用于获取样本患者的文字描述类信息、样本生物医用材料的信息以及所述样本患者使用所述样本生物医用材料治疗后的真实治疗数据;

第二训练模块,用于将所述样本患者的文字描述类信息和所述样本生物医用材料的信息,作为所述第二特征提取模型训练的输入特征,预测模型输出的治疗数据作为所述第二特征提取模型训练的输出特征,并将所述真实治疗数据作为预测指标,对所述第二特征提取模型进行训练。

可选的,所述待预测患者的文字描述类信息包括以下至少一项:所述待预测患者的基本信息、检查信息、治疗记录信息;

所述目标生物医用材料的信息包括以下至少一项:所述目标生物医用材料的品牌、尺寸、型号、成分、用途。

本发明实施例的医疗数据预测系统300,基于融合了医学影像等多模态数据,对待预测患者的目标部位采用目标生物医用材料治疗后的治疗数据进行预测,能够有效提升预测的准确性,从而更好地指导目标生物医用材料的选型等。

对于上述系统实施例而言,由于其与方法实施例基本相似,相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备,该电子设备可以是服务器。如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。

存储器403,用于存放计算机程序。

处理器401用于执行存储器403上所存放的程序时,实现如下步骤:

获取对待预测患者的目标部位进行治疗之前,采集的所述待预测患者的信息以及目标生物医用材料的信息;其中所述待预测患者的信息包括医学影像类信息和文字描述类信息;

基于所述待预测患者的信息和所述目标生物医用材料的信息,对所述待预测患者的目标部位采用所述目标生物医用材料治疗后的治疗数据进行预测。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的医疗数据预测方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的医疗数据预测方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字患者线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,包含在本发明的保护范围内。

18页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种皮肤检测方法、系统及美容装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!