基于卷积神经网络的染色体重要特征可视化方法及装置
阅读说明：本技术 基于卷积神经网络的染色体重要特征可视化方法及装置 (Chromosome important feature visualization method and device based on convolutional neural network ) 是由 张熠天 王琪 穆阳 彭伟雄 刘香永 于 2021-11-01 设计创作，主要内容包括：本发明提供了一种基于卷积神经网络的染色体重要特征可视化方法。所述方法包括如下步骤：用训练数据集训练预设的卷积神经网络模型；将训练数据集输入训练后的卷积神经网络模型,得到各个染色体图片的分类结果、权重结果及特征结果；将各个染色体图片的特征结果与其权重结果相乘得到各个染色体图片的第一重要度信息；将各个染色体图片的第一重要度信息平均映射到该染色体图片对应的染色体条带上,得到纵向重要度信息；根据纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析,得到并展示卷积神经网络模型识别各类染色体的重要条带特征,能够实现对卷积神经网络判别染色体类别的染色体重要条带特征的可视化展示。(The invention provides a chromosome important feature visualization method based on a convolutional neural network. The method comprises the following steps: training a preset convolutional neural network model by using a training data set; inputting the training data set into the trained convolutional neural network model to obtain a classification result, a weight result and a characteristic result of each chromosome picture; multiplying the characteristic result of each chromosome picture by the weight result of each chromosome picture to obtain first importance information of each chromosome picture; averagely mapping the first importance information of each chromosome picture to the chromosome strip corresponding to the chromosome picture to obtain longitudinal importance information; and carrying out statistical analysis on each chromosome picture according to the longitudinal importance information and the classification result of each chromosome picture to obtain and display important band features of the convolutional neural network model for identifying each chromosome, so that the visual display of the important band features of the chromosome for judging the chromosome category by the convolutional neural network can be realized.)
技术领域
本发明涉及智能医疗技术领域，尤其涉及一种基于卷积神经网络的染色体重要特征可视化方法及装置。
背景技术
人类染色体识别是医学遗传学的重要研究课题，其在医学临床诊断、辅助教学及科研等领域有着广泛的应用，它是判断人类遗传病的重要依据。随着人工智能的发展，卷积神经网络在图像处理领域应用广泛且十分有效。卷积神经网络在染色体的识别等方面取得了不错成效，拥有更高的准确度和更快的速度，能有效减轻医生的负担。
然而，在现有的技术中，虽然卷积神经网络在染色体的识别上已经达到了很高的精度，但是它并不能够完全代替人工识别，不能让人理解它所提取到的特征，无法实现对染色体重要条带特征可视化展示。
发明内容
本发明的目的在于一种基于卷积神经网络的染色体重要特征可视化方法及装置，能够实现对卷积神经网络判别染色体类别的染色体重要条带特征的可视化展示，便于建立医生对网络的信任，辅助医生识别染色体，同时便于研究者发现及学习不同类别的染色体之间的重要特征区别。
为实现上述目的，本发明提供了一种基于卷积神经网络的染色体重要特征可视化方法，包括如下步骤：
步骤S1、提供多张原始染色体图片，利用预设的拉直算法将各张原始染色体图片沿骨架线拉直得到多张训练图片，进而生成包括多张训练图片的训练数据集；
步骤S2、用所述训练数据集训练预设的卷积神经网络模型；
步骤S3、将训练数据集输入训练后的卷积神经网络模型，得到各个染色体图片的分类结果、权重结果及特征结果；其中，所述染色体图片的分类结果为所述卷积神经网络模型输出的该染色体图片中的染色体的类别；所述染色体图片的权重结果为卷积神经网络模型输出的该染色体图片中的染色体的类别对应的权重值；所述染色体图片的特征结果为卷积神经网络模型输出的该染色体图片的特征图值；
步骤S4、对各个染色体图片的特征结果与其权重结果进行加权处理，得到各个染色体图片的第一重要度信息；
步骤S5、将各个染色体图片的第一重要度信息平均映射到该染色体图片对应的染色体条带上，得到各个染色体图片的纵向重要度信息；
步骤S6、根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析，得到并展示所述卷积神经网络模型识别各类染色体的重要条带特征。
可选地，所述步骤S2中预设的卷积神经网络模型包括：依次连接的预处理模块、第一通道卷积层、第一最大池化层、第二通道卷积层、第二最大池化层、第三通道卷积层、第四通道卷积层、第三最大池化层、第五通道卷积层、第六通道卷积层、第四最大池化层、第七通道卷积层、第八通过卷积层、第九通过卷积层、全局平均池化层及全连接层；
所述染色体图片的分类结果为所述全连接层输出的该染色体图片中的染色体的类别；所述染色体图片的权重结果为所述全局平均池化层输出的该染色体图片中的染色体的类别对应的权重值；所述染色体图片的特征结果为第九通道卷积层输出的该染色体图片的特征图值。
可选地，所述预处理模块用于对改变训练图片的尺寸至预设尺寸，归一化训练图片的像素点值，以及对训练图片进行随机水平翻转和增加水平偏移的操作。
可选地，所述第一通道卷积层为64通道卷积层，第二通道卷积层为128通道卷积层，第三及第四通道卷积层为256通道卷积层，第五、第六、第七及第八通道卷积层为512通道卷积层，第九通道卷积层为1024通道卷积层；
所述第一至第九通道卷积层的卷积核的大小均为3×3，激活函数均为线性整流函数；
所述第一至第四最大池化层的池化区域均为2×2；
所述全连接层的激活函数为归一化指数函数；
所述第一至第九通道卷积层、第一至第四最大池化层、全局平均池化层及全连接层均加入参数0.001的L2正则化项防止过拟合。
可选地，所述步骤S2中采用交叉熵损失函数和随机梯度下降法预设的卷积神经网络模型。
可选地，所述第一重要度信息包括阵列分布的多个点位值；所述步骤S5中将第一重要度信息中每一行的点位值进行横向平均压缩，得到各个染色体图片的纵向重要度信息。
可选地，所述步骤S6中根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析具体包括：
将各张染色体图片的纵向重要度信息进行归一化处理；
对分类结果相同的染色体图片的归一化后的纵向重要度信息进行平均计算，得到每一类染色体图片的平均纵向重要度信息。
可选地，所述步骤S6中根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析具体包括：
对各张染色体图片的纵向重要度信息进行标记，为所述纵向重要度信息中数值最大的n个点位添加第一标记，其余点位添加第二标记；
对分类结果相同的染色体图片进行标记统计，计算每一个点位的标记比例，计算公式为：
Pij=Aij/Bi，其中P为所有分类结果为i的染色体图片的纵向重要度信息的第j个点位的标记比例，Aij为所有分类结果为i的染色体图片的纵向重要度信息的第j个点位被添加有第一标记的数量，Bi为分类结果为i的染色体图片的总数。
可选地，所述步骤S6中展示所述卷积神经网络模型识别各类染色体的重要条带特征具体包括：
将步骤S6中统计分析得到的统计结果采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示。
本发明还提供一种基于卷积神经网络的染色体重要特征可视化装置，采用上述的方法实现。
本发明的有益效果：本发明提供了一种基于卷积神经网络的染色体重要特征可视化方法，包括如下步骤：步骤S1、提供多张原始染色体图片，利用预设的拉直算法将各张原始染色体图片沿骨架线拉直得到多张训练图片，进而生成包括多张训练图片的训练数据集；步骤S2、用所述训练数据集训练预设的卷积神经网络模型；步骤S3、将训练数据集输入训练后的卷积神经网络模型，得到各个染色体图片的分类结果、权重结果及特征结果；步骤S4、对各个染色体图片的特征结果与其权重结果进行加权处理，得到各个染色体图片的第一重要度信息；步骤S5、将各个染色体图片的第一重要度信息平均映射到该染色体图片对应的染色体条带上，得到各个染色体图片的纵向重要度信息；步骤S6、根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析，得到并展示所述卷积神经网络模型识别各类染色体的重要条带特征，能够实现对卷积神经网络判别染色体类别的染色体重要条带特征的可视化展示，便于建立医生对网络的信任，辅助医生识别染色体，同时便于研究者发现及学习不同类别的染色体之间的重要特征区别。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的基于卷积神经网络的染色体重要特征可视化方法的流程图；
图2为本发明的基于卷积神经网络的染色体重要特征可视化方法的中的卷积神经网络的架构示意图；
图3为本发明的基于卷积神经网络的染色体重要特征可视化方法的一实施例的结果展示图
图4为本发明的基于卷积神经网络的染色体重要特征可视化方法的另一实施例的展示效果图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
请参阅图1，本发明首先提供一种基于卷积神经网络的染色体重要特征可视化方法，包括如下步骤：
步骤S1、提供多张原始染色体图片，利用预设的拉直算法将各张原始染色体图片沿骨架线拉直得到多张训练图片，进而生成包括多张训练图片的训练数据集。
具体地，所述步骤S1中还包括将经过拉直算法处理后效果不满足预设的处理标准的训练图片从训练数据集中剔除的步骤，进一步地，该剔除步骤可通过人工手动完成。
优选地，在本发明的一些实施例中，所述步骤S1提供612个案例，1224张原始染色体图片，该1224张原始染色体图片中X、Y性染色体数量的比例约为3:1。
步骤S2、用所述训练数据集训练预设的卷积神经网络模型。
具体地，在本发明的一些实施例中，所述预设的卷积神经网络模型包括：依次连接的预处理模块、多个通道卷积层、多个最大池化层、全局平均池化层及全连接层。
其中，所述预处理模块用于对改变训练图片的尺寸至预设尺寸，归一化训练图片的像素点值，以及对训练图片进行随机水平翻转和增加水平偏移的操作。
进一步地，如图2所示，在本发明的一些实施例中，所述步骤S2中预设的卷积神经网络模型包括：依次连接的预处理模块、第一通道卷积层10、第一最大池化层20、第二通道卷积层30、第二最大池化层40、第三通道卷积层50、第四通道卷积层60、第三最大池化层70、第五通道卷积层80、第六通道卷积层90、第四最大池化层100、第七通道卷积层110、第八通过卷积层120、第九通过卷积层130、全局平均池化层140及全连接层150；
优选地，如图2所示，在本发明的一些实施例中，所述第一通道卷积层10为64通道卷积层，第二通道卷积层30为128通道卷积层，第三通道卷积层50及第四通道卷积层60为256通道卷积层，第五通道卷积层80、第六通道卷积层90、第七通道卷积层110及第八通道卷积层120为512通道卷积层，第九通道卷积层130为1024通道卷积层；
优选地，所述第一至第九通道卷积层的卷积核的大小均为3×3，激活函数均为线性整流函数（Rectified Linear Unit， ReLU）；所述第一至第四最大池化层的池化区域均为2×2；所述全连接层的激活函数为归一化指数函数（Softmax）；所述第一至第九通道卷积层、第一至第四最大池化层、全局平均池化层及全连接层均加入参数0.001的L2正则化项防止过拟合。
进一步地，所述步骤S2中采用交叉熵损失函数和随机梯度下降法预设的卷积神经网络模型。
详细地，在本发明的一些实施例中，所述预处理模块将改变训练的图片大小至（240，80），像素点值归一化到0~1之间，随机水平翻转，增加水平偏移，竖直方向为条带对应和防止条带丢失不做处理。
步骤S3、将训练数据集输入训练后的卷积神经网络模型，得到各个染色体图片的分类结果、权重结果及特征结果；其中，所述染色体图片的分类结果为所述卷积神经网络模型输出的该染色体图片中的染色体的类别；所述染色体图片的权重结果为卷积神经网络模型输出的该染色体图片中的染色体的类别对应的权重值；所述染色体图片的特征结果为卷积神经网络模型输出的该染色体图片的特征图值。
具体地，所述染色体图片的分类结果为所述全连接层输出的该染色体图片中的染色体的类别；所述染色体图片的权重结果为所述全局平均池化层输出的该染色体图片中的染色体的类别对应的权重值；所述染色体图片的特征结果为第九通道卷积层输出的该染色体图片的特征图值。
步骤S4、对各个染色体图片的特征结果与其权重结果进行加权处理，得到各个染色体图片的第一重要度信息。
举例来说，将一张染色体图片输入训练后的卷积神经网络模型中，得到1024维15*5特征图和对应类别的权重，将二者加权后得到如表1所示的15*5总体特征图，所述总体特征图上的点值能够反应该张染色体图片不同空间位置对染色体分类识别的重要度，其中，所述1024维15*5特征图即为该染色体图片的特征结果，所述对应类别的权重即为该染色体图片的权重结果，所述15*5的总体特征图即为所述染色体图片的第一重要度信息。
表1、一张染色体图片的第一重要度信息
步骤S5、将各个染色体图片的第一重要度信息平均映射到该染色体图片对应的染色体条带上，得到各个染色体图片的纵向重要度信息。
具体地，所述第一重要度信息包括阵列分布的多个点位值；所述步骤S5中将第一重要度信息中每一行的点位值进行横向平均压缩，得到各个染色体图片的纵向重要度信息。
以表1所示实施例为例，所述染色体图片的第一重要度信息包括呈15行5列分布的75个点位值，所述步骤S5中将第一重要度信息中每一行的点位值进行横向平均压缩，得到所述染色体图片的纵向重要度信息，如表2所示，所述染色体图片的纵向重要度信息包括呈15行1列分布的15个点位值。
表2、一张染色体图片的纵向重要度信息
步骤S6、根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析，得到并展示所述卷积神经网络模型识别各类染色体的重要条带特征。
具体地，所述步骤S6中根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析具体包括：
将各张染色体图片的纵向重要度信息进行归一化处理；
对分类结果相同的染色体图片的归一化后的纵向重要度信息进行平均计算，得到每一类染色体图片的平均纵向重要度信息。
以表2为例，所述将各张染色体图片的纵向重要度信息进行归一化处理的具体方法为：将该张染色体图片的纵向重要度信息中的每一个点位值除以该纵向重要度信息中最大的一个点位值，得到如表3所示的该张染色体图片的归一化后的纵向重要度信息。
表3、一张染色体图片的归一化后的纵向重要度信息；
对分类结果相同的染色体图片的归一化后的纵向重要度信息进行平均计算，得到每一类染色体图片的平均纵向重要度信息，举例来说，如类别为B号的染色体图片为100张，则类别为B号的染色体图片对应有100个归一化后的纵向重要度信息，计算该100个归一化后的纵向重要度信息的平均值，则可以得到如表4所示的类别为B号的染色体图片的平均纵向重要度信息，B为正整数。
表4、类别为B号的染色体图片的平均纵向重要度信息
具体地，所述步骤S6中展示所述卷积神经网络模型识别各类染色体的重要条带特征具体包括：将步骤S6中统计分析得到的统计结果采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示。
以表4为例，所述将步骤S6中统计分析得到的统计结果采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示，具体为将表4采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示，展示结果如图3所示，根据图3所示，研究人员能够发现识别类别B号的染色体的重要条带特征。
进一步地，在本发明的另一些实施例中，所述步骤S6中根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析具体包括：
对各张染色体图片的纵向重要度信息进行标记，为所述纵向重要度信息中数值最大的n个点位添加第一标记，其余位置添加第二标记；
对分类结果相同的染色体图片进行标记统计，计算每一个点位的标记比例，计算公式为：
Pij=Aij/Bi，其中P为所有分类结果为i的染色体图片的纵向重要度信息的第j个点位的标记比例，Aij为所有分类结果为i的染色体图片的纵向重要度信息的第j个点位被添加有第一标记的数量，Bi为分类结果为i的染色体图片的总数。
以表2为例，为所述纵向重要度信息中数值最大的4个点位添加第一标记，所述第一标记为“1”，第二标记为“0”，标记后的一张染色体图片的纵向重要度信息，如表5所示。
表5、标记后的一张染色体图片的纵向重要度信息；
以表5为例，对分类结果相同的染色体图片进行标记统计，计算每一个点位的标记比例，举例来说，如类别为B号的染色体图片为100张，则类别为B号的染色体图片对应有100个标记后的纵向重要度信息，统计每一个点位被添加有标记“1”的占比，进而得到表6。
表6、类别为B号的染色体图片的标记比例；
以表4为例，所述将步骤S6中统计分析得到的统计结果采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示，具体为将表6采用柱状图的方式与所述训练数据集对应的模式图或训练数据集的平均图进行对比展示，展示结果如图4所示，根据图4所示，研究人员能够发现识别类别B号的染色体的重要条带特征。
基于上述的发明思路，本发明还提供一种基于卷积神经网络的染色体重要特征可视化装置，采用上述的方法实现。
综上所述，本发明提供了一种基于卷积神经网络的染色体重要特征可视化方法，包括如下步骤：步骤S1、提供多张原始染色体图片，利用预设的拉直算法将各张原始染色体图片沿骨架线拉直得到多张训练图片，进而生成包括多张训练图片的训练数据集；步骤S2、用所述训练数据集训练预设的卷积神经网络模型；步骤S3、将训练数据集输入训练后的卷积神经网络模型，得到各个染色体图片的分类结果、权重结果及特征结果；步骤S4、对各个染色体图片的特征结果与其权重结果进行加权处理，得到各个染色体图片的第一重要度信息；步骤S5、将各个染色体图片的第一重要度信息平均映射到该染色体图片对应的染色体条带上，得到各个染色体图片的纵向重要度信息；步骤S6、根据各个染色体图片的纵向重要度信息及各个染色体图片的分类结果对各个染色体图片进行统计分析，得到并展示所述卷积神经网络模型识别各类染色体的重要条带特征，能够实现对卷积神经网络判别染色体类别的染色体重要条带特征的可视化展示，便于建立医生对网络的信任，辅助医生识别染色体，同时便于研究者发现及学习不同类别的染色体之间的重要特征区别。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。