基于定量表征形变孪晶体积分数的图像处理方法与装置
阅读说明：本技术 基于定量表征形变孪晶体积分数的图像处理方法与装置 (Image processing method and device based on quantitative characterization deformation twin crystal volume fraction ) 是由 熊仁龙 刘燚 喻一鸣 吴和保 于 2021-07-06 设计创作，主要内容包括：本发明公开了一种基于定量表征形变孪晶体积分数的图像处理方法,包括以下步骤：对图像进行预处理,生成预处理图像；基于傅里叶定向滤波以及Frangi定向滤波对预处理图像作滤波处理及使用阈值分割方法进行图像分割,生成分割图像；去除分割图像的杂质得到处理后的过滤图像；若得到的过滤图像中,形变孪晶没有全部得到提取,则使用基于傅里叶定向滤波以及Frangi定向滤波对预处理图像作滤波处理及使用阈值分割方法进行图像分割,选取去噪的过滤图像中未提取的孪晶；拟合得出的最终结果即为形变孪晶的体积分数。本发明不受目标与背景对比度不强等因素的限制,应用于对形变孪晶的统计与分析,具有简单高效以及误差小的特点,具有很高的实际应用价值。(The invention discloses an image processing method based on quantitative characterization of deformation twin crystal volume fraction, which comprises the following steps: preprocessing the image to generate a preprocessed image; filtering the preprocessed image based on Fourier directional filtering and Frangi directional filtering, and performing image segmentation by using a threshold segmentation method to generate a segmented image; removing impurities of the segmented image to obtain a processed filtered image; if all deformation twin crystals are not extracted from the obtained filtered image, filtering the preprocessed image by using Fourier-based directional filtering and Frangi directional filtering and performing image segmentation by using a threshold segmentation method, and selecting the unextracted twin crystals from the denoised filtered image; and the final result obtained by fitting is the volume fraction of the deformation twin crystal. The method is not limited by factors such as low contrast between the target and the background, is applied to statistics and analysis of deformation twin crystals, has the characteristics of simplicity, high efficiency and small error, and has high practical application value.)
技术领域
本发明属于图像处理技术与材料表征领域，具体涉及一种基于定量表征形变孪晶体积分数的图像处理方法与装置。
背景技术
近些年来随着计算机的不断发展，图像处理技术已经成为科学研究中的重要领域，图像处理也逐渐在材料表征领域得到应用，特别是材料组织的定量表征。
TWIP(孪晶诱发塑性)钢具有高强度、良好延展性以及出色的成形性和能量吸收能力，这些优异的性能使其在汽车工业、造船和油气勘探等领域有十分潜在的应用价值。而其优异性能来源于形变孪晶实现的高应变硬化。由于形变孪晶的体积分数在TWIP钢中的力学行为的研究中非常重要，因此形变孪晶体积分数的定量表征具有重要意义。
形变孪晶的定量分析主要基于通过SEM，EBSD和TEM获得的微观结构图像。通常，将基于图像处理方法的形变孪晶的面积分数称为形变孪晶的体积分数。目前，可通过一种人工手绘增强SEM或者EBSD图像中的形变孪晶对比度，然后基于阈值分割的图像处理方法来测量形变孪晶的体积分数。但是，在前期的人工增强步骤，处理一张图像会花费研究人员大量时间和精力，尤其是在较大的孪晶体积分数下，这种方法可能会由于手动绘制而产生较大的测量误差。此外，还有一种通用的网格法来定量表征形变孪晶的体积分数。网格法是在包含形变孪晶的图像上截取一个矩形区域，然后在图像上制作等距的网格，通过测量带有形变孪晶的网格占总网格数的比例来估算形变孪晶的体积分数。但是，该方法需要花费大量时间来统计形变孪晶与网格相交的数量，并且可能会在处理图像时引起较大的人为误差。因此，上述的图像处理方法，在实际运用中都存在工作量大、难以大量处理以及人工误差等一系列问题，这些缺点对于我们准确定量地分析孪晶图像产生了限制。
发明内容
本发明的目的在于，提供一种基于定量表征形变孪晶体积分数的图像处理方法与装置，不受目标与背景对比度不强等因素的限制，应用于对形变孪晶的统计与分析，具有简单高效以及误差小的特点，具有很高的实际应用价值。
为解决上述技术问题，本发明所采取的技术方案为：基于定量表征形变孪晶体积分数的图像处理方法，包括以下步骤：
S1：对图像进行预处理，生成预处理图像；
S2：基于傅里叶定向滤波以及Frangi定向滤波对S1得到的预处理图像作滤波处理及使用阈值分割方法进行图像分割，生成分割图像；
S3：去除S2中分割图像的杂质得到处理后的过滤图像；
S4：若S3得到的过滤图像中，形变孪晶没有全部得到提取，则使用基于傅里叶定向滤波以及Frangi定向滤波对S1得到的预处理图像作滤波处理及使用阈值分割方法进行图像分割，对比S1以及S3的结果，选取S3的过滤图像中未提取的孪晶；
S5：结合S3以及S4的结果拟合得出的最终结果即为形变孪晶的体积分数。
所述的步骤S1中，具体步骤为：
S11：读取TEM图像，所述TEM图像为灰度图像；
S12：对步骤S11读取的TEM图像进行增强处理，其中图像增强方法为自适应直方图增强，用于提升形变孪晶在图像中的对比度。
所述的步骤S2中，具体步骤为：
S21：通过观察S1中的预处理图像得到形变孪晶不同的方向数量；
S22：根据S21得到的方向对S1得到的预处理图像进行傅里叶定向滤波处理；
S23：根据S21得到的方向对S22得到的第一滤波图像进行Frangi定向滤波处理；
S24：使用阈值分割方法将S23得到的第一Frangi图像二值化。
所述的步骤S22中傅里叶定向滤波的具体步骤为：
对预处理图像矩阵进行扩充；
根据孪晶方向构建定向滤波器；
对预处理图像进行傅里叶变换得到频谱图；
使用定向滤波器对频谱图进行滤波；
对滤波后的频谱图进行傅里叶反变换得到第一滤波图像。
所述的步骤S23中Frangi定向滤波的具体步骤为：
通过计算得到第一滤波图像的Hessian矩阵以及对应的两个特征值λ1和λ2及对应的特征向量v1和v2，其中λ1<λ2；
通过线性特征、灰度特征和方向特征构建响应函数增强孪晶信息。
所述的步骤S3中，具体步骤为：
S31：选择S2得到的分割图像中杂质所在的连通域并去除；
S32：选择S2得到的分割图像中的一个区域并去除这个区域内所有杂质；
所述的步骤S4中，具体步骤为：
S41：观察并输入缺失形变孪晶包含的方向；
S42：根据S41确定的方向对S1得到的预处理图像进行傅里叶定向滤波；
S43：根据S41确定的方向对S42得到的第二滤波图像进行Frangi定向滤波；
S44：使用阈值分割方法对S43得到的第二Frangi图像进行图像分割；
S45：选择S3中过滤图像中缺失的形变孪晶所在的连通域并保存；
所述的步骤S5中，具体步骤为：
S5：结合S3得到的第一结果以及S4得到的第二结果，拟合得到最终的结果即为形变孪晶的体积分数。
一种利用如上述基于定量表征形变孪晶体积分数的图像处理方法的装置，包括：
图像预处理模块，用于对图像进行预处理，生成预处理图像；
孪晶提取模块，用于根据傅里叶定向滤波以及Frangi定向滤波对图像预处理模块得到的预处理图像作滤波处理及使用阈值分割方法进行图像分割，生成分割图像；
图像去噪模块，用于去除孪晶提取模块中分割图像的杂质得到处理后的过滤图像；
孪晶补充提取模块，用于当图像去噪模块得到的过滤图像中，形变孪晶没有全部得到提取，则使用该模块根据傅里叶定向滤波以及Frangi定向滤波对图像预处理模块得到的预处理图像作滤波处理及使用阈值分割方法进行图像分割，对比图像预处理模块以及图像去噪模块的结果，选取图像去噪模块获取的过滤图像中未提取的孪晶；
图像结果模块，用于结合图像去噪模块以及孪晶补充提取模块获取的结果，拟合得出的最终结果即为形变孪晶的体积分数。
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如上述任一项所述的基于定量表征形变孪晶体积分数的图像处理方法。
与现有技术相比，本发明的有益效果为：
1.本发明的傅里叶定向滤波及Frangi定向滤波的图像处理方法，便捷且有效地表征计算在TEM图像中形变孪晶的体积分数，避免了人工误差，解决了处理数据量大、难以高效精确统计形变孪晶的问题，克服了现有图像处理技术在形变孪晶图像识别中存在的技术缺陷，实现了针对识别TEM图像中的特定物体即形变孪晶的功能。
2.本发明满足了定量统计分析形变孪晶的需求。
3.本发明在计算机的处理下完成，减少了工作量，在高效统计形变孪晶的体积分数时，结合人工监督，使得最终结果更加准确，避免了计算机程序的识别错误。
4.本发明的图像处理方法不受目标与背景对比度不强等因素的限制，应用于对形变孪晶的统计与分析，具有简单高效以及误差小的特点，具有很高的实际应用价值。
附图说明
图1为本发明实施例中方法的实现流程图；
图2(a)为本发明实施例的TWIP钢在拉断状态下的TEM原图；
图2(b)为TEM原图像经过图像增强处理后的图像；
图3(a)为本发明实施例中第一个方向的孪晶经过傅里叶定向滤波处理后的图像；
图3(b)为本发明实施例中第一个方向的孪晶经过Frangi定向滤波处理后的图像；
图3(c)为本发明实施例中第一个方向的孪晶经过阈值分割处理后的图像；
图3(d)为本发明实施例中第二个方向的孪晶经过傅里叶定向滤波处理后的图像；
图3(e)为本发明实施例中第二个方向的孪晶经过Frangi定向滤波处理后的图像；
图3(f)为本发明实施例中第二个方向的孪晶经过阈值分割处理后的图像；
图3(g)本发明实施例中结合两个方向的分割后的二值图并在增强后的TEM图像中标记后的图像；
图4(a)为本发明实施例中去除图3(g)中杂质后的图像；
图4(b)为本发明实施例中图4(a)中部分孪晶未被提取处的局部放大图；
图5(a)为本发明实施例中对图4(b)中显示的未被提取孪晶的方向上进行傅里叶定向滤波处理后的图像；
图5(b)为本发明实施例中对图4(b)中显示的未被提取孪晶的方向上进行Frangi定向滤波处理后的图像；
图5(c)为本发明实施例中对图4(b)中显示的未被提取孪晶的方向上进行阈值分割处理后的图像；
图5(d)本发明实施例中经过连通域选择后的二值图；
图6为本发明实施例中的最终结果图像；
图7(a)为本发明实施例中傅里叶定向滤波的原图；
图7(b)为本发明实施例中扩充图像矩阵后的图像；
图7(c)为本发明实施例中图7(b)中图像经傅里叶变换后的频谱图；
图7(d)为本发明实施例中根据孪晶方向构造的定向滤波后的图像，其中β为15°；
图7(e)为本发明实施例中图7(c)中图像经傅里叶定向滤波处理后的频谱图；
图7(f)为本发明实施例中图7(e)中图像经傅里叶反变换得到的傅里叶定向滤波结果图像；
图8为本发明实施例中装置的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1-图8，本发明的基于傅里叶定向滤波及Frangi定向滤波的快速统计形变孪晶的图像处理方法，包括以下步骤：
S1：对图像进行预处理；
S11：读取TEM图像，其中读取的图像为灰度图像；
S12：对步骤S11读取的图像进行增强处理，图像增强方法为自适应直方图增强，用于提升形变孪晶在图像中的对比度。
S2：基于傅里叶定向滤波以及Frangi定向滤波对S1得到的图像处理及使用阈值分割方法进行图像分割；
S21：通过观察S1中的图像得到形变孪晶不同的方向数量；
S22：根据S21得到的方向对S1得到的图像进行傅里叶定向滤波处理；
S23：根据S21得到的方向对S22得到的图像进行Frangi定向滤波处理；
S24：使用阈值分割方法将S23得到的图像二值化。
S3：去除S2中图像的杂质得到处理后的图像。
S31：选择S2得到的图像中杂质所在的连通域并去除；
S32：选择S2得到的图像中的一个区域并去除这个区域内所有杂质；
S4：若S3得到的结果中，形变孪晶没有全部得到提取，则使用基于傅里叶定向滤波以及Frangi定向滤波对S1得到的图像处理及使用阈值分割方法进行图像分割，对比S1以及S3的结果，选取S3结果中未提取的孪晶。
S41：观察并输入缺失形变孪晶包含的方向；
S42：根据S41确定的方向对S1得到的图像进行傅里叶定向滤波；
S43：根据S41确定的方向对S42得到的图像进行Frangi定向滤波；
S44：使用阈值分割方法对S43得到的图像进行图像分割；
S45：选择S3结果中缺失的形变孪晶所在的连通域并保存；
S5：结合S3以及S4的结果得出最终结果即形变孪晶的体积分数。
其中图5(d)中白色区域为违背提取的孪晶；图6中灰度部分为识别的形变孪晶。
其中图像处理装置包含图像预处理模块、孪晶提取模块、图像去噪模块、孪晶补充提取模块以及结果模块共5大模块。其中图像预处理模块中的图像处理方法对应图1中的步骤S1，孪晶提取模块中的图像处理方法对应图1中的步骤S2，图像去噪模块中的图像处理方法对应图1中的步骤S3，孪晶补充提取模块中的图像处理方法对应图1中的步骤S4，结果模块中的图像处理方法对应图1中的步骤S5。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。