阅读说明：本技术 一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法 (Molten state suspension ellipsoid droplet image processing algorithm based on double-camera vision ) 是由 钟秋 杨莉萍 李会东 陶冶 雒彩云 徐子君 汪文兵 于 2020-04-10 设计创作，主要内容包括：本发明公开一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法,包括通过两台相机采集标准球的标准球图像,根据采集到的标准球图像计算出两个相机图像的单个像元各自对应的实际尺寸；利用两台相机以规定的夹角同步采集液滴的图像,获得液滴的两个图像；建立液滴的椭球体二次曲面方程,对两个图像分别检测边缘轮廓线,建立边缘轮廓线的椭圆轮廓线方程；引入规定的夹角,根据两个椭圆轮廓线方程与椭球体二次曲面方程之间各参数的关系构建方程组；求解方程组,计算出液滴的各个半轴的长度；根据各个半轴的长度求出液滴的体积。(The invention discloses a molten state suspension ellipsoid droplet image processing algorithm based on dual-camera vision, which comprises the steps of collecting standard sphere images of a standard sphere by two cameras, and calculating the actual sizes corresponding to single pixels of the two camera images according to the collected standard sphere images; synchronously acquiring images of the liquid drops by using two cameras at a specified included angle to obtain two images of the liquid drops; establishing an ellipsoid quadric surface equation of the liquid drop, respectively detecting edge contour lines of the two images, and establishing an ellipse contour line equation of the edge contour lines; introducing a specified included angle, and constructing an equation set according to the relation of each parameter between two ellipse contour line equations and an ellipsoid quadric surface equation; solving an equation set, and calculating the length of each half shaft of the liquid drop; the volume of the drop is determined from the length of each half-axis.)

一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法

技术领域

本发明涉及无容器方法下的液态样品图像处理领域，具体涉及一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法。

背景技术

空间材料科学作为空间科学与应用领域中的重要分支，是传统的材料科学向空间环境下的延伸，是发展材料科学新理论、探索材料制备工艺和拓展材料应用新领域中最活跃的前沿性交叉学科之一。空间具有微重力、超真空、无容器和强辐射等特殊效应，是研究材料熔融、凝固等的理想试验条件。但是，人们迄今所能利用的空间资源仍然十分有限。因此，模拟空间环境中各种效应的地面方法应用而生。悬浮技术就是其中之一，它可以模拟空间环境中的无容器状态。在悬浮技术中，通过对悬浮液滴进行密度测量是使材料获得液态材料密度数据最有效的途径。在密度测量中，受到液滴自身表面张力的作用，无容器状态下的液态样品收缩成球形，因此通过相机拍摄样品图像，求得样品直径进而可以求得样品体积，最终结合样品质量测量结果，求得样品密度。

但样品在悬浮过程中，由于受到悬浮力、激光光压等作用力不均匀的影响，样品不可避免地会发生旋转。而在旋转作用下液态样品受到离心力的影响，样品形貌由球形变为椭球形，而且由于样品表面为光滑表面，无法判断椭球悬浮姿态，难以通过传统的双相机视觉法获取图像的三维信息进而求得样品体积，而使得通过椭球样品图像求取密度的准确性受到影响。

发明内容

发明要解决的问题：

针对上述问题，本发明的目的在于提供一种能改善无容器技术中测量精度的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法。

解决问题的技术手段：

本发明提供一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法，包括以下步骤：

1)通过两台相机采集标准球的标准球图像，根据采集到的所述标准球图像计算出两个相机图像的单个像元各自对应的实际尺寸；

2)利用所述两台相机以规定的夹角同步采集液滴的图像，获得所述液滴的两个图像；

3)建立所述液滴的椭球体二次曲面方程，对所述两个图像分别检测边缘轮廓线，建立所述边缘轮廓线的椭圆轮廓线方程；

4)引入所述规定的夹角，根据两个所述椭圆轮廓线方程与所述椭球体二次曲面方程之间各参数的关系构建方程组；

5)求解所述方程组，计算出所述液滴的各个半轴的长度；

6)根据所述各个半轴的长度求出所述液滴的体积。

根据本发明，利用两台相机同步采集呈旋转椭球体形状的液滴的图像，并根据两个图像建立轮廓线方程组，求解方程组得到液滴的长短轴进而求出液滴体积，由此即使是光滑表面且难以判断旋转轴的熔融态悬浮液滴也能精确地获取三维信息，从而高精度地计算出液滴体积。

也可以是，本发明中，所述步骤3)包括：利用对称正定矩阵构建所述液滴的椭球体二次曲面方程；使用阈值法对每个所述图像做二值化处理，通过边缘检测算法检测每个所述图像的边缘轮廓线，构建每个边缘轮廓线的椭圆轮廓线方程；将每个所述图像都视为各自y-z平面上的图像，提取每个所述边缘轮廓线上各点的坐标集合；采用最小二乘法得到每个所述椭圆轮廓线方程中各个参数的估算值。

也可以是，本发明中，所述步骤3)中，在检测每个所述图像的边缘轮廓线之后，使每个边缘轮廓线的中心位于各自对应的所述图像的中心。由此，能简化椭圆轮廓线方程，降低计算量。

也可以是，本发明中，所述步骤5)中，采用迭代法求出所述方程组中各个参数的最优解，通过所述对称正定矩阵计算出所述液滴的各个半轴的长度。

也可以是，本发明中，所述液滴形成为旋转椭球体形状；所述步骤6)中，利用聚类分析算法将所述各个半轴分类为第一半轴和第二半轴，求出所述第一半轴和所述第二半轴各自的平均值。

也可以是，本发明中，实验前后分别测量所述液滴并求出质量平均值，将所述质量平均值作为所述液滴的质量；根据所述液滴的体积及质量求出所述液滴的密度。由此能减少样品熔化过程中因挥发而引起的质量变化对密度测量结果造成的影响。

发明效果：

本发明能提高无容器技术中熔融态悬浮液滴的测量精度，改善椭球体样品体积计算的可靠性和准确性，为液态材料研究提供精确的数据支持。

附图说明

图1是根据本发明一实施形态的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法的无容器悬浮及成像系统的示意图；

图2是本发明的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法(以下简称图像处理算法)的流程图；

图3是示出在任意平面上夹有夹角的两台相机对液滴拍摄所采集到的图像和通过边缘检测得到与椭球体图像对应的轮廓线的图；

符号说明：

1、液滴；2、上电极；3、下电极；4、第一相机；5、第二相机；6、第一背景光源；7、第二背景光源。

具体实施方式

以下结合附图和下述实施方式进一步说明本发明，应理解，附图和下述实施方式仅用于说明本发明，而非限制本发明。

在此公开一种能改善无容器技术密度测量中的测量精度的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法。

本发明通过夹有夹角的两台相机拍摄无容器技术下的熔融态悬浮椭球液滴，提取相机图像中的轮廓线并构筑方程组来求出椭球液滴的体积，并进一步就出椭球液滴的密度。

图1是根据本发明一实施形态的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法的无容器悬浮及成像系统的示意图。如图1所示，本实施形态中，悬浮系统采用静电悬浮无容器方法，主要由上电极2、下电极3以及未图示的激光器、测温仪等构成。上电极2、下电极3可以是高压平行极板，产生的高压电场使带电荷的样品在库仑力的作用下抵消自身重力悬浮起来。当样品稳定悬浮之后，使用未图示的激光器对样品进行加热，且通过未图示的测温仪获取样品的温度，由此形成熔融态的液滴1。液滴1在悬浮力、激光光压等作用下以任意姿态旋转，并在旋转作用下受到离心力而由球形变为椭球形、具体而言变为旋转椭球型。

成像系统主要由第一相机4和相对应的第一背景光源6以及第二相机5和相对应的第二背景光源7两组成像装置构成。第一相机4与第二相机5例如可以是CCD相机，两者处于任意平面上且彼此之间夹有夹角α，主要用于从不同角度采集液滴1的图像。由于液滴1在熔融状态下自身发光，因此第一背景光源6及第二背景光源7主要用于减弱液滴1自身发光的影响，使对应的相机能获得清晰的图像。

图2是本发明的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法的流程图。以下参照图2详细说明本发明的基于双相机视觉的熔融态悬浮椭球液滴图像处理算法的主要步骤。

1)对相机成像图像进行标定，确定相机图像的单个像元所对应的实际尺寸。具体地，使用相机从任意角度对已知直径尺寸的标准球(例如可以是SiC球体)进行图像采集。根据两台相机分别采集到的标准球图像的直径像元数目与标准球的直径，计算得到两个相机图像的单个像元各自对应的实际尺寸。

图3是示出在任意平面上夹有夹角的两台相机对液滴拍摄所采集到的图像和通过边缘检测得到与椭球体图像对应的轮廓线的图。图3的左侧是两台相机各自采集到的椭球体液滴的图像，右侧是对两个图像分别进行边缘检测后得到图像的轮廓线。

2)使用夹有夹角α的两台相机对熔融态悬浮椭球液滴进行图像采集，相机位置如图1所示。获得如图3左侧所示的椭球体液滴的图像IM1和IM2。两台相机之间的夹角α可以是任意角度，优选为90°。

另外，在步骤1)和步骤2)中，也可以是仅使用一台相机从任意平面上相夹夹角α的两个位置分别对标准球或是液滴进行拍摄。

3)对图像IM1和IM2检测边缘轮廓线，并建立各自边缘轮廓线的椭圆轮廓线方程。

首先，对图像IM1和图像IM2分别使用阈值法对图像做二值化处理，并通过边缘检测算法检测得到如图3右侧所示的图像的边缘轮廓线。本实施形态中，优选采用otsu法求阈值对图像进行二值化处理，采用sobel算法对二值化后的图像进行边缘检测得到图像的边缘轮廓线。

由于悬浮液滴样品表面可以认为是完全光滑且旋转轴不确定，因此无法利用传统的双相机视觉方法通过提取特征点的方式对图像进行三维重构，需要对椭球进行二次曲面建模得到椭球体二次曲面方程。椭球二次曲面为三维正定二次型，因此椭球体二次曲面方程满足式(1)：

(X-X₀)^TA(X-X₀)＝1

其中，A是对称正定矩阵，X₀为坐标中心，X＝(x,y,z)^T为椭球面空间坐标。此处，为了便于处理，在本实施形态中使椭圆形状的边缘轮廓线的中心与各自图像的中心位置重合，即，使各边缘轮廓线的中心为各自图像的坐标系的坐标中心。此时，式(1)简化为X^T AX＝1。

接着，对于图像IM1与图像IM2，分别将它们视为两台相机沿不同的x轴(两根x轴之间的夹角为α)拍摄液滴而得到的样品图像，即图像IM1与图像IM2是各自y-z平面上的图像，边缘轮廓线上各点的x＝0，即X＝(0,y,z)^T，由此可得到图像的二维的椭圆轮廓线表达式。因此，基于简化后的式(1)，图像IM1与图像IM2的椭圆轮廓线表达式可表述为式(2)：

(0,y,z)^TA(0,y,z)＝1。

由于A是对称正定矩阵，因此可以假设A为：

将对称正定矩阵A代入式(2)，椭圆轮廓线表达式进一步简化为式(3)：

对于图像IM1，提取图像IM1的边缘轮廓线上各点的坐标集合{(Y₁,Z₁)|Y₁＝(y₁,y₂,…y_n)^T，Z₁＝(z₁,z₂,…z_n)^T}，并将其代入式(3)，可以得到椭圆轮廓线方程：

上式也可以表述为式(4)：

其中I_n是长度为n、元素为1的列向量。

同理，对于图像IM2也提取边缘轮廓线上各点的坐标集合{(Y₂,Z₂)|Y₂＝(y₁,y₂,…y_m)^T，Z₂＝(z₁,z₂,…z_m)^T}，代入式(3)后得到式(5)：

其中I_m是长度为m、元素为1的列向量。

然后，采用最小二乘法对式(4)和式(5)分别进行估算。图像IM1的椭圆轮廓线方程的各个参数d₁,e₁,f₁,的估算值为：

图像IM2的椭圆轮廓线方程的各个参数d₂,e₂,f ₂的估算值为：

4)考虑到两个相机以彼此之间夹着夹角α的形式对悬浮椭球液滴采集图像，因此图像IM1与图像IM2各自的平面实际上是彼此呈夹角α的两个平面，即图像IM1与图像IM2的椭圆轮廓线是同一椭球体上彼此夹着夹角α的两根轮廓线。因此，式(1)所述的椭球体二次曲面方程中参数a～f与式(4)和式(5)所述两个椭圆轮廓线方程中参数d₁,d₂,e₁,e₂,f₁,f₂之间存在如下关系：

其中，T为中间参数，α为两个相机夹角，d₁,d₂,e₁,e₂,f₁,f ₂如上述步骤3)所述分别通过图像IM1和IM2的椭圆轮廓线方程利用最小二乘法估算得到。

5)利用迭代法求解上述非线性二次方程组可求得二次曲面方程参数a～f的最优解，由此得到对称正定矩阵A。而对于对称正定矩阵A，存在特征向量(λ₁,λ₂,λ₃)和一个3×3的特征矩阵R，使得下式成立：

由此可以求出椭球体的三个半轴的长度：

6)由于熔融态液滴在悬浮状态下旋转，并在离心力的作用下形成为围绕自身短轴旋转的旋转椭球体形状，因此，对求得的椭球半轴长度L_a、L_b、L_c利用例如聚类分析算法中的K均值聚类(K-Means)算法将旋转椭球三个半轴按长度分为两类，一类为旋转椭球体长半轴长度，另一类为旋转椭球体短半轴长度，并分别求得它们的平均值，得到旋转椭球体液滴的长半轴L₁与短半轴L₂，最终获得悬浮态椭球液滴体积的表达式(6)：

另外，本实施形态中，在实验前后分两次测量液滴的质量并求出其质量平均值，将该质量平均值作为所述液滴的质量，再根据液滴的质量以及如上求出的液滴的体积求出液滴的密度。由此能减少样品熔化过程中因挥发而引起的质量变化对密度测量结果造成的影响。

下面进一步例举实施例以详细说明本发明。同样应理解，以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，本领域的技术人员根据本发明的上述内容作出的一些非本质的改进和调整均属于本发明的保护范围。下述示例具体的工艺参数等也仅是合适范围中的一个示例，即本领域技术人员可以通过本文的说明做合适的范围内选择，而并非要限定于下文示例的具体数值。

实施例

通过模拟软件在三维坐标系中分别构建一个任意姿态的旋转椭球体(长轴为4.2mm，短轴为3.5mm)和一个直径为5mm的标准球体。

1)使用相机对球体进行拍摄，图像分辨率为512×512像元。根据标准球图像直径像元数目与标准球直径，计算得到相机图像单个像元所对应的实际尺寸，本实施例中计算得到单个像元对应的实际尺寸为0.0318mm。

2)使用彼此之间夹有夹角α的两台相机对椭球体进行图像采集，获得图像IM1和IM2。本实施例中，两台相机彼此之间的夹角为103.42°。

3)利用对称正定矩阵A对液滴建立椭球体二次曲面方程，并使各边缘轮廓线的中心为各自图像的坐标系的坐标中心从而简化上述椭球体二次曲面方程。

接着采用otsu法求阈值对图像进行二值化处理，之后采用sobel算法对二值化后的图像进行边缘检测得到图像的边缘轮廓线，并针对图像IM1和图像IM2的边缘轮廓线分别建立椭圆轮廓线方程。将图像IM1和图像IM2各自视为两台相机沿彼此之间的夹角103.42°的两根x轴分别拍摄椭球体而得到的样品图像，并根据步骤1)中相机图像的标定结果，提取两个图像的由各自的边缘轮廓线上各点的实际坐标构成坐标集合。由此，重新整理并简化上述图像IM1和图像IM2的椭圆轮廓线方程。

然后利用最小二乘法对简化后的椭圆轮廓线方程进行估算，求出椭圆轮廓线方程中各个参数的估算值。

4)引入夹角α＝103.42°，结合两个椭圆轮廓线方程与椭球体二次曲面方程之间的几何关系，构建示出各参数之间的关系的方程组。

5)利用迭代法求解上述方程组，求出对称正定矩阵A中各参数的最优解，并通过求解该正定矩阵A的特征值计算出椭球体三个半轴的长度。

6)由于液滴为旋转椭球体，因此利用K均值聚类算法将三个半轴分为两类、即长半轴和短半轴。将长半轴与短半轴的平均值分别作为该液滴的长半轴L₁和短半轴L₂，并利用旋转椭球体的体积公式求出椭球体的体积。

本申请的图像处理算法计算出的椭球体体积与未使用本申请的图像处理算法求出的椭球体体积的结果比较参见下表。

[表1]

	长轴	短轴	体积	偏差
					实际液滴尺寸	2.1	1.75	32.33
本发明测量结果	2.13	1.77	33.64	4.05％
					只采用IM1图像测量结果	2.1	2.025	37.41	15.71％
只采用IM2图像测量结果	2.105	1.835	34.06	5.36％

从表1中可以看出，未使用本申请的图像处理算法时，计算得到的椭球体积偏差最大为15.71％，而使用本算法后，计算得到体积偏差为4.05％。因此本申请的图像处理算法能够改善椭球体体积计算的可靠性和准确性。

以上的具体实施方式对本发明的目的、技术方案和有益效果进行了进一步详细说明，应当理解的是，以上仅为本发明的一种具体实施方式而已，并不限于本发明的保护范围，在不脱离本发明的基本特征的宗旨下，本发明可体现为多种形式，因此本发明中的实施形态是用于说明而非限制，由于本发明的范围由权利要求限定而非由说明书限定，而且落在权利要求界定的范围，或其界定的范围的等价范围内的所有变化都应理解为包括在权利要求书中。凡在本发明的精神和原则之内的，所做出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。