一种吸头图像处理方法、装置和吸头图像处理设备

文档序号:192558 发布日期:2021-11-02 浏览:14次 >En<

阅读说明:本技术 一种吸头图像处理方法、装置和吸头图像处理设备 (Sucker image processing method and device and sucker image processing equipment ) 是由 林贵文 严欢 汪建德 于 2021-06-29 设计创作,主要内容包括:本发明实施例涉及一种吸头图像处理方法、装置和吸头图像处理设备,所述方法包括:获取吸头图像;对所述吸头图像进行初次二值化,得到有效区域图;对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;在所述梯度二值化图中确定存在吸头时,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置;根据所述吸头轮廓,判断所述边缘检测图中是否存在有效缺陷;若存在所述有效缺陷,则根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量。本发明实施例能够判断吸头内部的吸样情况,且判断吸样质量。(The embodiment of the invention relates to a sucker image processing method, a sucker image processing device and sucker image processing equipment, wherein the method comprises the following steps: acquiring a suction head image; carrying out primary binarization on the suction head image to obtain an effective area image; performing gradient edge detection on the effective region image to obtain an edge detection image, and performing gradient binarization processing on the edge detection image to obtain a gradient binarization image; when a suction head is determined to exist in the gradient binary image, carrying out suction head feature extraction on the effective area image to obtain suction head features, wherein the suction head features comprise a suction head outline and a suction head liquid level position; judging whether effective defects exist in the edge detection image or not according to the suction head profile; and if the effective defects exist, judging the sample sucking quality according to the characteristics of the effective defects and the liquid level position of the sucking head. The embodiment of the invention can judge the sample sucking condition in the suction head and judge the sample sucking quality.)

一种吸头图像处理方法、装置和吸头图像处理设备

技术领域

本发明实施例涉及医疗设备技术领域,特别涉及一种吸头图像处理方法、装置和吸头图像处理设备。

背景技术

核酸检测流程大致可分为三个步骤:样本采集、核酸提取、PCR扩增与分析。在完成样本采集后,需要将病毒采样管内的待测样本分装到深孔板中,用于后续的核酸提取。

现有的自动分杯系统能够降低实验人员与病毒样本的接触,降低出错概率和生物暴露风险。

然而,现有的自动分杯系统采用的导电吸头,能够实现对病毒样本的分装处理,但是却无法判断在分装过程中吸头内部的吸样情况。

发明内容

本发明实施例的目的是提供一种吸头图像处理方法、装置和吸头图像处理设备,能够判断吸头内部的吸样情况,且判断吸样质量。

第一方面,本发明实施例提供了一种吸头图像处理方法,所述方法包括:

获取吸头图像;

对所述吸头图像进行初次二值化,得到有效区域图;

对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;

在所述梯度二值化图中确定存在吸头时,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置;

根据所述吸头轮廓,判断所述边缘检测图中是否存在有效缺陷;

若存在所述有效缺陷,则根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量。

在一些实施例中,所述方法还包括:

如果所述梯度二值化图的像素总和大于第一阈值,则判定所述梯度二值化图中存在吸头;

如果所述梯度二值化图的像素总和不大于所述第一阈值,则判定所述梯度二值化图中不存在吸头。

在一些实施例中,所述对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置,包括:

在所述梯度二值化图中确定吸头根节点查找范围,并在所述有效区域图中查找吸头根节点;

以所述吸头根节点为起点,往吸头顶点方向,且以两边轮廓所在的第二阈值的像素范围,在所述有效区域图中查找局部灰度最小值,得到吸头的两边轮廓;

根据所述吸头的两边轮廓,确定吸头顶点,并根据所述吸头的两边轮廓及所述吸头顶点确定吸头轮廓,且,根据所述吸头的两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置。

在一些实施例中,所述在所述梯度二值化图中确定吸头根节点查找范围,并在所述有效区域图中查找根节点,包括:

在所述梯度二值化图的吸头根部位置所在列,在所述有效区域图中确定根节点的查找范围;

利用根节点的灰度局部最小值的特征,在所述有效区域图的所述查找范围内找到吸头根节点。

在一些实施例中,所述根据所述吸头的两边轮廓,确定吸头顶点,包括:

将所述吸头的两边轮廓的交点确定为所述吸头顶点;

在一些实施例中,所述两边轮廓包括上轮廓和下轮廓;所述根据所述吸头的两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置,包括:

计算所述上轮廓和下轮廓的灰度序列的灰度一阶差分,得到灰度一阶差分序列;

根据所述灰度一阶差分序列,分别计算上轮廓及下轮廓的液面位置候选点;

若在所述上轮廓及下轮廓的灰度一阶差分序列中分别查找到满足预设条件的一阶差分值,则判定吸到样本,其中,所述预设条件为灰度一阶差分序列中的一阶差分值小于第三阈值的负尖峰的点,且上轮廓或下轮廓负尖峰点对应位置距离不超过2;

对满足所述预设条件的所述灰度一阶差分中的上轮廓的负尖峰点位置及下轮廓的负尖峰点位置求均值,得到吸头液面位置。

在一些实施例中,所述根据所述灰度一阶差分序列,分别计算上轮廓及下轮廓的液面位置候选点,包括:

将所述灰度一阶差分序列中的负尖峰作为上轮廓及下轮廓的液面位置候选点。

在一些实施例中,所述方法还包括:

若在所述灰度一阶差分序列中查找不到一阶差分值小于所述第三阈值的负尖峰序列的点,则判定没有吸到样本。

在一些实施例中,所述根据所述吸头轮廓,判断所述边缘检测图中是否存在有效缺陷,包括:

在所述边缘检测图中去除所述吸头轮廓,得到缺陷轮廓图;

计算所述缺陷轮廓图中各个轮廓的面积,若所述缺陷轮廓图中存在轮廓面积不小于第五阈值的轮廓,则判定所述缺陷轮廓图中存在有效缺陷;

若所述缺陷轮廓图中的存在轮廓面积小于所述第五阈值的轮廓,则将轮廓面积小于所述第五阈值的轮廓判定为无效缺陷,在将所述无效缺陷去除后,若不存在轮廓面积不小于所述第五阈值的轮廓,判定吸样合格。

在一些实施例中,所述在所述边缘检测图中去除所述吸头轮廓,得到缺陷轮廓图,包括:

在所述边缘检测图中,将所述吸头轮廓所在的第四阈值范围内的邻近像素值设为0,得到缺陷轮廓图。

在一些实施例中,所述根据有效缺陷的特征及所述吸头液面位置判断吸样质量,包括:

标记所述有效缺陷;

若所述有效缺陷的中心在所述吸头轮廓的外部或是所述吸头液面位置到所述吸头顶点之间以外的位置,则判定为样本挂壁;

若有效缺陷的中心在所述吸头轮廓的内部或是在所述吸头液面位置到所述吸头顶点之间以内的位置,则计算所述有效缺陷的缺陷特征;

若所述缺陷特征对应的缺陷轮廓的圆度大于所述第五阈值,则判定为气泡,否则判定为样本挂壁。

在一些实施例中,所述对所述吸头图像进行初次二值化,得到有效区域图,包括:

对所述吸头图像进行滤波处理。

在一些实施例中,所述对所述吸头图像进行初次二值化,得到有效区域图,包括:

对所述吸头图像进行初次二值化,得到二值图像;

对所述二值图像分别在水平方向和垂直方向进行像素求和,得到水平投影序列和垂直投影序列;

分别查找所述水平投影序列和垂直投影序列中不为零的起点位置和终端位置,作为所述吸头图像的有效区域的边界;

根据所述吸头图像的有效区域的边界,获得所述有效区域图。

第二方面,本发明实施例提供了一种吸头图像处理装置,所述装置包括:

获取模块,用于获取吸头图像;

二值化模块,用于对所述吸头图像进行初次二值化,得到有效区域图;

梯度检测模块,用于对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;

特征提取模块,用于在所述梯度二值化图中确定存在吸头时,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置;

缺陷判断模块,用于根据所述吸头轮廓,判断所述边缘检测图中是否存在有效缺陷;

吸样质量判断模块,用于若存在所述有效缺陷,则根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量。

第三方面,本发明实施例提供了一种吸头图像处理设备,所述吸头图像处理设备包括:

至少一个处理器,以及

存储器,所述存储器与所述至少一个处理器通信连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的方法。

第四方面,本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被吸头图像处理设备执行时,使所述吸头图像处理设备执行如上所述的方法。

本发明实施例的吸头图像处理方法、装置和吸头图像处理设备,在获取吸头图像后,对所述吸头图像进行初次二值化,定位具有吸头的有效区域图;对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;利用梯度二值化图确定存在吸头时,对所述有效区域图进行吸头特征提取,获得包括吸头轮廓及吸头液面位置的吸头特征;然后,根据吸头轮廓,判断边缘检测图中是否存在有效缺陷,从而可以判断该吸头图像对应的吸样情况是否合格;若存在有效缺陷,还可以根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量,从而可以准确判断吸样质量。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。

图1是本发明吸头图像处理方法的一个实施例的场景示意图;

图2是本发明吸头图像处理方法的一个实施例的流程示意图;

图3是本发明吸头图像处理方法的一个实施例的吸头图像的原始图;

图4是本发明吸头图像处理方法的一个实施例的对吸头图像滤波后的图像;

图5是本发明吸头图像处理方法的一个实施例的对滤波后图像二值化后图像;

图6是本发明吸头图像处理方法的一个实施例的有效区域图;

图7是本发明吸头图像处理方法的一个实施例的梯度边缘检测图;

图8是本发明吸头图像处理方法的一个实施例的梯度二值化图;

图9是本发明吸头图像处理方法的一个实施例的边缘检测图;

图10是本发明吸头图像处理方法的一个实施例的缺陷图;

图11是本发明吸头图像处理方法的一个实施例的缺陷定位图;

图12是本发明吸头图像处理装置的一个实施例的结构示意图;

图13是本发明吸头图像处理装置的一个实施例的结构示意图;

图14是本发明吸头图像处理设备的一个实施例中控制器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供的吸头图像处理方法和装置可以应用于吸头图像处理设备。

可以理解的是,吸头图像处理设备中,设置有控制器,作为主控中心,判断吸头内部的吸样情况,且判断吸样质量。

并且,该吸头图像处理设备中,还设有摄像头,进行吸头图像采集,如图1所示,摄像头设置在自动分杯系统的加样组件吸头部位的一侧面,用于拍摄自动分杯系统的加样组件吸头部位的图像,加样组件吸头部位的另一侧设置有背光源,以满足摄像头对加样组件吸头部位拍摄时的环境。

自动分杯系统能够实现病采样管开盖、样本吸取与转移、病毒采样管关盖、消毒和过滤等功能,利用摄像头对自动分杯系统的加样组件吸头部位进行实时图像采集,能够对吸样情况进行实时分析,判断吸样量是否准确,是否有样本挂液在吸头外壁,是否吸入气泡,为后续的PCR扩增与分析DNA的准确性奠定基础。

请参阅图2,图2为本发明实施例提供的吸头图像处理方法的流程示意图,所述方法可以由吸头图像处理设备中的控制器13执行,如图1所示,所述方法包括:

101:获取吸头图像。

具体地,可以通过如图1的摄像头获取吸头图像,吸头图像为自动分杯系统的加样组件吸头部位对应的图像。

并且,摄像头采集到吸头图像后,如图3所示,采集得到原始的吸头图像,对吸头图像进行预处理。

在其中一些实施方式中,由于图像中通常会有噪声,为了降低噪声带来的影响,对吸头图像进行预处理,具体地,所述方法还可以包括:

对所述吸头图像进行滤波处理。

更具体地,对所述吸头图像进行滤波处理时,可以采用中值滤波和均值滤波结合的处理方式。在获取吸头图像后,利用中值滤波方式去除灰度异常跳变点,采用的中值滤波的公式1如下:

其中,f1(x,y)表示吸头图像中(x,y)点处的输出灰度值;Sxy表示中心在点(x,y)处、大小为m*n的矩形子图像窗口的一组坐标;median为取一组数据中值的操作;g1(s,t)表示滤波前图像(s,t)点处的输入灰度值。

在得到输出灰度值f1(x,y)后,为了进一步减小噪声对后续操作的影响,对输出灰度值f1(x,y)进行均值滤波处理,均值滤波为公式2如下:

其中,f1(s,t)为中值滤波后的图像,作为均值滤波的输入,滤波处理后得到滤波后图像Blur_Image,如附图4所示,原始吸头图像与经过滤波处理后的吸头图像对比,滤波处理可明显抑制图像噪声。

102:对所述吸头图像进行初次二值化,得到有效区域图。

在得到滤波处理后的吸头图像后,对滤波处理后的吸头图像进行初次二值化处理,得到二值图像,如图5所示,然后,在二值图像中确定待分析的有效区域图,具体可以包括:

对所述二值图像分别在水平方向和垂直方向进行像素求和,得到水平投影序列和垂直投影序列;

分别查找所述水平投影序列和垂直投影序列中不为零的起点位置和终端位置,作为所述吸头图像的有效区域的边界;

根据所述吸头图像的有效区域的边界,获得所述有效区域图。

具体地,对所述二值图像分别在水平方向和垂直方向进行像素求和,得到水平投影序列和垂直投影序列,水平投影序列的计算方式为公式3,垂直投影序列的计算方式为公式4:

其中,Binary_Image为二值化后的图像;Binary_Image(i,j)为二值化后图像的第i行第j列的像素灰度值;width为图像宽度,height为图像高度;i是1到图像宽度width之间的整数;j是1到图像高度Height之间的整数。

然后,分别查找Horizontal_array和Vertical_array两个序列中,数值不为零的起点位置和终点位置,作为吸头图像有效区域的边界。从滤波后的图像中,截取待分析的有效区域,得到有效区域图ROI_Image,如图6所示。

103:对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图。

梯度二值化图可以用来判断有无吸头,以及用来定位吸头根节点。

边缘检测图则用于检测缺陷。

具体地,可以采用scharr算子对待分析的有效区域图ROI_Image进行梯度边缘检测。即分别计算水平方向和垂直方向的梯度图,得到水平方向梯度结果和垂直方向梯度结果,然后,把水平方向梯度结果和垂直方向梯度结果按照预设权重(如0.5的权重)进行图像融合,即两个方向梯度图叠加后得到完整的梯度边缘检测图Gradient_Image,如图7所示。

使用scharr算子能够获取到图像更多的梯度细节,确保在后续操作中能够查找到吸头根节点。如果直接采用Canny算法进行边缘检测,根节点位置的信息可能被剔除,导致无法定位根节点,从而无法进一步查找吸头的上轮廓、下轮廓。

在得到如图7所示的梯度边缘检测图Gradient_Image后,由于梯度二值化图Gradient_Image中存在较多的环形噪声,因此,需要进行图像形态学处理,即对梯度边缘检测图Gradient_Image进行开操作处理,以减小杂线带来的干扰,得到去除杂线后的形态学图像Morph_Image。

在得到去除杂线后的形态学图像Morph_Image后,对形态学图像Morph_Image进行二值化处理,得到二值形态学图像Binary_Image2,二值形态学图像Binary_Image2作为所述梯度二值化图。如图8所示,二值化后图像保留了吸头部分有效数据。

104:在所述梯度二值化图中确定存在吸头时,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置。

由于是检测吸头内的吸样情况,因此,需要检测梯度二值化图中是否存在吸头,在其中一些实施方式中,所述方法还可以包括:

如果所述梯度二值化图的像素总和大于第一阈值,则判定所述梯度二值化图中存在吸头;

如果所述梯度二值化图的像素总和不大于所述第一阈值,则判定所述梯度二值化图中不存在吸头。

具体地,计算梯度二值化图(二值形态学图像Binary_Image2)中所有像素总和,如果像素总和大于第一阈值Th1,则判定所述梯度二值化图中存在吸头;如果像素总和不大于所述第一阈值Th1,则判定所述梯度二值化图中不存在吸头,并且,给出无吸头的提示。像素总和为公式5:

通过利用梯度二值化图判断吸头图像中是否存在吸头,有效提高吸头检验的准确性。

在其中一些实施方式中,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置,可以包括:

在所述梯度二值化图中确定吸头根节点的查找范围,并在所述有效区域图中查找吸头根节点;

以所述吸头根节点为起点,往吸头顶点方向,且以两边轮廓所在的第二阈值的像素范围,在所述有效区域图中查找局部灰度最小值,得到吸头的两边轮廓;

根据所述吸头的两边轮廓,确定吸头顶点,并根据所述吸头的两边轮廓及所述吸头顶点确定吸头轮廓,且,根据所述吸头的两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置。

具体地,在得到如图8所示的梯度二值化图(二值形态学图像Binary_Image2)后,在二值形态学图像Binary_Image2中确定吸头根节点的查找范围,查找时,在所述梯度二值化图(二值形态学图像Binary_Image2)的吸头根部位置所在列,即最后一列,在所述有效区域图中确定根节点的查找范围;利用根节点的灰度局部最小值的特征,在所述有效区域图的所述查找范围内找到吸头根节点。

进一步地,在吸头根部位置所在列,从上至下查找首个不为零的像素位置P_upper,从下往上查找首个不为零的像素位置P_lower,假设P_upper与P_lower的中点位置为P_mid,则上根节点的查找范围为[P_upper,P_mid],下根节点的查找范围为[P_mid,P_lower]。根据轮廓为灰度局部最小值的特征,在查找范围内寻找吸头上根节点Root_Upper和下根节点Root_Lower,从而得到包括吸头上根节点Root_Upper和下根节点Root_Lower的吸头根节点。

在找到吸头上根节点Root_Upper和下根节点Root_Lower后,分别以吸头上根节点Root_Upper和下根节点Root_Lower为起点,往吸头方向进行吸头的下一个轮廓点的查找。确定的查找范围为:以上一个轮廓点所在位置为基准,在垂直方向分别向上、下两边拓展第二阈值Th2个像素范围,纵向查找下一个局部灰度最小值点,即轮廓点,直到遍历完ROI_Image宽度内的点。轮廓点序列的计算方法如下:

Boundary_upper[i]=min(ROI_Image(i,j-Th2),...,ROI_Image(i,j+Th2)) 公式6;

Boundary_lower[i]=min(ROI_Image(i,j-Th2),...,ROI_Image(i,j+Th2)) 公式7;

其中,min为取数据序列中最小值的操作,Boundary_upper为吸头的上轮廓,Boundary_lower为吸头的下轮廓;i为1到ROI_Image宽度之间的整数;j为上一个轮廓点所在的纵坐标、范围为1到ROI_Image高度之间的整数。

将得到吸头的上轮廓Boundary_upper及吸头的下轮廓Boundary_lower后,作为吸头的两边轮廓。

然后,根据吸头的两边轮廓,确定吸头顶点,将所述两边轮廓的交点确定为所述吸头顶点,即吸头的上轮廓Boundary_upper及吸头的下轮廓Boundary_lower之间的交点为吸头顶点Root_Top。

并且,根据所述吸头的两边轮廓及所述吸头顶点确定吸头轮廓,即吸头的上轮廓Boundary_upper、吸头的下轮廓Boundary_lower及吸头顶点Root_Top围合形成吸头轮廓。

同时,根据所述吸头的两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置。具体地,在其中一些实施方式中,根据所述两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置,可以包括:

计算所述上轮廓和下轮廓的灰度序列的灰度一阶差分,得到灰度一阶差分序列;

根据所述灰度一阶差分序列,分别计算上轮廓及下轮廓的液面位置候选点;

若在所述上轮廓及下轮廓的灰度一阶差分序列中分别查找到满足预设条件的一阶差分值,则判定吸到样本,其中,所述预设条件为灰度一阶差分序列中的一阶差分值小于第三阈值的负尖峰的点,且上轮廓或下轮廓负尖峰点对应位置距离不超过2;

对满足所述预设条件的所述灰度一阶差分中的上轮廓的负尖峰点位置及下轮廓的负尖峰点位置求均值,得到吸头液面位置。

在确定吸头液面位置时,首先,计算上轮廓和下轮廓的灰度序列的灰度一阶差分,得到灰度一阶差分序列,即分别求出吸头的上轮廓Boundary_upper的灰度一阶差分序列和吸头的下轮廓Boundary_lower的灰度一阶差分序列,具体的公式8和公式9如下:

GrayDelta_upper[i]=Gray_array_upper[i+1]-Gray_array_upper[i] 公式8;

GrayDelta_lower[i]=Gray_array_lower[i+1]-Gray_array_lower[i] 公式9;

其中,GrayDelta_upper为上轮廓Boundary_upper的灰度一阶差分序列,GrayDelta_lower为下轮廓Boundary_lower的一阶差分序列;i的取值范围是从1到上轮廓Boundary_upper的轮廓长度或下轮廓Boundary_lower的轮廓长度-1之间的整数。

在得到吸头的上轮廓Boundary_upper的灰度一阶差分序列和吸头的下轮廓Boundary_lower的灰度一阶差分序列后,根据所述灰度一阶差分序列,计算上轮廓及下轮廓的液面位置候选点。由于吸样组件在吸取样本时,样本会先到达吸头顶部再通往吸头的根部,而含有液体的部分灰度值会更大,不含有液体的部分灰度值会较小,如图6所示,因此,从吸管根部往顶部方向,液面位置会产生一个明显的灰度增大,对应的灰度一阶差分序列中则会产生一个绝对数值较大的负数,即轮廓的灰度一阶差分在液面所在的位置会产生一个负尖峰,将所述灰度一阶差分中的负尖峰作为液面位置候选点。具体地,查找上轮廓Boundary_upper的灰度一阶差分序列GrayDelta_upper及下轮廓Boundary_lower的一阶差分序列GrayDelta_lower中数值小于第三阈值Th3的位置,可以作为液面位置候选点。

在得到液面位置候选点后,可以进行液面位置的确定。由于受到挂液或者气泡等因素影响,可能存在多个灰度一阶差分小于第三阈值的负尖峰。假设在上轮廓Boundary_upper的灰度一阶差分序列GrayDelta_upper和下轮廓Boundary_lower的一阶差分序列GrayDelta_lower中,分别找到m、n个灰度小于第三阈值Th3的负尖峰,那么,基于上轮廓和下轮廓的对称性,液面位置则在上轮廓和下轮廓的两个液面位置候选点位置差不能超过2,即利用如下公式10计算:

|deltaPos_upper[i]-deltaPos_lower[j]|≤2 公式10

其中,deltaPos_upper为上轮廓灰度小于第三阈值Th3的负尖峰序列;deltaPos_lower为下轮廓灰度小于第三阈值Th3的负尖峰序列;i为1到m之间的整数,j为1到n之间的整数。

若查找不到所述灰度一阶差分中一阶差分值小于所述第三阈值的负尖峰序列的点,即查找不到上轮廓一阶差分值小于第三阈值Th3的负尖峰及下轮廓一阶差分值小于第三阈值Th3的负尖峰,则判定没有吸到样本。

否则,若在所述灰度一阶差分中查找到一阶差分值小于第三阈值的负尖峰序列的点,即查找到上轮廓一阶差分小于第三阈值Th3的负尖峰序列及下轮廓一阶差分小于第三阈值Th3的负尖峰序列的点,并且上下轮廓负尖峰点对应位置距离不超过2,满足预设条件,则判定吸到样本。

在确定吸到样本后,对所述灰度一阶差分满足预设条件的上下轮廓负尖峰点位置求均值,得到吸头液面位置,即输出满足要求的上轮廓和下轮廓点的位置做均值处理,作为吸头液面位置。

通过梯度二值化方式,能够对分杯系统的吸样质量进行初步判断,能够检测出没装载到吸头或者吸头没吸到样本的情况。

105:根据所述吸头轮廓,判断边缘检测图中是否存在有效缺陷。

在确定吸头轮廓后,判断边缘检测图中是否存在有效缺陷,有效缺陷可以是气泡或挂液。从图7中的梯度边缘检测图中可以看出,由于光源分布及摄像头采集的问题,会形成环形的噪声,有效区域图ROI_Image的四周更加明显,因此,在确定了吸头的特征点及吸头轮廓后,需要在有效区域图ROI_Image中截取更为精确的吸头部位,以排除这些环形噪声的影响。

在消除环形噪声时,在横向上,以吸头顶点为起点,以根节点为终点,在纵向上,分别以上根节点、下根节点为基础,向外扩一定宽度,得到精确定位的吸头图像Pip_Image。

在其中一些实施例中,根据所述吸头轮廓,判断边缘检测图中是否存在有效缺陷,可以包括:

在所述边缘检测图中去除所述吸头轮廓,得到缺陷轮廓图;

计算所述缺陷轮廓图中各个轮廓的面积,若所述缺陷轮廓图中存在轮廓面积不小于第五阈值的轮廓,则判定所述缺陷轮廓图中存在有效缺陷;

若所述缺陷轮廓图中的存在轮廓面积小于所述第五阈值的轮廓,则将轮廓面积小于所述第五阈值的轮廓判定为无效缺陷,在将所述无效缺陷去除后,若不存在轮廓面积不小于所述第五阈值的轮廓,判定吸样合格。

具体地,在对所述有效区域图精确定位后,得到吸头图像Pip_Image,且对吸头图像Pip_Image进行边缘检测,得到边缘检测图。边缘检测可以采用Canny边缘检测方式,得到Canny边缘检测图Canny_Image,从而定位吸头边缘,如图9所示。

接着在所述边缘检测图中去除所述吸头轮廓,得到缺陷轮廓图,即在所述边缘检测图中,将所述吸头轮廓所在的第四阈值范围内的邻近像素值设为0,得到缺陷轮廓图,具体在边缘检测图Canny_Image中,沿着吸头轮廓的上轮廓Boundary_upper和下轮廓Boundary_lower,以轮廓点为中心,在纵向分别向上下两个方向,将第四阈值Th4范围内的邻近像素值设为0,那么,剩下的非零像素则为缺陷轮廓,得到缺陷轮廓图Defect_Image,如图10所示。

在得到缺陷轮廓图后,可以进行缺陷定位。由于在缺陷轮廓图Defect_Image中,会包含一些较小的轮廓,此时,计算所述缺陷轮廓图中各个轮廓的面积,若所述缺陷轮廓图中存在轮廓面积不小于第五阈值的轮廓,则判定所述缺陷轮廓图中存在有效缺陷;若所述缺陷轮廓图中的存在轮廓面积小于所述第五阈值的轮廓,则将轮廓面积小于所述第五阈值的轮廓判定为无效缺陷,在将所述无效缺陷去除后,若不存在轮廓面积不小于所述第五阈值的轮廓,判定吸样合格。即轮廓的面积小于第五阈值Th5的轮廓视为干扰轮廓,可以将干扰轮廓去除,剩下的轮廓均为有效缺陷;轮廓的面积大于第五阈值Th5的轮廓视为最终检测到的有效缺陷。

106:若存在所述有效缺陷,则根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量。

在其中一些实施例中,根据有效缺陷的特征及所述吸头液面位置判断吸样质量,可以包括:

标记所述有效缺陷;

若所述有效缺陷的中心在所述吸头轮廓的外部或是所述吸头液面位置到所述吸头顶点之间以外的位置,则判定为样本挂壁;

若有效缺陷的中心在所述吸头轮廓的内部或是在所述吸头液面位置到所述吸头顶点之间以内的位置,则计算所述有效缺陷的缺陷特征;

若所述缺陷特征对应的缺陷轮廓的圆度大于所述第五阈值,则判定为气泡,否则判定为样本挂壁。

具体地,在得到最终检测到的有效缺陷后,对有效缺陷的类型进行判定。可以利用OpenCV中的函数minAreaRect来获取有效缺陷的最小外接矩形,如图11所示,用最小外接矩形框标记最终检测到的有效缺陷。

然后,得到最小外接矩形框的中心作为有效缺陷的中心,若所述有效缺陷的中心在所述吸头轮廓的外部或是所述吸头液面位置到所述吸头顶点之间以外的位置,则判定为样本挂壁。若有效缺陷的中心在所述吸头轮廓的内部或是在所述吸头液面位置到所述吸头顶点之间以内的位置,则需要进一步分析,例如当挂壁的水珠在吸头靠近光源的一面时,不能由于缺陷处于液面以下、吸头轮廓内部而直接判定为气泡,此时,需要进一步计算缺陷特征,从而判断是气泡还是挂液,可以采用圆度作为缺陷特征,计算所述有效缺陷的缺陷特征;若所述缺陷特征对应的缺陷轮廓的圆度大于所述第五阈值,则判定为气泡,否则判定为样本挂壁。圆度作为缺陷特征的计算方式如公式11:

其中,Afa为轮廓的圆度值,S为轮廓的面积,C为轮廓的周长。

当缺陷轮廓的圆度大于第五阈值Th5,则判定为判定为气泡,否则判定为挂壁。

在定位有效缺陷后,利用缺陷的特征可以进行缺陷类型判定,防止吸头挂液、吸头吸入气泡等情况导致样本吸样量不准确,保证后续核酸检测的准确性。

本申请的实施例,在获取吸头图像后,对所述吸头图像进行初次二值化,定位具有吸头的有效区域图;对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;利用梯度二值化图确定存在吸头时,对所述有效区域图进行吸头特征提取,获得包括吸头轮廓及吸头液面位置的吸头特征;然后,根据吸头轮廓,判断边缘检测图中是否存在有效缺陷,从而可以判断该吸头图像对应的吸样情况是否合格;若存在有效缺陷,还可以根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量,从而可以准确判断吸样质量。

相应的,如图12所示,本发明实施例还提供了一种吸头图像处理装置,可以用于吸头图像处理设备,吸头图像处理装置600包括:

获取模块601,用于获取吸头图像;

二值化模块602,用于对所述吸头图像进行初次二值化,得到有效区域图;

梯度检测模块603,用于对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;

特征提取模块604,用于在所述梯度二值化图中确定存在吸头时,对所述有效区域图进行吸头特征提取,获得吸头特征,所述吸头特征包括吸头轮廓及吸头液面位置;

缺陷判断模块605,用于根据所述吸头轮廓,判断所述边缘检测图中是否存在有效缺陷;

吸样质量判断模块606,用于若存在所述有效缺陷,则根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量。

本发明实施例,在获取吸头图像后,对所述吸头图像进行初次二值化,定位具有吸头的有效区域图;对所述有效区域图进行梯度边缘检测,得到边缘检测图,且对所述边缘检测图进行梯度二值化处理,得到梯度二值化图;利用梯度二值化图确定存在吸头时,对所述有效区域图进行吸头特征提取,获得包括吸头轮廓及吸头液面位置的吸头特征;然后,根据吸头轮廓,判断边缘检测图中是否存在有效缺陷,从而可以判断该吸头图像对应的吸样情况是否合格;若存在有效缺陷,还可以根据所述有效缺陷的特征及所述吸头液面位置判断吸样质量,从而可以准确判断吸样质量。

在其他实施例中,如图13所示,吸头图像处理装置600包括:吸头判断模块607,用于:

如果所述梯度二值化图的像素总和大于第一阈值,则判定所述梯度二值化图中存在吸头;

如果所述梯度二值化图的像素总和不大于所述第一阈值,则判定所述梯度二值化图中不存在吸头。

在其他实施例中,特征提取模块604,还用于:

在所述梯度二值化图中确定吸头根节点的查找范围,并在所述有效区域图中查找吸头根节点;

以所述吸头根节点为起点,往吸头顶点方向,且以两边轮廓所在的第二阈值的像素范围,在所述有效区域图中查找局部灰度最小值,得到吸头的两边轮廓;

根据所述吸头的两边轮廓,确定吸头顶点,并根据所述吸头的两边轮廓及所述吸头顶点确定吸头轮廓,且,根据所述吸头的两边轮廓以及液体和空气交界处存在灰度突变的特征,确定吸头液面位置。

在其中一些实施例中,特征提取模块604,还用于:

在所述梯度二值化图的吸头根部位置所在列,在所述有效区域图中确定根节点的查找范围;

利用根节点的灰度局部最小值的特征,在所述有效区域图中的所述查找范围内找到吸头根节点。

在其中一些实施例中,特征提取模块604,还用于:

将所述吸头的两边轮廓的交点确定为所述吸头顶点。

在其中一些实施例中,所述两边轮廓包括上轮廓和下轮廓;特征提取模块604,还用于:

计算所述上轮廓和下轮廓的灰度序列的灰度一阶差分,得到灰度一阶差分序列;

根据所述灰度一阶差分序列,分别计算上轮廓及下轮廓的液面位置候选点;

若在所述上轮廓及下轮廓的灰度一阶差分序列中分别查找到满足预设条件的一阶差分值,则判定吸到样本,其中,所述预设条件为灰度一阶差分序列中的一阶差分值小于第三阈值的负尖峰的点,且上轮廓或下轮廓负尖峰点对应位置距离不超过2;

对满足所述预设条件的所述灰度一阶差分中的上轮廓的负尖峰点位置及下轮廓的负尖峰点位置求均值,得到吸头液面位置。

在其中一些实施例中,特征提取模块604,还用于:

将所述灰度一阶差分序列中的负尖峰作为上轮廓及下轮廓的液面位置候选点。

在其中一些实施例中,如图13所示,所述装置600还包括吸样判断模块608,用于:

若在所述灰度一阶差分序列中查找不到一阶差分值小于所述第三阈值的负尖峰序列的点,则判定没有吸到样本。

在其中一些实施例中,缺陷判断模块605,还用于:

在所述边缘检测图中去除所述吸头轮廓,得到缺陷轮廓图;

计算所述缺陷轮廓图中各个轮廓的面积,若所述缺陷轮廓图中存在轮廓面积不小于第五阈值的轮廓,则判定所述缺陷轮廓图中存在有效缺陷。

在其中一些实施例中,所述装置600还包括吸样合格模块609,用于:

若所述缺陷轮廓图中的存在轮廓面积小于所述第五阈值的轮廓,则将轮廓面积小于所述第五阈值的轮廓判定为无效缺陷,在将所述无效缺陷去除后,若不存在轮廓面积不小于所述第五阈值的轮廓,判定吸样合格。

在其中一些实施例中,吸样质量判断模块606,还用于:

在所述边缘检测图中,将所述吸头轮廓所在的第四阈值范围内的邻近像素值设为0,得到缺陷轮廓图。

在其中一些实施例中,缺陷判断模块605,还用于:

标记所述有效缺陷;

若所述有效缺陷的中心在所述吸头轮廓的外部或是所述吸头液面位置到所述吸头顶点之间以外的位置,则判定为样本挂壁;

若有效缺陷的中心在所述吸头轮廓的内部或是在所述吸头液面位置到所述吸头顶点之间以内的位置,则计算所述有效缺陷的缺陷特征;

若所述缺陷特征对应的缺陷轮廓的圆度大于所述第五阈值,则判定为气泡,否则判定为样本挂壁。

在其中一些实施例中,所述装置600还包括滤波模块610,用于:

对所述吸头图像进行滤波处理。

在其中一些实施例中,二值化模块602,还用于:

对所述吸头图像进行初次二值化,得到二值图像;

对所述二值图像分别在水平方向和垂直方向进行像素求和,得到水平投影序列和垂直投影序列;

分别查找所述水平投影序列和垂直投影序列中不为零的起点位置和终端位置,作为所述吸头图像的有效区域的边界;

根据所述吸头图像的有效区域的边界,获得所述有效区域图。

需要说明的是,上述装置可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。

图14为吸头图像处理设备的一个实施例中控制器的硬件结构示意图,如图14所示,控制器13包括:

一个或多个处理器131、存储器132。图14中以一个处理器131、一个存储器132为例。

处理器131、存储器132可以通过总线或者其他方式连接,图14中以通过总线连接为例。

存储器132作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的吸头图像处理方法对应的程序指令/模块(例如,附图12-13所示的获取模块601、二值化模块602、梯度检测模块603、特征提取模块604、缺陷判断模块605、吸样质量判断模块606、吸头判断模块607、吸样判断模块608、吸样合格模块609、滤波模块610)。处理器131通过运行存储在存储器132中的非易失性软件程序、指令以及模块,从而执行控制器的各种功能应用以及数据处理,即实现上述方法实施例的吸头图像处理方法。

存储器132可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据吸头图像处理装置的使用所创建的数据等。此外,存储器132可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器132可选包括相对于处理器131远程设置的存储器,这些远程存储器可以通过网络连接至吸头图像处理设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器132中,当被所述一个或者多个处理器131执行时,执行上述任意方法实施例中的吸头图像处理方法,例如,执行以上描述的图2中的方法步骤101至步骤106;实现图12中的模块601-606、图13中模块601-610的功能。

上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。

本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图14中的一个处理器131,可使得上述一个或多个处理器可执行上述任意方法实施例中的吸头图像处理方法,例如,执行以上描述的图2中的方法步骤101至步骤106;实现图12中的模块601-606、图13中模块601-610的功能。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

26页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:图像处理方法及装置、电子设备、存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!