一种图像搜索方法、装置、电子设备及存储介质

文档序号:1042898 发布日期:2020-10-09 浏览:3次 >En<

阅读说明:本技术 一种图像搜索方法、装置、电子设备及存储介质 (Image searching method and device, electronic equipment and storage medium ) 是由 聂砂 王竹萌 盛耀聪 王洋 杨美红 贺潇铮 王静逸 于 2020-06-28 设计创作,主要内容包括:本发明实施例公开了一种图像搜索方法、装置、电子设备及存储介质。该方法包括:获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。通过运行本发明实施例所提供的技术方案,可以解决由于对所有待搜索图像采用固定的深度学习等算法进行处理,获取图像搜索结果,缺乏对待搜索图像的针对性的问题,达到了提高图像搜索的针对性和准确率的效果。(The embodiment of the invention discloses an image searching method, an image searching device, electronic equipment and a storage medium. The method comprises the following steps: acquiring image information to be searched; wherein the image information to be searched comprises an image category to be searched which is determined based on at least two candidate image categories; determining an image searching algorithm pair associated with the image category to be searched; wherein the image search algorithm pair is a feature extraction-feature matching algorithm pair; and carrying out image characteristic processing on the image to be searched according to the image searching algorithm to obtain an image searching result. By operating the technical scheme provided by the embodiment of the invention, the problem that the pertinence of the image to be searched is lacked because all the images to be searched are processed by adopting algorithms such as fixed deep learning and the like to obtain the image searching result can be solved, and the effect of improving the pertinence and the accuracy of image searching is achieved.)

一种图像搜索方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术,尤其涉及一种图像搜索方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展,搜索功能越来越强大,除了通过文本对图片进行搜索之外,用户还可以通过以图搜图的方式获取图像来源或者相似图像。

现有技术中,以图搜图通常是对所有待搜索图像采用固定的深度学习等算法进行处理,获取图像搜索结果,缺乏对待搜索图像的针对性。

发明内容

本发明实施例提供一种图像搜索方法、装置、电子设备及存储介质,以实现提高图像搜索的针对性和准确率的效果。

第一方面,本发明实施例提供了一种图像搜索方法,该方法包括:

获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;

确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;

根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

第二方面,本发明实施例还提供了一种图像搜索装置,该装置包括:

信息获取模块,用于获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;

算法对确定模块,用于确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;

图像处理模块,用于根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的图像搜索方法。

第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的图像搜索方法。

本发明实施例通过获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。解决了由于对所有待搜索图像采用固定的深度学习等算法进行处理,获取图像搜索结果,缺乏对待搜索图像的针对性的问题,达到了提高图像搜索的针对性和准确率的效果。

附图说明

图1为本发明实施例一提供的一种图像搜索方法的流程图;

图2为本发明实施例一提供的一种图像搜索方法的示意图;

图3为本发明实施例二提供的一种图像搜索方法的流程图;

图4为本发明实施例二提供的一种图像搜索测试过程的示意图;

图5为本发明实施例三提供的一种图像搜索装置的结构示意图;

图6为本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像搜索方法的流程图,本实施例可适用于根据待搜索图像类别确定关联的图像搜索算法,以得到图像搜索结果的情况,该方法可以由本发明实施例所提供的图像搜索装置来执行,该装置可以由软件和/或硬件的方式实现。参见图1,本实施例提供的图像搜索方法,包括:

步骤110、获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别。

其中,待搜索图像为用户提供的图像,可以通过用户上传图像或者由搜索系统从用户相册中读取指定图像等方式获取,本实施例对此不作限制。待搜索图像类别为图像所述的图像种类,例如人脸类、风景类、汽车类等。候选图像类别为预先设置好的供用户选择的图像类别,可以在搜索界面中以选项的方式进行呈现。示例性的,用户在上传待搜索图片时,可以从候选图像类别中选择待搜索图像类别。例如上传图像为人脸图像时,从候选的人脸类图像、风景类图像、花草类图像等选项中选择人脸类图像。待搜索图像类别与待搜索图像本身共同构成待搜索图像信息。

步骤120、确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对。

每个待搜索图像类别关联对应的图像搜索算法对。获取待搜索图像类别后,即获取与类别关联的图像搜索算法对,以对待搜索图像的图像特征进行相应处理。

其中,图像特征主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。

纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性,并不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。

形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征。图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。

空间关系特征中所谓空间关系,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类:相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况,如上下左右关系等,后一种关系强调的是目标之间的距离大小以及方位。

图像搜索算法对为特征提取算法与特征匹配算法构成的算法对,用于对待搜索图像以及与待搜索图像匹配的图像进行特征提取和特征匹配。

其中,特征提取是指从图像中提取出图像特征。特征匹配是指将从图像中提取的特征作为共轭实体,并且将所提取特征的属性或描述参数作为匹配实体,通过计算匹配实体之间的相似性测度以实现共轭实体配准的图像匹配方法。特征匹配的方法是先找出特征显著的特征点,然后再分别描述两个特征点,最后比较两个描述的相似程度来判断是否为同一个特征。

步骤130、根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

根据图像搜索算法对中特征提算法和特征匹配算法对待搜索图像进行图像特征处理,获取图像搜索结果。其中,图像搜索结果可以为与待搜索图像相似的图像,也可以为待搜索图像的图像来源,本实施例对此不作限制。

本实施例中,可选的,根据所述图像搜索算法对对待搜索图像进行图像特征处理,以获取图像搜索结果,包括:

根据所述图像搜索算法对中的特征提取算法,获取所述待搜索图像的第一图像特征和图像库中图像的第二图像特征;

根据所述图像搜索算法对中的特征匹配算法,将所述第一图像特征与所述第二特征数据进行匹配,以得到所述图像搜索结果。

其中,图像库为预先收集的图像数据库,图像数据库中的每幅图像已经预先进行分类,并且均已知图像来源。

根据图像搜索算法对中的特征提取算法,获取待搜索图像的图像特征,为便于描述,记为第一图像特征。提取图像库中图像的图像特征,记为第二图像特征。

根据图像搜索算法对中的特征匹配算法,将第一图像特征与第二特征数据进行匹配,若匹配程度达到预设匹配率,则将满足条件的图像库中的图像作为图像搜索结果,也可以将满足条件的图像库中的图像的来源作为图像搜索结果,本实施例对此不作限制。根据与待搜索图像类别关联的图像搜索算法对待搜索图像和图像库中图像进行特征提取和特征匹配,根据匹配程度获取图像搜索结果,提高图像搜索的针对性,从而提高对特定图像类别搜索的准确率。

图2为本发明实施例一提供的一种图像搜索方法的示意图。

如图2所示,图像库中包含所有待匹配的图片,将图像数据库中的图像进行特征提取并保存,构成特征数据库。当用户输入待搜索图像后,对待搜索图像进行特征提取,计算待搜索图像的特征数据与特征数据库中的特征数据的特征距离并进行排序,获取特征距离较近的特征对应的图像库中的图像,返回按特征距离排序后的图像库中的图像。

本实施例所提供的技术方案,通过获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。解决了由于对所有待搜索图像采用固定的深度学习等算法进行处理,获取图像搜索结果,缺乏对待搜索图像的针对性的问题,达到了提高图像搜索的针对性和准确率的效果。

实施例二

图3为本发明实施例二提供的一种图像搜索方法的流程图,本技术方案是针对获取待搜索图像信息之前的过程进行补充说明的。与上述方案相比,本方案具体优化为,在获取待搜索图像信息之前,还包括:

建立所述候选图像类别与所述图像搜索算法对的关联关系;

提供候选图像类别的选项,以根据选项的选择结果确定所述待搜索图像信息关联的待搜索图像类别。具体的,图像搜索方法的流程图如图3所示:

步骤210、建立候选图像类别与图像搜索算法对的关联关系。

将每种候选图像类别关联对应的图像搜索算法。其中,候选图像类别除包括人脸类、风景类、汽车类等已知类别外,还可以包括未知类别,即不了解特性或信息杂乱的图像类别。

本实施例中,可选的,建立所述候选图像类别与所述图像搜索算法对的关联关系,包括:

若所述候选图像类别为已知,则根据算法对指定结果确定所述候选图像类别关联的图像搜索算法对;

若所述候选图像类别为未知,则根据图像搜索测试结果,确定所述候选图像类别关联的图像搜索算法对。

其中,当候选图像类别为已知时,可以根据人为选择指定候选图像类别关联的图像搜索算法对,可以根据经验选择最适合每个候选图像类别的图像搜索算法对,作为图像类别为已知时,每个图像类别关联的图像搜索算法对。在测试阶段。可以按选定的图像搜索算法对对测试图像进行特征提取得到图像特征向量后进行特征匹配,可以根据测试结果调整图像搜索算法对的选择。

当候选图像类别为未知时,则根据图像搜索的测试结果,确定候选图像类别关联的图像搜索算法对。即根据图像搜索算法对的应用的测试结果,选出最优图像搜索算法对作为候选图像类别关联的图像搜索算法对。其中,测试结果可以根据图像搜索是否能得出结果、图像搜索花费时间、图像搜索的准确率等进行综合分析,可以按照搜索花费时间进行排序和呈现,以供选择。

根据不同的图像类别确定最合适的图像搜索算法对,以提高图像搜索的准确率和针对性。

本实施例中,可选的,所述图像搜索测试的过程,包括:

从候选特征提取算法中确定目标特征提取算法,以获取所述测试图像的特征向量;

从候选特征匹配算法中确定目标特征匹配算法,以根据所述测试图像的特征向量获取测试图像搜索结果;

若所述测试图像搜索结果符合测试条件,则确定由所述目标特征提取算法和所述目标特征匹配算法构成的所述图像搜索算法对。

其中,从至少两种候选特征提取算法中获取一种目标特征提取算法,获取方式可以为随机获取,本实施例对此不作限制,根据目标特征提取算法对测试图像进行特征提取。根据从至少两种候选特征提取算法中获取的一种目标特征提取算法,对提取出的图像特征与图像库里图像的图像特征进行特征匹配。

若测试图像搜索结果符合测试条件,其中,测试条件可以包括可以得出结果、图像搜索花费时间和图像搜索的准确率等综合最高等,则将目标特征提取算法和目标特征匹配算法构成的算法对,作为图像类别为未知时的图像搜索算法对。通过对图像搜索进行测试,获取候选图像类别为未知时,最合适的图像搜索算法对,以提高图像搜索效率。

可选的,针对较大型的图像库,可以从图像库中抽取小批量的图像作为测试图像,用于图像搜索测试,以挑选合适的图像搜索算法对,从而提高测试的效率,其中抽取方式可以为随机抽取,本实施例对此不作限制。

图4为本发明实施例二提供的一种图像搜索测试过程的示意图。如图4所示:

其中,候选特征提取算法包括尺度不变特征变换(Scale-invariant featuretransform,SIFT)特征提取算法、ORB(Oriented FAST and Rotated BRIEF)特征提取算法、方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取算法、局部二值模式(Local Binary Pattern,LBP)特征提取算法、卷积神经网络(Convolutional NeuralNetworks,CNN)特征提取算法等。

其中,SIFT特征提取算法的实现过程可以为:

①构建高斯差(Difference of Gaussians,DOG)尺度空间:

模拟图像数据的多尺度特征,大尺度抓住概貌特征,小尺度注重细节特征。通过构建高斯金字塔(每一层用不同的参数σ做高斯模糊(加权)),保证图像在任何尺度都能有对应的特征点,即保证尺度不变性。

②关键点搜索和定位:

确定是否为关键点,需要将该点与同尺度空间不同σ值的图像中的相邻点比较,如果该点为max或min,则为一个特征点。找到所有特征点后,要去除低对比度和不稳定的边缘效应的点,留下具有代表性的关键点(比如,正方形旋转后变为菱形,如果用边缘做识别,4条边就完全不一样,就会错误;如果用角点识别,则稳定一些)。去除这些点的好处是增强匹配的抗噪能力和稳定性。最后,对离散的点做曲线拟合,得到精确的关键点的位置和尺度信息。

③方向赋值:

为了实现旋转不变性,需要根据检测到的关键点的局部图像结构为特征点赋值。具体做法是用梯度方向直方图。在计算直方图时,每个加入直方图的采样点都使用圆形高斯函数进行加权处理,也就是进行高斯平滑。这主要是因为SIFT算法只考虑了尺度和旋转不变形,没有考虑仿射不变性。通过高斯平滑,可以使关键点附近的梯度幅值有较大权重,从而部分弥补没考虑仿射不变形产生的特征点不稳定。注意,一个关键点可能具有多个关键方向,这有利于增强图像匹配的鲁棒性。

④关键点描述子的生成:

关键点描述子不但包括关键点,还包括关键点周围对其有贡献的像素点。这样可使关键点有更多的不变特性,提高目标匹配效率。在描述子采样区域时,需要考虑旋转后进行双线性插值,防止因旋转图像出现白点。同时,为了保证旋转不变性,要以特征点为中心,在附近领域内旋转θ角,然后计算采样区域的梯度直方图,形成n维SIFT特征矢量(如128-SIFT)。最后,为了去除光照变化的影响,需要对特征矢量进行归一化处理。

ORB特征描述算法的运行时间远优于SIFT,可用于实时性特征检测。ORB特征基于FAST(Features from Accelerated Segment Test)角点的特征点检测与描述技术,具有尺度与旋转不变性,同时对噪声及透视仿射也具有不变性,良好的性能使得用ORB在进行特征描述时的应用场景十分广泛。

ORB特征提取算法的实现过程可以为:

①方向FAST特征点检测:FAST角点检测是一种基于机器学习的快速角点特征检测算法,具有方向的FAST特征点检测是对兴趣点所在圆周上的16个像素点进行判断,若判断后的当前中心像素点为暗或亮,将候定其是否为角点。FAST角点检测计算的时间复杂度小,检测效果突出。FAST角点检测为加速算法实现,通常先对回周上的点集进行排序,排序使得其计算过程大大得到了优化。FAST对多尺度特性的描述是还是通过建立图像金字塔实现的,而对于旋转不变性即方向的特征则引入灰度质心法用于描述特征点的方向。

②BRIEF(Binary Robust IndependentElementary Features)特征描述:BRIEF描述子主要是通过随机选取兴趣点周围区域的若干点来组成小兴趣区域,将这些小兴趣区域的灰度二值化并解析成二进制码串,将串特征作为该特征点的描述子,BRIEF描述子选取关键点附近的区域并对每一位比较其强度大小,然后根据图像块中两个二进制点来判断当前关键点编码是0还是1。因为BRIEF描述子的所有编码都是二进制数的,这样就节省了计算机存储空间。

HOG特征提取算法的主要思想是:

在一副图像中,局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。算法步骤如下:

灰度化(将图像看做一个x,y,z(灰度)的三维图像);

采用伽玛校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;

计算图像每个像素的梯度(包括大小和方向);主要是为了捕获轮廓信息,同时进一步弱化光照的干扰。

将图像划分成小元胞cells(例如6*6像素/cell);

统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的描述子descriptor;

将每几个cell组成一个block(例如3*3个cell/block),一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。

将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。

LBP是一种描述图像局部纹理的特征算子,具有旋转不变性与灰度不变性等显著优点。LBP特征描述的是一种灰度范围内的图像处理操作技术,针对的是输入源为8位或16位的灰度图像。LBP特征是高效的图像特征分析方法,经过改进与发展已经应用于多个领域之中,特别是人脸识别、表情识别、行人检测领域已经取得了成功。LBP特征将窗口中心点与邻域点的关系进行比较,重新编码形成新特征以消除对外界场景对图像的影响,因此一定程度上解决了复杂场景下(光照变换)特征描述问题。

LBP算法根据窗口领域的不同分为经曲LBP和圆形LBP两种。

①经典LBP:经典LBP算子窗口为3×3的正方形窗口,以窗口中心像素为阈值,将其相邻8领域像素灰度与中心像素值比较,若中心像素值小于周围像素值,则该中心像素位置被标记为1,否则为0(这种规则下,对于中心点大于或等于这两种情况,算法无法区分,后续经过改进引入LBP+与LBP-因子用来区分这两种情况)。图像经过这种遍历操作后,图像就被二值化了,每一个窗口中心的8邻域点都可以由8位二进制数来表示,即可产生256种LBP码,这个LBP码值可以用来反映窗口的区域纹理信息。LBP具体在生成的过程中,先将图像划分为若干个子区域,子区域窗口可根据原图像的尺寸进行调整,而不一定非得为3×3的正方形窗口。一般对于512×640的图像,子区域窗口区域选取大小为16×16。

②圆形LBP:经典LBP用正方形来描述图像的纹理特征,其缺点是难以满足不同尺寸和频率的需求。Ojala等人对经典LBP进行了改进,提出了将3×3的正方形窗口领域扩展到任意圆形领域。由于圆形LBP采样点在圆形边界上,那么必然会导致部分计算出来的采样点坐标不是整数,因此这里就需要对得到的坐标像素点值进行处理,常用的处理方法是最近邻插值或双线性插值。

CNN特征提取算法的主要思想为:

CNN的卷积层和池化层可以提取图像特征,经过反向传播最终确定卷积核参数,得到最终的特征。

①卷积层和池化层:

一个图像矩阵经过一个卷积核的卷积操作后,得到了另一个矩阵,这个矩阵叫做特征映射(feature map)。每一个卷积核都可以提取特定的特征,不同的卷积核提取不同的特征,举个例子,现在我们输入一张人脸的图像,使用某一卷积核提取到眼睛的特征,用另一个卷积核提取嘴巴的特征等等。而特征映射就是某张图像经过卷积运算得到的特征值矩阵。最后得到的特征矩阵就叫做feature map特征映射,通过特定的卷积核得到其对应的feature map。在CNN中,称之为卷积层(convolution layer),卷积核在图像上不断滑动运算,就是卷积层所要做的事情。同时,在内积结果上取每一局部块的最大值就是最大池化层的操作。CNN用卷积层和池化层实现了图片特征提取方法。

②反向传播:

使用卷积神经网络进行多分类获目标检测的时候,由于图像构成比较复杂,并不知道哪个局部特征是有效的,即使选定局部特征,也会因为太过具体而失去反泛化性。这就引出了反向传播算法。所谓反向传播,就是对比预测值和真实值,继而返回去修改网络参数的过程,一开始随机初始化卷积核的参数,然后以误差为指导通过反向传播算法,自适应地调整卷积核的值,从而最小化模型预测值和真实值之间的误差。

候选特征匹配算法包括:欧氏距离、余弦距离、K-最近邻匹配、支持向量机、神经网络等。

其中,采用欧式距离进行特征匹配的流程为:

对提取出的图像特征向量,计算相似度进行匹配最简单的方式是进行距离度量,欧式距离是最易于理解的距离度量,表示欧式空间中两点间的绝对距离,距离越小代表越相似。

采用余弦距离进行特征匹配的流程为:

几何中,夹角余弦可用来衡量两个向量方向的差异;机器学习中,借用这一概念来衡量向量之间的差异。余弦值的范围在[-1,1]之间,值越趋近于1,代表两个向量的方向越接近,即图像越相似;越趋近于-1,他们的方向越相反;接近于0,表示两个向量近乎于正交。

采用K-最近邻匹配进行特征匹配的流程为:

k最近邻,就是指最接近的k个邻居(数据),即每个样本都可以由它的K个邻居来表达。算法的核心思想是,在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。

假设有一个带有标签的样本数据集(训练样本集),其中包含每条数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较。计算新数据与样本数据集中每条数据的距离。对求得的所有距离进行排序(从小到大,越小表示越相似)。

采用支持向量机进行特征匹配的流程为:

支持向量机的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。

一般支持向量机有下面三种:

线性可分支持向量机(硬间隔支持向量机):当训练数据线性可分时,可通过硬间隔最大化学得一个线性可分支持向量机。

线性支持向量机(软间隔支持向量机):当训练数据近似线性可分时,可通过软间隔最大化学得一个线性支持向量机。

非线性支持向量机:当训练数据线性不可分时,可通过核方法以及软间隔最大化学得一个非线性支持向量机。

采用神经网络进行特征匹配的流程为:

可以利用较为简单的神经网络用于匹配图像特征向量,通常为四层,包含一个输入层,两个全连接层隐层,最后为一层只有一个单一输出神经元的输出层,其表示两个特征向量的相似性。输入层为经过预处理的特征向量拼接而成的多维向量,与第一个隐层全连接,学习全局关系。第二个隐层大小大于第一个隐层,这样更有助于分类的准确率。其中两个隐层使用线性整流函数(Rectified Linear Unit,ReLU)激活函数,保证隐层中的各个神经元的值均大于等于零,在输出层的神经元使用的是Sigmoid激活函数,使得最终产生一个0到1之间的数,表示特征向量之间的相似概率。

为了降低过拟合情况发生的概率,可以使用随机失活Dropout学习方法,将其应用于所有的隐藏神经元上。Dropout是指在网络的训练阶段,每遍训练时随机抽取网络每个隐层中的一些节点,视为不存在,使其暂时不参与前向传播及反向传播,这些节点的权重在本次训练时不更新,而其余节点的权重则正常更新。在模型的测试阶段,使用均值网络来得到隐层的输出,简单来说是在网络前向传播到输出层前时隐层节点的输出值都要根据Dropout的比例进行缩放。Dropout的训练过程实质上相当于训练了多个只包含部分隐层单元的可以对于输入独立给出输出结果的神经网络,其中当训练完成时,大多数网络可以对于输入给出正确的分类结果,那么在测试时,少数给出错误分类结果的网络将不会对最终分类结果造成太大的影响。

可以将上述候选特征提取算法和候选特征匹配算法进行两两配对,获取每种组合的测试图像搜索结果,并根据搜索结果的准确率从中选择最优的算法组合作为图像搜索算法对。

步骤220、提供候选图像类别的选项,以根据选项的选择结果确定所述待搜索图像信息关联的待搜索图像类别。

将候选图像类别作为待用户选择的选项,以便根据用户的选择结果,将用户从候选图像类别选择的图像类别,作为待搜索图像对应的图像类别,即作为待搜索图像信息中包含的待搜索图像类别。

步骤230、获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别。

步骤240、确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对。

步骤250、根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

本实施例所提供的技术方案,通过建立所述候选图像类别与所述图像搜索算法对的关联关系;提供候选图像类别的选项,以根据选项的选择结果确定所述待搜索图像信息关联的待搜索图像类别。建立起待搜索图像类别与图像搜索算法对的关联关系,从而提高图像搜索的正确率和效率。

实施例三

图5为本发明实施例三提供的一种图像搜索装置的结构示意图。该装置可以由硬件和/或软件的方式来实现,可执行本发明任意实施例所提供的一种图像搜索方法,具备执行方法相应的功能模块和有益效果。如图5所示,该装置包括:

信息获取模块310,用于获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;

算法对确定模块320,用于确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;

图像处理模块330,用于根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

本实施例所提供的技术方案,通过获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。解决了由于对所有待搜索图像采用固定的深度学习等算法进行处理,获取图像搜索结果,缺乏对待搜索图像的针对性的问题,达到了提高图像搜索的针对性和准确率的效果。

在上述各技术方案的基础上,可选的,所述图像处理模块,包括:

图像特征获取单元,用于根据所述图像搜索算法对中的特征提取算法,获取所述待搜索图像的第一图像特征和图像库中图像的第二图像特征;

特征匹配单元,用于根据所述图像搜索算法对中的特征匹配算法,将所述第一图像特征与所述第二特征数据进行匹配,以得到所述图像搜索结果。

在上述各技术方案的基础上,可选的,所述装置还包括:

关系建立模块,用于所述信息获取模块之前,建立所述候选图像类别与所述图像搜索算法对的关联关系;

选项提供模块,用于提供候选图像类别的选项,以根据选项的选择结果确定所述待搜索图像信息关联的待搜索图像类别。

在上述各技术方案的基础上,可选的,所述关系建立模块,包括:

第一算法对确定单元,用于若所述候选图像类别为已知,则根据算法对指定结果确定所述候选图像类别关联的图像搜索算法对;

第二算法对确定单元,用于若所述候选图像类别为未知,则根据图像搜索测试结果,确定所述候选图像类别关联的图像搜索算法对。

在上述各技术方案的基础上,可选的,还包括:图像搜索测试单元;

所述图像搜索测试单元包括:

特征向量获取子单元,用于从候选特征提取算法中确定目标特征提取算法,以获取所述测试图像的特征向量;

搜索结果获取子单元,用于从候选特征匹配算法中确定目标特征匹配算法,以根据所述测试图像的特征向量获取测试图像搜索结果;

算法对确定子单元,用于若所述测试图像搜索结果符合测试条件,则确定由所述目标特征提取算法和所述目标特征匹配算法构成的所述图像搜索算法对。

实施例四

图6为本发明实施例四提供的一种电子设备的结构示意图,如图6所示,该电子设备包括处理器40、存储器41、输入装置42和输出装置43;电子设备中处理器40的数量可以是一个或多个,图6中以一个处理器40为例;电子设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接,图6中以通过总线连接为例。

存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像搜索方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的图像搜索方法。

存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像搜索方法,该方法包括:

获取待搜索图像信息;其中所述待搜索图像信息包括基于至少两种候选图像类别确定的待搜索图像类别;

确定与所述待搜索图像类别关联的图像搜索算法对;其中,所述图像搜索算法对为特征提取-特征匹配算法对;

根据所述图像搜索算法对对待搜索图像进行图像特征处理,以得到图像搜索结果。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像搜索方法中的相关操作。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是,上述图像搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

17页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种搜题的方法、装置、电子设备和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!