阅读说明：本技术 一种针对水下作业场景的图片检索方法 (Picture retrieval method for underwater operation scene ) 是由 杨雪 陈巍 刘静 陈伟 夏细明 李佩娟 温秀平 郭铁铮 陈国军 于 2019-09-03 设计创作，主要内容包括：一种针对水下作业场景的图片检索方法,包括以下步骤：数据存储；提取搜索事件主题；数据预处理；相关度计算。本发明针对ROV采集到的水下作业图片数量大,但可按作业存储,并有部分文字描述的特点,充分利用充分图片中包含的文本信息和图像信息,以更高效的方式得到图片检索结果。且检索结果按相关度高低降序排列,更便于查看结果。该技术方法的实现能够解决海量图片删选问题,为特定水下作业任务的高级应用分析提供精准参考数据,提高应用分析数据准确性,为更好地开展水下作业任务提供了有力的技术支撑。(a picture retrieval method for an underwater operation scene comprises the following steps: storing data; extracting a search event topic; preprocessing data; and (5) calculating the correlation. The method aims at the characteristics that the number of underwater operation pictures acquired by the ROV is large, the underwater operation pictures can be stored according to the operation and have partial character description, text information and image information contained in the pictures are fully utilized, and a picture retrieval result is obtained in a more efficient mode. And the retrieval results are arranged according to the descending order of the degree of correlation, so that the results can be checked more conveniently. The realization of the technical method can solve the problem of deleting massive pictures, provide accurate reference data for advanced application analysis of a specific underwater operation task, improve the accuracy of application analysis data and provide powerful technical support for better developing the underwater operation task.)

一种针对水下作业场景的图片检索方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种针对水下作业场景的图片搜索方法。

背景技术

在图像数据领域，当对摄像头采集到的各种作业图像进行去重、检索、比对等操作时，需要从成百上千张图片中搜索相关度最高的图片。目前很多的图片检索方法都是针对两张图片的相似性进行大量计算得到的结果，在待比对图片量较大的情况下耗时长；有的方法则在检索过程中损失掉大量图片信息，造成图片检索准确性低；另外水下作业图像为ROV摄像头在水下作业时获得，作业场景具有特定类型，且存储时要附少量文字说明，传统图片检索方法仅对图像信息进行分析，而忽略了文字说明部分包含的信息。因此，在兼顾计算量和检索精度的同时，提高检索效率，成为了水下作业场景图片检索亟待解决的问题。

发明内容

本发明针对现有技术中的不足，提供一种针对水下作业场景的图片检索方法，旨在减少计算时间、提高检索精度，从而提高检索效率。

为实现上述目的，本发明采用以下技术方案：

一种针对水下作业场景的图片检索方法，其特征在于，包括如下步骤：

步骤1：将所有图片按水下作业类型分类存放，图片文件以文字说明作为文件名；

步骤2：从搜索主题事件中提取出要检索内容的事件中心词数据集；

步骤3：提取图片中包含的文本信息，构造出代表图片文本信息的文本中心词汇数据集；

步骤4：提取图片中包含的图像信息，构造出代表图片图像信息的标志矩阵；

步骤5：计算图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性；

步骤6：计算图片中包含的图像信息与搜索主题事件中所有事件中心词的相关性；

步骤7：综合图片中包含的文本信息、图像信息与搜索主题事件的相关性，得到最符合的搜索结果。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述步骤2中，利用TDT方法，从搜索主题事件中提取出其中包含的关键词，组成事件中心词数据集。

进一步地，所述步骤3具体如下：

利用word2vec软件工具，从图片文件名中提取出中心词；采用基于词频的卡方统计方法，计算出每个提取出的中心词基于出现频率的卡方值PCHI

PCHI＝CHI×F(k，t)

其中

CHI为中心词k的传统卡方值，由传统卡方统计公式x²(k，t)计算得到，t为该类作业任务主题，N为同一类水下作业图片中提取出的中心词总数，A为包含中心词k的且符合主题t的中心词数，B为包含中心词k但不符合主题t的中心词数，C为不包含中心词k但符合主题t的中心词数，D为不包含中心词k且不符合主题t的中心词数；F(k，t)用于描述中心词k在主题t中出现的频率，N_k为主题t中包含中心词k的个数，N_t为主题t中所有中心词的个数；

计算所有中心词的PCHI值，高于平均值的中心词被选定为该类水下作业图片中包含的文本中心词，这些中心词组成的文本中心词汇数据集用于描述图片中包含的文本信息。

进一步地，所述步骤4具体如下：

采用非重复关键帧NDK提取方法，提取出每种类型图片的NDK来表示作业图片中包含的图像信息，计算出某个NDK属于某搜索主题事件的可能性K(NDK_k，E_r)

其中，|NDK_k∩E_r|表示NDK_k和E_r中含有的相同关键帧个数，|NDK_k|表示含有NDK_k这个非重复关键帧的水下作业图片类型数，E_r表示第r个搜索主题事件，NDK_k表示第k个NDK，各下标均表示编号。

比对每个NDK与搜索主题事件的事件中心词之间的关系，将获得最大K值的搜索主题事件作为该NDK的事件标签；最后构造出一个以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词为行的中间内容的标志矩阵B。

进一步地，所述步骤5具体如下：

计算两个NDK之间的相关性C(NDK_x，NDK_y)

其中，|NDK_x∩NDK_y|表示同时含有NDK_x和NDK_y的水下作业图片类型数，Min(|NDK_x|，|NDK_y|)表示含有NDK_x的水下作业图片类型数和含有NDK_y的水下作业图片类型数中的较小值；取所有相关性的平均值为标准值，相关性高于平均值的两个NDK互为相邻NDK，而在矩阵B中与这两个NDK对应的文本中心词也为相邻文本中心词；重新构造的标志矩阵EB以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词和相邻文本中心词为行的中间内容；

利用Jaccard相似性系数计算出标志矩阵EB中某一文本中心词与事件标签间的相关性S(T_k，E_r)

其中，T_k表示出现在矩阵EB第k个NDK行上的文本中心词，T_a表示出现在其相邻NDK行上的文本中心词，且与第k个NDK具有相同的事件标签E_r；n为第k个NDK行上对应的文本中心词的数量；

根据某一个NDK行所对应的具有相同事件标签的文本中心词之间的相似性，进而计算出某一NDK_k与搜索主题事件之间的任意相关性S(NDK_k，E_r)

其中，m表示在矩阵EB第k个NDK行上的文本中心词个数；

采用多元对应分析法MCA计算每个NDK和多个搜索主题事件之间的关系；利用EB绘制出的判别测度图用于描述标志矩阵中各特征值间的关系

其中，Y_i，r表示EB中第i个特征值与第r个搜索主题事件之间的相关性，当判别测度图中绘制出的第i个特征值与第r个搜索主题事件之间的夹角小于90°时，说明第i个特征值与第r个搜索主题事件关联性强；夹角越小，二者之间的关联性越强；特征值是将标志矩阵EB视为二维表格，利用SPSS把每个格子里的内容离散化所得到的若干个特征值；

因此计算出某个NDK_k和事件E_r之间的平均相关性PG_k，r为

其中，b表示矩阵EB中，NDK_k行上对应的列数；

综合考虑任意相关性和平均相关性，得到图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性SIM(T_k，E_r)

SIM(T_k，E_r)＝α×PG_k，r+β×S(NDK_k，E_r)

其中，α和β为两部分的权重，PG_k，r表示NDK_k中包含的文本信息与搜索主题事件E_r的相关性，S(NDK_k，E_r)表示NDK_k及其相邻DNK对应的文本中心词与搜索主题事件E_r的相关性。

进一步地，所述步骤6具体如下：

构造关于NDK的图像特征轨迹模型t_k

t_k＝[t_k(e_j)，t_k(e_j+1)，...，t_k(e_j+s)]

其中，s表示搜索主题事件数量，t_k(e_j)表示在NDK_k中包含的关于事件标签e_j的图像信息

其中，df_j(e_j)表示具有事件标签e_j的某个NDK_k行中包含的图像数，df_j表示所有具有事件标签e_j的NDK_k行中包含的图像总数，N(e_j)表示某个具有事件标签e_j行上包含的图像数，N表示所有具有事件标签e_j行上包含的图像总数；

把具有相同相邻NDK的所有NDK组成一个NDK组，则所有的NDK将被分成若干个NDK组，绘制第x个NDK组的平均图像轨迹模型t^x

c为事件标签数，u为第x个NDK组中的NDK数；

利用峰值差pvd、重叠跨度os和轨迹距离td三个指标来衡量各图像轨迹的相似性，从而描述出两个NDK组图像轨迹t^x和t^y相似性

其中，PVD(t^x)和PVD(t^y)为t^x和t^y两条曲线的峰值，|t^x|为t^x曲线大于零部分包含的搜索主题事件数，|t^y|为t^y曲线大于零部分包含的搜索主题事件数，|t^x∩t^y|为t^x和t^y两条轨迹曲线重合部分的搜索主题事件数，td(t^x，t^y)则表示两条曲线之间的距离；

最后计算出每个NDK中包含的图像信息的所有图像轨迹特征平均值，即用于描述图像信息与搜索主题事件中所有事件中心词的相关性

其中，I_k表示第k个NDK中包含的图像信息，z表示检索事件为Er时，满足SIM(t^x，t^y)＞0这个条件的NDK的个数。

进一步地，所述步骤7具体如下：

采用图片中包含的文本信息T_k、图像信息I_k与搜索主题事件E_r间的先验概率计算出所有NDK与搜索主题事件间的关系

log P(NDK_k|E_r)＝log P(T_k)+log P(I_k)+log P(E_r|T_k)+log P(E_r|I_k)-log P(E_r)

其中，P(T_k)、P(I_k)和P(E_r)为三个先验概率，当NDK和搜索主题事件确定时，这三个值也确定；P(E_r|T_k)P(E_r|I_k)代表了文本信息和图像信息与搜索主题事件间的关系，P(E_r|T_k)＝SIM(T_k，E_r)，P(E_r|I_k)＝SIM(I_k，E_r)，最后再将检索中涉及到的搜索主题事件全部列出，计算这些搜索主题事件与各NDK的相关性，进而得到搜索主题事件与NDK间的相关性

其中，v表示类型为T的图片中包含的NDK数，w表示搜索主题事件中涉及到的事件中心词数；

将结果按相关度高低降序排列后输出，最先输出的结果即为最符合要求的检索结果。

本发明的有益效果是：本发明针对ROV采集到的水下作业图片数量大，但可按作业存储，并有部分文字描述的特点，充分利用充分图片中包含的文本信息和图像信息，以更高效的方式得到图片检索结果。且检索结果按相关度高低降序排列，更便于查看结果。该技术方法的实现能够解决海量图片删选问题，为特定水下作业任务的高级应用分析提供精准参考数据，提高应用分析数据准确性，为更好地开展水下作业任务提供了有力的技术支撑。

附图说明

图1是针对水下作业场景的图片检索方法流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明提供了一种针对水下作业场景的图片检索方法，主要包括以下内容：

1、数据存储

所有图片按水下作业类型分类存放，图片文件可以简短文字说明作为文件名。

2、提取搜索主题事件

从搜索主题事件中提取出要检索内容的事件中心词数据集。

利用现有TDT(Topic Detection and Tracking)方法，可以从搜索主题事件中提取出其中包含的关键词，组成事件中心词数据集。

3、数据预处理

1)提取图片中包含的文本信息，构造出代表图片文本信息的文本中心词汇数据集。

利用word2vec软件工具，将外部输入的搜索主题事件转换为一组向量形式，通过计算各向量占中心主题的权重概率，从搜索主题事件中提取出其中包含的关键词，再采用一种基于词频的卡方统计方法，计算图片文件名中各中心词的词频卡方值，词频卡方值高于平均值的词语被删选出作为文本中心词数据集。

2)提取图片中包含的图像信息，构造出代表图片图像信息的标志矩阵。

每一幅图片会以关键点的形式存储进数据库，这些关键点中包含了图片中的大部分信息。从每一个水下作业类型图片中提取出的所有关键点组成了一个关键点群，每一个关键点群被视为一个NDK(近似重复关键帧)，即每个水下作业类型内包含的图像信息为一个NDK。对比一本书提取出的所有NDK，将重复的NDK去除掉，剩下的所有不重复的NDK即为类水下作业图片中包含的图像信息。

由此可以计算出某个NDK与某搜索主题事件之间关系的紧密程度。根据计算结果，与某个NDK具有最多相同关键点信息的事件将成为该NDK的事件标签。

最后，所有图片中的文本信息和图像信息将构造成一个标志矩阵，存储进数据库。其中所有NDK构成矩阵的行，而所有的文本中心词汇和事件标签为矩阵的列。

4、相关度计算

1)计算图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性；

为了提高计算精度，引入相邻NDK参与文本信息相关性计算。找到所有NDK的相邻NDK，重新构造一个标志矩阵，以所有NDK为矩阵的行的开头，原有文本中心词及其相邻NDK所对应的不重复文本中心词为行的中间内容，事件标签为行的结尾。

利用Jaccard(杰卡德)相似性系数表示任意一个文本中心词和任意一个搜索主题事件之间的相关性，进而计算出某一个NDK和任意搜索主题事件之间的相关性。

为了提高计算精度，还增加多元对应分析法MCA以计算每个NDK和多个搜索主题事件之间的关系，从而得到每个NDK和任意搜索主题事件的平均相关性。

综合以上两者，可得到文本信息与搜索主题事件间的相关性。

2)计算图片中包含的图像信息与搜索主题中所有中心词的相关性；

采用图像特征轨迹模型的方法来获取图像信息与搜索主题事件之间的关系。首先根据搜索主题事件和特征权重值来构造图像特征轨迹模型，同样引入相邻NDK参与计算，进而得到完备的图像特征轨迹模型。接着计算每两个图像特征轨迹之间的相关性。最后可得到每个NDK中包含的图像信息的所有图像轨迹特征平均值，即可用于描述图像信息与搜索主题事件中所有事件中心词的相关性。

(3)综合图片中包含的文本信息与图片信息与搜索主题事件的相关性，得到最符合的检索结果。

采用图片中包含的文本信息与图像信息与搜索主题事件间的先验概率计算出所有NDK与搜索主题事件间的关系，将相关度最高的NDK所对应的图片筛选出来，即为最符合要求的检索结果。

图1是针对水下作业场景的图片检索方法数据流程图。当需要进行作业图片检索以分析ROV工作数据及水下场景信息时，检索出最具参考价值的图片尤为重要。ROV在水下作业时采集到的各类作业图片，均按作业类型存入不同文件目录，同时以简单属性描述为文件名。

检索工作开始以前，要对各类水下作业图片进行数据预处理。利用word2vec软件工具，从图片文件名中提取出中心词。采用一种基于词频的卡方统计方法，计算图片文件名中各中心词的词频卡方值PCHI，PCHI值高于平均值的词语集合即为文本中心词汇数据集，用于描述图片中包含的文本信息。

首先计算出每个提取出的中心词基于出现频率的词频卡方值PCHI

PCHI＝CHI×F(k，t)

其中

CHI为中心词k的传统卡方值，由传统卡方统计公式x²(k，t)计算得到，t为该类作业任务主题，N为同一类水下作业图片中提取出的中心词总数，A为包含中心词k的且符合主题t的中心词数，B为包含中心词k但不符合主题t的中心词数，C为不包含中心词k但符合主题t的中心词数，D为不包含中心词k且不符合主题t的中心词数；F(k，t)用于描述中心词k在主题t中出现的频率，N_k为主题t中包含中心词k的个数，N_t为主题t中所有中心词的个数。

计算所有中心词的PCHI值，高于平均值的中心词被选定为该类水下作业图片中包含的文本中心词，这些中心词组成的数据集用于描述图片中包含的文本信息。

采用现有非重复关键帧NDK提取方法，提取出每种类型图片的NDK来表示作业图片中包含的图像信息。计算出某个NDK属于某搜索主题事件的可能性K(NDK_k，E_r)

其中，|NDK_k∩E_r|表示NDK_k和E_r中含有的相同关键帧个数，|NDK_k|表示含有NDK_k这个非重复关键帧的水下作业图片类型数，E_r表示第r个搜索主题事件，NDK_k表示第k个NDK，各下标均表示编号。

经过计算，比对每个NDK与事件中心词之间的关系，将获得最大K值的事件作为该NDK的事件标签。最后构造出一个以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词为行的中间内容的标志矩阵B。样式可如下所示：

为了提高计算精度，引入相邻NDK参与文本信息相关性计算。找到所有NDK的相邻NDK，重新构造一个标志矩阵。计算两个NDK之间的关联性C(NDK_x，NDK_y)

其中，|NDK_x∩NDK_y|表示同时含有NDK_x和NDK_y的水下作业图片类型数，Min(|NDK_x|，|NDK_y|)表示含有NDK_x的水下作业图片类型数和含有NDK_y的水下作业图片类型数中的较小值。取所有相关性的平均值为标准值，相关性高于平均值的两个NDK互为相邻NDK，而在矩阵B中与这两个NDK对应的文本中心词也为相邻文本中心词。重新构造的标志矩阵EB以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词和相邻文本中心词为行的中间内容。

利用Jaccard(杰卡德)相似性系数计算出标志矩阵EB中某一文本中心词与事件标签间的相关性S(T_k，E_r)

其中，T_k表示出现在矩阵EB第k个NDK行上的文本中心词，T_a表示出现在其相邻NDK行上的文本中心词，且与第k个NDK具有相同的事件标签E_r；n为第k个NDK行上对应的文本中心词的数量。

根据某一个NDK行所对应的具有相同事件标签的中心词汇之间的相似性，进而计算出某一NDK_k与主题事件之间的任意相关性S(NDK_k，E_r)

其中，m表示在矩阵EB第k个NDK行上的文本中心词个数。

考虑到标志矩阵B中同一个NDK行所对应的所有文本中心词与搜索主题事件之间的关系，还加入了多元对应分析法MCA以计算每个NDK和多个搜索主题事件之间的关系。假设标志矩阵EB中有p行NDK，有q个文本中心词和一列事件标签，利用EB绘制出的判别测度图可以描述标志矩阵中各特征值间的关系。

把矩阵EB视为一个二维表格，把每个格子里的内容(文本中心词、相邻文本中心词、NDK)离散化，得到若干个特征值。这个过程是SPSS里面直接可以操作的。

其中，Y_i，r表示EB中第i个特征值与第r个搜索主题事件之间的相关性，当判别测度图中绘制出的第i个特征值与第r个搜索主题事件之间的夹角小于90°时，说明第i个特征值与第r个搜索主题事件关联性强；夹角越小，二者之间的关联性越强。

因此可计算出某个NDK_k和事件E_r之间的平均相关性PG_k，r为

其中，b表示矩阵EB中，NDK_k行上对应的列数。

综合考虑任意相关性和平均相关性，可得到图片中包含的文本信息T_k与搜索主题E_r中所有事件中心词的相关性SIM(T_k，E_r)

SIM(T_k，E_r)＝α×PG_k，r+β×S(NDK_k，E_r)

其中，α和β为两部分的权重，PG_k，r为NDK_k中包含的文本信息与搜索主题事件E_r的平均相关性，S(NDK_k，E_r)为NDK_k及其相邻NDK对应的文本中心词与事件E_r的任意相关性。

构造关于NDK的图像特征轨迹模型t_k

t_k＝[t_k(e_j)，t_k(e_j+1)，...，t_k(e_j+u)]

其中，s表示检索事件数量，t_k(e_j)表示在NDK_k中包含的关于事件e_j的图像信息

其中，df_j(e_j)表示具有事件标签e_j的某个NDK_k行中包含的图像数，df_j表示所有具有事件标签e_j的NDK_k行中包含的图像总数，N(e_j)表示某个具有事件标签e_j行上包含的图像数，N表示所有具有事件标签e_j行上包含的图像总数。

把具有相同相邻NDK的所有NDK组成一个NDK组，则所有的NDK将被分成若干个NDK组，绘制第x个NDK组的平均图像轨迹模型t^x

其中，c为事件标签数，u为第x个NDK组中的NDK数。

利用pvd(峰值差)、os(重叠跨度)和td(轨迹距离)三个指标来衡量各图像轨迹的相似性，从而描述出两个NDK组图像轨迹t^x和t^y相似性

其中

PVD(t^x)和PVD(t^y)为t^x和t^y两条曲线的峰值，|t^x|为t^x曲线大于零部分包含的事件数，|t^y|为t^y曲线大于零部分包含的事件数，|t^x∩t^y|为t^x和t^y两条轨迹曲线重合部分的搜索主题事件数，td(t^x，t^y)则表示两条曲线之间的距离。

最后计算出到每个NDK中包含的图像信息的所有图像轨迹特征平均值，即可用于描述图像信息I_k与搜索主题事件E_r中所有中心词的相关性

其中，z表示检索事件为Er时，满足SIM(t^x，t^y)＞0这个条件的NDK的个数。

考虑到文本信息和图像信息在相似性计算过程中的权重关系，采用图片中包含的文本信息与图像信息与主题事件间的先验概率计算出所有NDK与主题事件间的关系

log P(NDK_k|E_r)＝log P(T_k)+log P(I_k)+log P(E_r|T_k)+log P(E_r|I_k)-log P(E_r)

其中，P(T_k)、P(I_k)和P(E_r)为三个先验概率，当NDK和搜索主题事件确定时，这三个值也就确定了下来，所以在计算中可以忽略掉。P(E_r|T_k)P(E_r|I_k)则代表了文本信息和图像信息与搜索主题事件间的关系，P(E_r|T_k)＝SIM(T_k，E_r)，P(E_r|I_k)＝SIM(I_k，E_r)，需要加以计算。最后再将检索中涉及到的搜索主题事件全部列出，计算这些搜索主题事件与各NDK的相关性，进而得到搜索主题事件与NDK间的相关性

其中，v表示类型为T的图片中包含的NDK数，w表示搜索主题事件中涉及到的事件中心词数。

将结果按相关度最高低降序排列后输出，最先输出的结果即为最符合要求的检索结果。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。