具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

实施例：

本实施例提供的一种基于近邻图的多模态搜索方法，其流程图如图1所示，本实施例中以基于近邻图对菜谱进行多模态搜索举例，进一步举例说明的流程图如图2所示。

首先进行步骤S1，获取参照数据集，参照数据集中包含多个参照对象，每个参照对象均包含多种模态数据；每个参照对象的模态数据种类相同。

然后进行步骤S2，为每个模态数据生成对应的特征向量，每个参照对象的所有特征向量构成一个参照对象向量。其中特征向量的生成使用预模型进行，比如对于原料数据及料理过程数据这类文本数据可采用现有的BERT模型进行训练并提取特征转变为原料特征向量和料理过程特征向量，对于成品图片数据采用ResNet-50进行训练并提取特征转变为成品图片特征向量。

在本实施例中，参照数据集即为食谱数据集，将食谱数据集中每一个对象，即每一个食谱数据所包含的原料数据、料理过程数据、成品图片数据分别提取特征转变为原料特征向量、料理过程特征向量、成品图片特征向量，一个食谱数据的原料特征向量、料理过程特征向量、成品图片特征向量合称为一个食谱向量，所有食谱向量构成食谱向量集。

食谱数据集表示为：O = {o _i ∣i = 1, 2, …, N}；

其中o _i 为食谱数据集O中的第i个食谱数据，N为食谱数据集中食谱数据个数。

食谱数据o _i 表示为：

；

为食谱数据o _i 的原料数据，为食谱数据o _i 的料理过程数据，为食谱数据o _i 的成品图片数据。

食谱向量集S表示为：

S = {e _i ∣i = 1, 2, …, N}；

其中e _i 为食谱向量集中的第i个食谱向量，N为食谱向量集中食谱向量个数。

食谱向量e _i 表示为:

；

为食谱向量e _i 的原料向量，为食谱向量e _i 的料理过程向量，为食谱向量e _i 的成品图片向量。

然后进行步骤S3，计算各个参照对象间各同种模态数据的特征向量距离。

在本实施例中，通过独立的相似度计算得出各个食谱数据的原料向量、料理过程向量及成品图片向量的距离，相似度计算可以使用l2距离计算，对于向量X(x ₁, x ₂, …,x _n )和向量Y(y ₁, y ₂, …, y _n )的l2距离为(∑(x _i -y _i )²)^1/2。

计算出特征向量距离后，进行步骤S4，使用聚集函数将各个参照对象中所有特征向量距离融合，得到各个参照对象向量间的融合距离。

在本实施例中，具体为通过一个聚集函数来融合原料向量、料理过程向量及成品图片向量间的距离得到食谱向量间的融合距离，融合距离的计算公式为：

;其中，为食谱向量e ₁和e ₂的原料向量的距离，为食谱向量e ₁和e ₂的料理过程向量的距离，为食谱向量e ₁和e ₂的成品图片向量的距离g(·)为聚集函数，用于融合原料向量距离、料理过程向量距离和成品图片向量距离得到融合距离。

上述聚集函数可以为g(·) = w ₁*d ₁+ … +w _k *d _k + … +w _m *d _m ，其中w _k 为第k个特征向量的权重，d _k 为第k个特征向量的距离。具体到本实施例中则为g(·) = w ₁*d ₁+w ₂ *d ₂ +w ₃ *d ₃ ，w ₁即为原料向量的权重，d ₁即为，其他参数同理。

作为上述方案的改进，还可以根据场景需求变化调整聚集函数g(·)，使聚集函数对不同种模态数据的特征向量距离具有不同的权重，从而更倾向于某一模态。

融合距离计算之后，进行步骤S5，根据各参照对象向量间的融合距离生成参照对象的近邻图；

进一步地，近邻图的生成过程可以为：

S5.1，选取一个食谱向量即对象向量e _i ，选取与其融合距离最小的C个对象向量作为候选集，设定一个角度阈值α及连边上限K；

S5.2，从候选集中选取一个与e _i 融合距离最小的对象向量与其连接；

S5.3，以由近到远的顺序依次从候选集中选取对象向量e _j 尝试与对象向量e _i 连边，仅在e _i 和e _j 的连边与e _i 现有的所有连边之间夹角大于α时才能够成功连边，直到尝试完候选集中的全部对象向量；该步骤使得对象向量e _i 能够连接与其融合距离d(e _i , e _j )较近且能保证连边多样性的K个邻居；

S5.4，判断是否仍有对象向量没在步骤S5.1中被选取，若是则返回步骤S5.1，若否则完成近邻图G(V, E)的生成，其中V为顶点集，一个顶点代表一个对象向量，E为边集，是对象向量间所连边的集合。

当参照数据集，也即本实施例中的食谱数据集的近邻图生成后，即可使用该近邻图进行查询，首先进行步骤S6：根据查询内容生成一个查询对象，查询对象包含与参照对象相同种类的多种模态数据，为查询对象的每个模态数据生成对应的特征向量。

具体到本实施例中的食谱查询，则为输入一个食谱查询对象，将食谱查询对象所包含的所包含的原料数据、料理过程数据、成品图片数据分别提取特征转变为原料向量、料理过程向量、成品图片向量，一个食谱查询对象的原料向量、料理过程向量、成品图片向量合称为一个食谱查询向量。

查询向量及其各个特征向量生成完成后，即可进行步骤S7，使用查询对象的各个特征向量在近邻图上查询得到最接近的参照对象。

具体而言，步骤S7包括：

S7.1，设近邻图的顶点集为V，设查询向量为q，选取若干顶点构成查询起始顶点集合B ⊂V；

S7.2，从B中选取与q融合距离最小的未访问顶点x∈V，标记x为已访问顶点；获取x的邻居顶点集N(x) = (y ₁, y ₂, …, y _l )，其中y _l 为x的第l个邻居顶点，l为x的邻居个数；

S7.3，计算N(x)中每个邻居顶点与q的融合距离，并用距离q更近的邻居顶点取代B中距离q最远的顶点；具体为依次选取N(x)中的邻居顶点y，计算y与q的融合距离，若y相比B中距离q最远的顶点z更近，则将y加入B中，将z移出B。

S7.4，判断B中是否存在未被访问过的顶点，若是则返回步骤S7.2，若否则结束查询并返回B作为查询结果；由于连边上限K的限制，最终B中会被限制为K个顶点，即为距离查询向量q最接近的K个顶点，也就是本次查询最接近的K个参照对象。

上述查询过程中查询向量与对象向量e _i 的融合距离d(q, e _i )为：

；

其中，为食谱查询向量q和食谱向量e _i 的原料向量的距离，为食谱查询向量q和食谱向量e _i 的料理过程向量的距离，为食谱查询向量q和食谱向量e _i 的成品图片向量的距离。f(·)为聚集函数，用于融合原料向量距离、料理过程向量距离和成品图片向量距离得到融合距离，可以根据客户需求来灵活设置聚集函数，用来调整原料数据、料理过程数据或成品图片数据的重要性,从而获得需要的结果。

另外需要额外说明的是，上述实施例的方法在两个阶段分别对聚集函数g(·)和f(·)进行了调整，调整聚集函数g(·)是从宏观上考虑某个模态的重要性来突出该模态的权重，而在查询时调整聚集函数f(·)则可以根据用户需要自由调整对某个模态的倾向性。

上述方法通过查询融合距离而同时对对象的多个模态进行查询，并能通过调整聚集函数而改变不同模态对融合距离的影响权重，从而实现了在搜索过程中对模态重要性的灵活操控，和提高了搜索的效率和精度。

应当说明的是，以上仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。