一种基于多模态的深度兴趣网络推荐方法
阅读说明：本技术 一种基于多模态的深度兴趣网络推荐方法 (Deep interest network recommendation method based on multiple modes ) 是由 万振民 胡彬 于 2021-08-30 设计创作，主要内容包括：本发明提供一种基于多模态的深度兴趣网络推荐方法,步骤包括：数据采集、数据预处理、网络模型训练、模型在线推理。本发明利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型,满足用户个性化阅读,解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响,从而提高排序推荐模型的效果。(The invention provides a deep interest network recommendation method based on multiple modes, which comprises the following steps: data acquisition, data preprocessing, network model training and model on-line reasoning. According to the method, the novel model is used for extracting information such as microblog picture features, context features, user picture features, user historical behavior sequences, microblog texts, microblog images and social relations to construct the personalized deep learning microblog recommendation model, so that the personalized reading of a user is met, the problem that the deep learning model in the prior art cannot solve the influence of the features of various modal forms such as images, characters, sounds and animations on the model is solved, and the effect of the sequencing recommendation model is improved.)
技术领域
本发明涉及智能推荐技术领域，具体涉及一种基于多模态的深度兴趣网络推荐方法。
背景技术
与传统的机器学习模型相比，深度学习的表达能力更强，能够挖掘出更多数据中潜藏的模型，目前主流的深度学习推荐模型有AutoRec、DeepCross、PNN、NeuralCF、FNN、NFM、Wide&Deep、DeepFM、AFM、DIN、DIEN。但是，这些深度学习推荐模型都没有考虑到图像、文字、声音、动画等多种模态形式的特征对模型的影响，导致推荐效果不够理想。事实上图像、文字、声音、动画这样的形式很容易影响用户的选择。
因此，现有技术存在缺陷，需要进一步改进。
发明内容
针对现有技术存在的问题，本发明提供一种基于多模态的深度兴趣网络推荐方法。通过采集图像、文字、声音、动画等多种模态形式的特征，从而提高排序推荐模型的效果。
为实现上述目的，本发明的具体方案如下：
本发明提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
S1，数据采集；
S2，数据预处理；
S3，网络模型训练；
S4，模型在线推理。
进一步地，步骤S1，数据采集具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
进一步地，步骤S2，数据预处理具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
进一步地，步骤S3，网络模型训练具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。
进一步地，步骤S4，模型在线推理具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。
进一步地，步骤S2具体包括如下步骤：
S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
进一步地，步骤S27中FM模型函数公式为：
其中，
表示FM模型的运行结果；
X表示特征向量；
w0是常数项系数，表示FM模型的偏置；
n是所有特征的个数，
wixi表示第i个特征向量和特征值的相乘；
vi是第i个特征的向量表示，
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
xi,xj表示两个互异特征组合的二阶特征。
采用本发明的技术方案，具有以下有益效果：
本发明提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集，数据预处理，网络模型训练，模型在线推理。利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。
附图说明
图1是本发明
具体实施方式
的总体流程图；
图2是本发明具体实施方式的提取微博数据处理的流程图；
图3是本发明具体实施方式的处理微博数据的示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图3对本发明进行具体说明，
本发明提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
S1、数据采集→S2、数据预处理→S3、网络模型训练→S4、模型在线推理。
具体内容如下：
S1、数据采集：根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
S2、数据预处理：读取hive原始数据集，进行数据预处理：样本清洗，去重，缺失值处理等，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
S3、网络模型训练：使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型；
S4、模型在线推理：训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型预测服务，对用户召回的微博资源进行排序。
本方案新模型的特点：
(1)多模态利用：使用Resnet34网络模型得到图像的embedding特征和使用GRU对微博文本进行序列号特征提取，这样新模型就可以学习图片和文字这样的形态特征信息；
(2)学习用户深度兴趣：根据用户历史行为经过Attention网络进行用户兴趣特征提取，然后放入新模型中，可以学习到用户中长期兴趣；
(3)深度神经网络和FM结合：使用深度神经网络和FM结合，能提高整个模型的记忆能力和泛化能力，让推荐的效果更好。
基于社区微博推荐的多模态的深度兴趣网络的模型结构详解，如图2和图3所示：
S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
步骤S27中FM模型函数公式为：
其中，
表示FM模型的运行结果；
X表示特征向量；
w0是常数项系数，表示FM模型的偏置；
n是所有特征的个数，
wixi表示第i个特征向量和特征值的相乘；
vi是第i个特征的向量表示，
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
xi,xj表示两个互异特征组合的二阶特征。
本方案在深度学习框架下构建了用户和微博关系推荐模型的新模型，新模型较好解决了用户获取微博信息不准的问题，各项指标都有一定的增幅：
表1模型训练过程中的auc(Area Under Curve)和优缺点对比
从表1可以看出，新模型上线之后，在微博推荐业务中微博CTR(点击通过率)提升50％左右，微博的点赞、评论、转发、用户留存率也有一定的提升。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：信息推送方法、装置、电子设备及可读存储介质