具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供的方案涉及人工智能的计算机视觉、自然语言处理、机器学习等技术，具体通过如下实施例进行说明：

本申请提供的多媒体资源分类模型训练方法和多媒体资源推荐方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

终端102和服务器104均可单独用于执行本申请实施例中提供的多媒体资源分类模型训练方法和多媒体资源推荐方法。

例如，服务器104获取训练多媒体资源的目标属性信息集合和训练标签集合，目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签，将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签。服务器104可以基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型，多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

终端102获取待推荐多媒体资源的目标属性信息集合，目标属性信息集合包括多个维度的目标属性信息，将目标属性信息集合输入已训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和多个任务子网络。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果。终端102可以基于质量分类结果推荐待推荐多媒体资源。

终端102和服务器104也可协同用于执行本申请实施例中提供的多媒体资源分类模型训练方法和多媒体资源推荐方法。

例如，服务器104从终端102获取训练多媒体资源的目标属性信息集合和训练标签集合，服务器104基于训练多媒体资源的目标属性信息集合和训练标签集合对多媒体资源分类模型进行模型训练，得到训练完成的多媒体资源分类模型。

终端102从服务器104获取已训练的多媒体资源分类模型。终端102通过已训练的多媒体资源分类模型对待推荐多媒体资源的质量进行分类，得到待推荐多媒体资源的质量分类结果，从而基于质量分类结果推荐待推荐多媒体资源。

在一个实施例中，如图2所示，提供了一种多媒体资源分类模型训练方法，以该方法应用于图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服务器104。参考图2，多媒体资源分类模型训练方法包括以下步骤：

步骤S202，获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签。

其中，多媒体资源是指包含至少两种媒体的资源，例如，包含图片的文章，包含文字的图片，包含字幕的视频，包含音频的视频等。用户可以在各种资源服务平台上发布多媒体资源，例如，在社交应用上发布生活短视频，在资讯应用上发布新闻资讯。训练多媒体资源是指用于模型训练的多媒体资源。目标属性信息是用于描述多媒体资源的属性、特性、功能的信息。目标属性信息具体可以是多媒体资源中的文字相关信息、图像相关信息、样式相关信息、多媒体资源的发布用户的用户相关信息等。

训练标签是指训练多媒体资源的质量标签，质量标签是用于衡量多媒体资源的质量，例如，质量标签可以包括正标签和负标签，正标签表示多媒体资源在对应任务上的表现较优，为该任务上的优质多媒体资源，负标签表示多媒体资源在对应任务上的表现一般或较差，不是该任务上的优质多媒体资源。质量标签还可以包括第一标签、第二标签、第三标签等。不同的标签代表不同的质量等级，质量等级可以反映多媒体资源的质量优质程度，例如，多媒体资源在对应任务上的表现越优，在该任务上对应的质量等级越高。一个任务对应多媒体资源和用户的一种互动行为，例如与点击行为相关的任务，与浏览行为相关的任务，与评论行为相关的任务。那么，训练标签集合可以包括点击率任务对应的质量标签，浏览时长任务对应的质量标签，点评率任务对应的质量标签。

具体地，计算机设备可以从多媒体资源数据库中获取训练多媒体资源，确定训练多媒体资源对应的训练标签集合。进一步的，计算机设备可以对训练多媒体资源进行内容分析，得到训练多媒体资源的目标属性信息集合。例如，将多媒体资源的文本标题、文本正文、图像质量、内容排版作为目标属性信息，组成目标属性信息集合。

在一个实施例中，训练多媒体资源可以是已经发布、已经推荐的多媒体资源。那么，可以从用户反馈的角度出发，构造多媒体资源质量的合理评价体系，基于该评价体系确定训练多媒体资源的训练标签集合。例如，训练多媒体资源的训练标签可以是基于大量用户对多媒体资源的反馈信息、评价信息确定。例如，基于多媒体资源的点击率、浏览时长、评论率确定多媒体资源的质量标签集合。进一步的，也可以结合内容本身和用户反馈来构造多媒体资源质量的合理评价体系。当然，训练多媒体资源也可以是还未发布、还未推荐的多媒体资源。那么，可以从内容本身的角度出发，构造多媒体资源质量的合理评价体系，基于评价体系确定训练多媒体资源的训练标签集合。例如，训练多媒体资源的训练标签可以是根据专家的专家知识人为确定的质量标签。训练多媒体资源的训练标签也可以是根据内容相似的已发布多媒体资源的质量标签确定。例如，在点击率任务上，已知多媒体资源1的质量标签为正标签，当多媒体资源1和多媒体资源2的内容相似度大于预设阈值，即多媒体资源1和多媒体资源2的内容较为相似时，确定多媒体资源2在点击率任务上的质量标签也为正标签。

步骤S204，将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络。

其中，多媒体资源分类模型是机器学习模型，用于对多媒体资源的质量进行分类，也就是，用于识别优质多媒体资源。多媒体资源分类模型包括多个特征子网络和多个任务子网络。特征子网络用于将目标属性信息转化成属性特征向量，不同的特征子网络用于处理不同的目标属性信息。任务子网络用于基于属性特征向量预测多媒体资源在特定任务上的表现，不同的任务子网络对应不同的任务。

步骤S206，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量。

具体地，计算机设备可以将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型，多媒体资源分类模型中各个特征子网络可以接收相应的目标属性信息，各个特征子网络分别对与自身关联的目标属性信息进行向量化处理，从而输出对应的属性特征向量。其中，向量化是指将目标属性信息用稠密向量表示，从而有助于模型更充分学习到相关信息、相关知识。各个特征子网络对目标属性信息的向量化处理方式可以相同可以不同。

在一个实施例中，计算机设备可以先将目标属性信息转化为原始特征向量，再将原始特征向量输入特征子网络，通过特征子网络对原始特征向量进行稠密化表示，得到属性特征向量。将目标属性信息转化为原始特征向量具体可以是通过One Hot编码方式。

在一个实施例中，多媒体资源分类模型包括文本特征子网络、原子特征子网络、图文融合特征子网络和样式特征子网络中的至少两种。文本特征子网络用于处理多媒体资源对应的与文本相关的目标属性信息。原子特征子网络用于处理多媒体资源对应的原子特征，原子特征是指最小的，不可分割的特征。图文融合特征子网络用于处理多媒体资源对应的与文本相关的目标属性信息和与图像相关的目标属性信息，将两种目标属性信息进行融合。样式特征子网络用于处理多媒体资源对应的与内容样式相关的目标属性信息。各个特征子网络用于处理不同维度的目标属性信息，最终得到的各个属性特征向量可以代表多媒体资源不同角度的、高度提炼的内容信息。

步骤S208，将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签。

具体地，当得到各个特征子网络分别输出的属性特征向量后，计算机设备可以将各个属性特征向量一起输入到各个任务子网络中，各个任务子网络对输入数据进行数据处理后，得到对应的预测标签。例如，多媒体资源分类模型包括三个特征子网络和两个任务子网络，特征子网络1输出属性特征向量1，特征子网络2输出属性特征向量2，特征子网络3输出属性特征向量3，可以将属性特征向量1至3输入任务子网络1，得到预测标签1，将属性特征向量1至3输入任务子网络2，得到预测标签2。当然，为了提高学习效率，计算机设备也可以将各个属性特征向量输入对应的任务子网络，各个任务子网络对输入数据进行数据处理后，得到对应的任务预测结果。例如，可以将属性特征向量1和属性特征向量2输入任务子网络1，得到预测标签1，将属性特征向量2和属性特征向量3输入任务子网络2，得到预测标签2。

在一个实施例中，各个任务子网络用于预测用户对多媒体资源不同类别的反馈信息。例如，用于预测多媒体资源的点击率的任务子网络，用于预测多媒体资源的浏览时长的任务子网络，用于预测多媒体资源的点评率的任务子网络，用于预测多媒体资源转发率的任务子网络等。

步骤S210，基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型，多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

具体地，计算机设备可以基于同一任务对应的训练标签和预测标签计算训练损失值，得到各个任务分别对应的训练损失值，基于各个训练损失值同时进行反向传播，调整多媒体资源分类模型的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型。在调整模型参数时，基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数。例如，多媒体资源分类模型包括点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。基于点击率任务对应的训练标签和预测标签调整点击率任务对应的任务子网络的模型参数，基于浏览时长任务对应的训练标签和预测标签调整浏览时长任务对应的任务子网络的模型参数，基于点击率任务对应的训练标签和预测标签、浏览时长任务对应的训练标签和预测标签调整各个特征子网络的模型参数。其中，收敛条件可以是模型的迭代次数达到迭代阈值，各个任务子网络对应的训练损失值均小于预设阈值等。

在一个实施例中，多媒体资源分类模型是多任务模型。多任务模型是一个基于多任务学习的机器学习模型。多任务学习是基于共享表示(shared representation)，把多个相关的任务放在一起学习的机器学习方法。多任务学习也是一种推导迁移学习方法，主任务(main tasks)使用相关任务(related tasks)的训练信号所拥有的领域相关信息作为一直推导偏差(inductive bias)来提升主任务(main tasks)泛化效果(generalizationperformance)。多任务学习涉及多个相关的任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示(shared representation)来互相帮助学习，以提升泛化效果。多任务学习的本质是一种归纳迁移机制，利用额外的信息来源来提高当前任务的学习性能，包括提高泛化准确率、学习速率和已学习模型的可理解性。多任务模型可以是hard参数共享模型(Hard-parameter sharing)、MOE模型(Mixture-of-Experts)、MMOE模型(Multi-gateMixture-of-Experts)等。多媒体资源分类模型的主任务为多媒体资源的质量分类，也就是，得到多媒体资源的质量分类结果。多媒体资源分类模型的主任务的相关任务为各个任务子网络对应的任务，例如，预测多媒体资源的点击率、预测多媒体资源的浏览时长等。

训练好的多媒体资源分类模型可以用于对待推荐多媒体资源的质量进行分类，识别优质多媒体资源。在进行多媒体资源推荐时，可以先过滤掉明显的低质多媒体资源，再通过多媒体资源分类模型进行优质多媒体资源识别，将识别出来的优质多媒体资源优先推荐给用户，从而提高多媒体资源推荐的有效性。通过多媒体资源分类模型进行优质多媒体资源识别时，将待推荐多媒体资源的目标属性信息集合输入多媒体资源分类模型，多媒体资源分类模型中各个任务子网络可以输出对应的预测标签，多媒体资源分类模型基于各个预测标签输出最终的质量分类结果。例如，可以是所有的预测标签都为正标签时，输出质量分类结果为正标签。也可以是大多数的预测标签都为正标签时，输出质量分类结果为正标签。

上述多媒体资源分类模型训练方法中，基于训练多媒体资源的目标属性信息集合和训练标签集合可以对多媒体资源分类模型进行有监督训练，得到能够对待推荐多媒体资源的质量进行准确分类的多媒体资源分类模型。其中，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到能够准确体现多媒体资源质量的预测标签。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，在模型训练时，多个相关任务同时并行学习，梯度同时反向传播，学习不同任务的联系和差异，从而提高每个任务的学习效率和质量。最终，训练完成的多媒体资源分类模型可以用于对待推荐多媒体资源的质量进行分类，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

在一个实施例中，如图3所示，获取训练多媒体资源的训练标签集合，包括：

步骤S302，获取多个历史多媒体资源分别对应的推荐互动信息集合；推荐互动信息集合包括各个任务对应的推荐互动信息。

其中，历史多媒体资源是指已经发布、已经推荐的多媒体资源。推荐互动信息是指多媒体资源发布后，普通用户与多媒体资源的发布用户通过互动行为所产生的信息，也就是，普通用户对多媒体资源的反馈信息。互动行为具体可以是普通用户对发布用户发布的多媒体资源进行浏览、点赞、点评、转发等。推荐互动信息具体可以包括多媒体资源的点击率、浏览时长、点评率、点赞率、点踩率、转发率等信息，可以理解，前述推荐互动信息两两之间可以认为是不同任务对应的推荐互动信息。

具体地，计算机设备可以获取多个历史多媒体资源，获取各个历史多媒体资源在同一时间段内分别对应的推荐互动信息集合。各个推荐互动信息集合均包括多个任务对应的推荐互动信息。

步骤S304，统计同一任务对应的各个推荐互动信息，得到各个任务分别对应的参考互动信息。

其中，参考互动信息是指同一任务对应的多个推荐互动信息的统计结果，可以反映同一任务对应的多个推荐互动信息的平均水平。例如，同一任务对应的各个推荐互动信息的平均值，同一任务对应的各个推荐互动信息的中位值。

具体地，计算机设备可以从各个推荐互动信息集合中获取同一任务对应的推荐互动信息，对同一任务对应的推荐互动信息进行统计，得到各个任务分别对应的参考互动信息。例如，计算机设备获取各个历史多媒体资源的点击率，计算点击率均值，获取各个多媒体资源的浏览时长，计算浏览时长均值。

步骤S306，基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合。

具体地，在同一历史多媒体资源对应的推荐互动信息集合中，计算机设备可以基于同一任务对应的推荐互动信息和参考互动信息的比较结果对历史多媒体资源的质量在各个任务下进行分类，得到当前历史多媒体资源对应的质量标签集合，进而得到各个历史多媒体资源对应的质量标签集合。例如，推荐互动信息集合包括点击率和浏览时长。当历史多媒体资源1的点击率大于点击率均值时，确定历史多媒体资源1在点击率任务对应的质量标签为正标签。当历史多媒体资源1的浏览时长大于浏览时长均值时，确定历史多媒体资源1在浏览时长任务对应的质量标签为正标签。历史多媒体资源1的质量标签集合包括点击率任务对应的正标签，浏览时长任务对应的正标签。

步骤S308，基于历史多媒体资源和对应的质量标签集合得到训练多媒体资源和对应的训练标签集合。

具体地，计算机设备基于大量的历史多媒体资源分别对应的推荐互动信息集合可以确定大量的历史多媒体资源分别对应的质量标签集合。计算机设备可以从大量的历史多媒体资源中选取一部分历史多媒体资源作为训练多媒体资源，利用训练多媒体资源和对应的训练标签集合训练多媒体资源分类模型。进一步的，计算机设备还可以选取另一部分历史多媒体资源作为验证多媒体资源，利用验证多媒体资源验证训练后的多媒体资源分类模型的分类准确率。若分类准确率较低时，计算机设备可以基于最新的多媒体资源的相关信息对多媒体资源分类模型进行更新。

本实施例中，对大量历史多媒体资源的推荐互动信息集合进行统计分析，根据统计分析结果确定历史多媒体资源的质量标签集合，从而得到多媒体资源分类模型的训练数据。这样，基于用户对多媒体资源的反馈信息对多媒体资源的质量进行分类，将用户感兴趣、比较关注的多媒体资源确定为优质多媒体资源，从而最终训练得到的多媒体资源分类模型可以预测出用户会感兴趣、会比较关注的多媒体资源，将该多媒体资源推荐给用户，可以提高资源推荐的有效性。

在一个实施例中，如图4所示，基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合，包括：

步骤S402，在同一历史多媒体资源对应的推荐互动信息集合中，比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度。

其中，互动度是指将相关互动信息转化到正向维度的归一化数据，以便进行数据比较。推荐互动度是指由推荐互动信息转化得到的互动度。参考互动度是指由参考互动信息转化得到的互动度。

具体地，通过自定义公式将各个任务对应的推荐互动信息转化为推荐互动度，通过自定义公式将各个任务对应的参考互动信息转化为参考互动度。例如，当推荐互动信息为点击率时，可以理解，多媒体资源的点击率越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣，那么，可以直接将点击率转化为百分制的点击得分。这样，多媒体资源的点击得分越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣。同理，可以将点击率均值为转化为百分制的点击平均得分。当推荐互动信息为点踩率时，可以理解，多媒体资源的点踩率越高，多媒体资源的质量越低，用户对该多媒体资源越不感兴趣，那么，可以先将点踩率转化为百分制的初始得分，100和初始得分的差值作为点踩得分。这样，多媒体资源的点踩得分越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣。进而，在同一历史多媒体资源对应的推荐互动信息集合中，计算机设备可以直接比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度，得到各个任务对应的质量标签。

步骤S404，将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签。

步骤S406，将推荐互动度小于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。

具体地，计算机设备可以将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签，将推荐互动度小于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。例如，历史多媒体资源的推荐互动信息集合包括点击率、浏览时长、转发率。当历史多媒体资源1的点击互动度大于参考点击互动度时，确定历史多媒体资源1在点击率任务对应的质量标签为正标签。当历史多媒体资源1的浏览时长互动度大于参考浏览时长互动度时，确定历史多媒体资源1在浏览时长任务对应的质量标签为正标签。当历史多媒体资源1的转发率互动度小于参考转发率互动度时，确定历史多媒体资源1在转发率任务对应的质量标签为负标签。历史多媒体资源1的质量标签集合包括点击率任务对应的正标签、浏览时长任务对应的正标签和转发率任务对应的负标签。

可以理解，也可以基于参考互动度设置各个质量等级的标签对应的统计区间。在一个任务中，将历史多媒体资源的推荐互动度落入的目标统计区间对应的标签作为历史多媒体资源在该任务下对应的质量标签。

本实施例中，通过比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度，可快速确定历史多媒体资源在各个任务下对应的质量标签。

在一个实施例中，特征子网络包括文本特征子网络，与文本特征子网络关联的目标属性信息包括多个文本属性信息，文本特征子网络包括各个文本属性信息分别对应的数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过文本特征子网络中各个数据处理通道，分别对对应的文本属性信息进行向量化处理，得到各个数据处理通道输出的文本特征向量；基于各个文本特征向量得到文本特征子网络输出的属性特征向量。

其中，文本属性信息是指与多媒体资源中文本相关的属性信息，例如，文本标题、文本标签、文本正文等。文本标签可以是文本的主题、类别、关键词等。

具体地，多媒体资源分类模型包括文本特征子网络，文本特征子网络用于处理文本属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的文本属性信息会输入到文本特征子网络。文本特征子网络包括各个文本属性信息分别对应的数据处理通道，文本特征子网络可以通过各个数据处理通道，分别对相应的文本属性信息进行向量化处理，得到文本特征向量。进而，基于各个文本特征向量可以得到文本特征子网络输出的属性特征向量，具体可以是将各个文本特征向量进行拼接得到对应的属性特征向量。

参考图5，与文本特征子网络关联的目标属性信息包括文本标题、文本标签和文本正文。文本特征子网络可以通过数据处理通道一对文本标题进行向量化处理，得到文本特征向量一，通过数据处理通道二对文本标签进行向量化处理，得到文本特征向量二，通过数据处理通道三对文本正文进行向量化处理，得到文本特征向量三，再将文本特征向量一、文本特征向量二和文本特征向量三进行拼接得到属性特征向量。

本实施例中，通过不同的数据处理通道处理不同的文本属性信息，可以提高数据处理的专一性和准确性，从而基于各个准确的文本特征向量得到的属性特征向量可以既全面又准确地表征多媒体资源的文本信息。

在一个实施例中，特征子网络包括原子特征子网络；通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过原子特征子网络，对与原子特征子网络关联的目标属性信息进行特征交叉处理，得到至少一个交叉特征向量；基于各个交叉特征向量得到原子特征子网络输出的属性特征向量。

具体地，多媒体资源分类模型包括原子特征子网络，原子特征子网络用于处理原子特征类的目标属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的原子特征类的目标属性信息会输入到原子特征子网络。原子特征子网络可以将各个目标属性信息进行特征交叉处理，得到至少一个交叉特征向量。各个目标属性信息两两之间进行特征交叉处理，得到交叉特征向量。交叉特征向量可以反映目标属性信息之间的相关性。

在一个实施例中，与原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。

具体地，与原子特征子网络关联的目标属性信息包括多媒体资源的各种原子特征，具体包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。用户属性信息是指多媒体资源的发布用户的用户属性信息，具体可以是发布用户的账号相关信息，例如，账号等级、账号垂直度、账号权威度等。图像属性信息是指多媒体资源中图像相关信息，例如，图像数量、图像清晰美观度等。语言属性信息是指多媒体资源中文本语言、用词相关的信息，例如，文章修辞手法(例如排比句、比喻句数量)、古诗词引用情况、整体词法多样性、句法多样性等。文本统计属性信息是指对多媒体资源中文本内容进行统计得到的信息，例如，文本长度与高度、文章标题优质程度、文章标题与正文的匹配程度、文本排版分等。部分原子特征可以直接获取得到，部分原子特征可以通过相应的软件工具统计得到。可以理解，高级账号的用户发布的多媒体资源往往是比较吸引人、比较优质的。配图丰富精致的多媒体资源往往是比较吸引人、比较优质的。词藻华丽的多媒体资源往往是比较吸引人、比较优质的。各种原子特征除了可以单独表征多媒体资源的质量，还可以协同作用来最大化表征多媒体资源的质量。

参考图6，与原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息。原子特征子网络可以将各个目标属性信息两两之间进行特征交叉处理，得到多个交叉特征向量，将各个交叉特征向量进行拼接得到属性特征向量。

本实施例中，通过对目标属性信息两两之间进行特征交叉处理，可以有效学习到目标属性信息之间的组合特征，从而基于各个交叉特征向量得到的属性特征向量可以既全面又准确地表征多媒体资源的原子特征。

在一个实施例中，特征子网络包括图文融合特征子网络，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量；通过图像数据处理通道对图像属性信息进行编码处理，得到图像特征向量；基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量；基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量；基于第一图文融合特征向量和第二图文融合特征向量得到图文融合特征子网络输出的属性特征向量。

具体地，多媒体资源分类模型包括图文融合特征子网络，图文融合特征子网络用于处理文本属性信息和图像属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的文本属性信息和图像属性信息会输入到图文融合特征子网络。图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。文本数据处理通道可以对文本属性信息进行编码处理，得到中间特征向量。图像数据处理通道可以对图像属性信息进行编码处理，得到图像特征向量。

进一步的，图像可以影响文本。因此，计算机设备可以基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量。对中间特征向量进行注意力分配处理用于为各个语句分配不同的注意力权重，语句的注意力权重可以反映语句在多媒体资源中的重要性。第一图文融合特征向量是各个语句对应的特征向量进行加权求和得到的特征向量。

文本也可以影响图像。计算机设备可以基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量。对图像特征向量进行注意力分配处理用于为各个图像分配不同的注意力权重，图像的注意力权重可以反映图像在多媒体资源中的重要性。第二图文融合特征向量是各个图像对应的特征向量进行加权求和得到的特征向量。

最后，计算机设备基于第一图文融合特征向量和第二图文融合特征向量可以得到图文融合特征子网络输出的属性特征向量，具体可以是将第一图文融合特征向量和第二图文融合特征向量进行拼接，得到对应的属性特征向量。

图文融合子网络是基于图文多模态机器学习的网络。多模态机器学习是指通过机器学习的方法实现处理和理解多源模态信息的能力。单模态表示学习负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态表示学习是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。因此，图文融合子网络可以利用图像和文本之间的互补性，剔除图像和文本之间的冗余性，从而学习到更好的特征表示。

在一个实施例中，通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量，包括：对文本属性信息进行词编码处理，得到词特征向量；对词特征向量进行句编码处理，得到中间特征向量。

具体地，文本数据处理通道接收到文本属性信息后，先对文本属性信息进行词编码处理，得到词特征向量，也就是，以词语为单位，依次对多媒体资源文本正文中各个词语进行编码处理，得到词特征向量。词特征向量包括各个词语分别对应的特征向量。再对句特征向量进行句编码处理，得到中间特征向量，也就是，以语句为单位，依次对各个词语分别对应的特征向量进行编码处理，得到中间特征向量。这样，通过词编码处理可以得到语句表达，通过句编码处理可以得到文本表达。

在一个实施例中，对词特征向量进行句编码处理，得到中间特征向量，包括：对词特征向量进行注意力分配处理，得到句特征向量，对句特征向量进行句编码处理，得到中间特征向量。具体地，对于一个语句来说，语句中每个词语的作用和重要性是不同的。因此，可以对词特征向量进行注意力分配处理，得到句特征向量。对词特征向量进行注意力分配处理用于为一个语句中各个词语分配不同的注意力权重，词语的注意力权重可以反映词语在语句中的重要性。具体可以是基于目标向量对词特征向量进行注意力分配处理，模型训练时，不断调整目标向量的参数，得到最合适的目标向量。句特征向量包括各个语句分别对应的特征向量。再对句特征向量进行句编码处理，得到中间特征向量，也就是，以语句为单位，依次对各个词语分别对应的特征向量进行编码处理，得到中间特征向量。

在一个实施例中，可以通过transformer(变换)模型对文本属性信息进行编码处理，得到中间特征向量。可以通过CNN模型(卷积神经网络)对图像属性信息进行编码处理，得到图像特征向量。

参考图7，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息。图文融合特征子网络通过transformer对文本属性信息进行词编码处理、句编码处理，得到中间特征向量。图文融合特征子网络通过CNN对图像属性信息进行编码处理，得到图像特征向量。接着，基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量，基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量，将第一图文融合特征向量和第二图文融合特征向量进行拼接得到属性特征向量。

本实施例中，通过图文融合特征子网络可以将文本属性信息和图像属性信息有机融合在一起，利用文本和图像之间的互补性，剔除文本和图像之间的冗余性，从而学习到更好表征多媒体资源的图文信息的特征表示。

在一个实施例中，特征子网络包括样式特征子网络，与样式特征子网络关联的目标属性信息包括样式属性信息；样式特征子网络包括第一数据处理通道和第二数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量；通过第二数据处理通道对样式属性信息进行卷积处理，得到第二特征向量；基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。

其中，样式属性信息是指与多媒体资源中信息排版相关的属性信息，也就是，多媒体资源的图文的排版信息。当多媒体资源为包含图片的文章时，样式属性信息可以是将段落和图片按照出现顺序依次排列组成样式属性信息。

具体地，多媒体资源分类模型包括样式特征子网络，样式特征子网络用于处理样式属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的样式属性信息会输入到样式特征子网络。样式特征子网络包括第一数据处理通道和第二数据处理通道，第一数据处理通道和第二数据处理通道用于对样式属性信息进行不同方式的数据处理。

样式特征子网络可以通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量。具体可以以样式属性信息中各个样式子信息为单位，依次对各个样式子信息进行编码处理，得到初始特征向量。初始特征向量包括各个样式子信息分别对应的特征向量。再对初始特征向量进行注意力分配，得到第一特征向量。对初始特征向量进行注意力分配处理用于为各个样式子信息分配不同的注意力权重，样式子信息的注意力权重可以反映样式子信息在多媒体资源中的重要性。例如，样式属性信息包括段落1、段落2、图片1和段落3。对样式属性信息进行编码处理，得到由段落1对应的特征向量、段落2对应的特征向量、图片1对应的特征向量和段落3对应的特征向量组成的初始特征向量。再对各个特征向量进行注意力分配处理，为各个特征向量分配注意力权重，将各个特征向量和对应的注意力权重进行加权求和得到第一特征向量。第一数据处理通道主要用于学习样式属性信息中各个样式子信息之间的特征。

样式特征子网络可以通过第二数据处理通道对样式属性信息进行卷积处理，得到第三特征向量。第二数据处理通道主要用于学习样式属性信息的整体特征。

最后，基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。具体可以是将第一特征向量和第二特征向量进行拼接得到属性特征向量。

参考图8，与样式特征子网络关联的目标属性信息包括样式属性信息。样式特征子网络通过LSTM(Long Short-Term Memory，长短期记忆网络)对样式属性信息进行编码处理，得到初始特征向量，通过attention对初始特征向量进行注意力分配处理，得到第一特征向量，通过CNN对样式属性信息进行卷积处理，得到第二特征向量，将第一特征向量和第二特征向量进行拼接得到属性特性向量。

本实施例中，通过不同的数据处理通道对样式属性信息进行不同的数据处理，可以得到从不同角度表征样式属性信息的特征向量，从而有助于模型学习到与样式有关的知识。

在一个实施例中，各个任务子网络均包括专家层、门控层和融合层；各个任务子网络共享专家层。将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签，包括：在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。

具体地，多媒体资源分类模型包括多个任务子网络，各个任务子网络均包括专家层、门控层和融合层。当各个特征子网络输出属性特征向量后，各个属性特征向量一起输入到各个任务子网络中。在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。各个任务子网络都可以输出预测标签。

在一个实施例中，各个任务子网络不仅共享专家层，还共享门控层。参考图9A，可以将专家层进一步划分为多个专家子层。这样的做法更多是参考了集成学习中的思想，即同等规模下单个网络无法有效学习到所有任务之间通用的表达但通过划分得到多个子网络后每个子网络总能学到某个任务中一些相关独特的表达，再通过门控层的输出加权各个专家子层(Expert)输出，送入各自任务子网络各自的多层全连接就能将特定任务学习地较好。也就是底层多个专家子层学习不同的知识，同时不同专家子层对不同的任务区分侧重，有的专家学习共性的pattern，有的专家学习独立的pattern。

在一个实施例中，各个任务子网络只共享专家层。参考图9B，针对不同任务均设置了对应的门控层，这样的好处是在不添加大量的新参数的情况下学习任务特定的函数去平衡共享的表达，从而对任务之间的关系进行更明确地建模。可以在不明显增加模型参数的要求下，捕捉任务的不同。一方面，门控层是轻量级的，而且专家层是所有任务共用，所以在计算量和参数量上具有优势。另一方面，相对于所有任务共享门控层，每个任务使用单独的门控层。每个任务的门控层通过最终输出权重不同实现对专家子层的选择性利用。不同任务的门控层可以学习到不同的组合特征处理结果的模式，从而模型考虑到捕捉不同任务的相关性和区别。

任务预测结果可以表示为：y^k＝h^k(f^k(x))， g^k(x)＝softmax(W_gkx)其中，y^k表示第k个任务的任务预测结果。h^k(x)表示第k个任务的融合层的数据处理。f^k(x)表示第k个任务的专家层和门控层的数据处理。g^k(x)表示第k个任务的门控层的数据处理。i表示第i个专家子层。n表示有n个专家子层。f_i(x)表示第i个专家子层的数据处理。g^k(x)_i表示针对第k个任务，第i个专家子层的数据处理结果对应的权重。

参考图9C，多资源分类模型具体可以包括点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。两个任务子网络共享专家层，两个任务子网络分别包括各自的门控层和融合层。两个任务子网络对输入数据进行处理后，可以分别输出点击率任务对应的预测标签和浏览时长任务对应的预测标签。

在一个实施例中，如图10所示，所述方法还包括：

步骤S1002，获取验证多媒体资源的目标属性信息集合和验证标签集合；验证多媒体资源是更新推荐的多媒体资源。

步骤S1004，将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，得到验证多媒体资源对应的预测标签集合。

步骤S1006，基于验证多媒体资源对应的预测标签集合和验证标签集合计算分类准确率。

步骤S1008，当分类准确率小于准确率阈值时，基于验证多媒体资源对应的预测标签集合和训练标签集合对训练完成的多媒体资源分类模型进行更新，得到更新后的多媒体资源分类模型。

其中，验证多媒体资源是用于验证多媒体资源分类模型的准确性的多媒体资源。验证标签是指验证多媒体资源的质量标签。验证多媒体资源和训练多媒体资源是不同的多媒体资源，验证多媒体资源是新发布、新推荐的多媒体资源，即验证多媒体资源是更新推荐的多媒体资源。

具体地，用户对多媒体资源的反馈评价存在主观性，并且用户对多媒体资源的主观喜好会随用户群体及多媒体资源的热度而实时变化，因此，需要对多媒体资源分类模型进行更新，来保持多媒体资源分类模型的准确性和适应性。计算机设备可以获取近期发布的历史多媒体资源作为验证多媒体资源，基于最新的推荐互动信息集合确定验证多媒体资源的验证标签集合，进而基于验证多媒体资源对资源分类模型进行模型测试，若测试通过，则无需更新多媒体资源分类模型，若测试不通过，则基于验证多媒体资源对多媒体资源分类模型进行更新。在进行模型测试时，计算机设备可以获取验证多媒体资源的目标属性信息集合，将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，多媒体资源分类模型中各个任务子网络分别各个任务对应的预测标签。计算机设备再基于验证多媒体资源对应的预测标签集合和验证标签集合计算多媒体资源分类模型的分类准确率。当分类准确率大于准确率阈值时，表明多媒体资源分类模型依旧保持较高的准确性，模型测试通过。当分类准确率小于准确率阈值时，表明多媒体资源分类模型的准确性偏低，需要进行模型更新。计算机设备就可以基于验证多媒体资源对应的预测标签集合和训练标签集合计算训练损失值，基于训练损失值进行反向传播，对训练完成的多媒体资源分类模型的模型参数进行更新，直至满足收敛条件，得到更新后的多媒体资源分类模型。更新后的多媒体资源分类模型适用于当前推荐环境，可以识别出用户当前比较感兴趣的多媒体资源。

多媒体资源在发布后，多媒体资源的后验消费数据都存储在各个资源服务平台的数据库中。后验消费数据就是推荐互动信息。参考图11，计算机设备可以从各个数据库中获取历史多媒体资源的后验消费数据，基于后验消费数据筛选出正负样本构建训练集和验证集。正样本是指历史多媒体资源在某一任务对应的质量标签为正标签，负样本是指历史多媒体资源在某一任务对应的质量标签为负标签。计算机设备可以选取一部分历史多媒体资源作为训练集，基于训练集训练多媒体资源分类模型，得到训练完成的多媒体资源分类模型。计算机设备可以获取另一部分历史多媒体资源作为验证集，基于验证集验证已训练的多媒体资源分类模型，基于验证集计算已训练的多媒体资源分类模型的分类准确率。当分类准确率小于准确率阈值时，可以基于验证集更新已训练的多媒体资源分类模型。此外，在确定多媒体资源的质量标签时，计算机设备可以基于训练集的后验消费数据确定训练集中各个历史多媒体资源的质量标签，基于验证集的后验消费数据确定验证集中各个历史多媒体资源的质量标签，避免训练集和验证集之间互相干扰。可以理解，计算机设备可以定时对最新的多媒体资源分类模型进行更新，以保障多媒体资源分类模型始终适应当前推荐环境。

在一个实施例中，当一个多媒体资源的预测标签集合和验证标签集合的重合度大于重合度阈值时，确定多媒体资源分类模型对该多媒体资源的质量分类是准确的，模型预测准确。那么，可以统计验证集中预测准确的多媒体资源的比例，得到多媒体资源分类模型的分类准确率。

在一个实施例中，如图12所示，提供了一种多媒体资源推荐方法，以该方法应用于图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服务器104。参考图12，多媒体资源推荐方法包括以下步骤：

步骤S1202，获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息。

步骤S1204，将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络。

步骤S1206，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量。

步骤S1208，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签。

步骤S1210，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果。

步骤S1212，基于质量分类结果推荐待推荐多媒体资源。

具体地，为了给用户推荐更优质的多媒体资源，提高资源推荐的有效性，在进行多媒体资源推荐之前，计算机设备可以利用已训练的多媒体资源分类模型从海量的待推荐多媒体资源中识别出优质的多媒体资源，再将优质的多媒体资源推荐给用户。

计算机设备可以对待推荐多媒体资源进行内容分析，得到待推荐多媒体资源的目标属性信息集合，将待推荐多媒体资源的目标属性信息集合输入已训练的多媒体资源分类模型，得到待推荐多媒体资源对应的质量分类结果。

已训练的多媒体资源分类模型包括多个特征子网络和多个任务子网络。特征子网络用于将目标属性信息转化成属性特征向量，不同的特征子网络用于处理不同的目标属性信息。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，可以得到各个特征子网络输出的属性特征向量。

任务子网络用于基于属性特征向量预测多媒体资源在特定任务上的表现，不同的任务子网络对应不同的任务。当得到各个特征子网络分别输出的属性特征向量后，计算机设备可以将各个属性特征向量一起输入到各个任务子网络中，各个任务子网络对输入数据进行数据处理后，得到对应的预测标签。

计算机设备基于各个任务预测结果可以预测待推荐多媒体资源对应的质量分类结果。具体可以是当任务预测结果都为正标签的数量大于预设阈值时，确定质量分类结果为正标签。例如，当所有的任务预测结果均为正标签时，确定质量分类结果为正标签。当超过半数的任务预测结果为正标签时，确定质量分类结果为正标签。多媒体资源分类模型最终输出待推荐多媒体资源对应的质量分类结果。可以理解，也可以是多媒体资源分类模型输出各个预测标签，在模型外基于各个预测标签确定质量分类结果。也可以是多媒体资源分类模型输出各个预测标签和质量分类结果。

当得到待推荐多媒体资源的质量分类结果后，计算机设备可以对识别出来的优质多媒体资源进行推荐加权，对低质多媒体资源进行推荐降权，这一推荐方法可以有效将调性高且有吸引力的优质多媒体资源优先推荐给用户，给用户带来良好的阅读体验，提高资源推荐的有效性。

可以理解，训练多媒体资源分类模型的训练和更新的具体过程可以参照前述多媒体资源分类模型训练方法的各个相关实施例所述的方法，多媒体资源分类模型的模型结构和数据处理过程也可以参照前述多媒体资源分类模型训练方法的各个相关实施例所述的方法，此处不再赘述。

上述多媒体资源分类模型训练方法，通过获取待推荐多媒体资源的目标属性信息集合，目标属性信息集合包括多个维度的目标属性信息，将目标属性信息集合输入已训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和多个任务子网络，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果，基于质量分类结果推荐待推荐多媒体资源。这样，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到准确的质量分类结果。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，综合多媒体资源在各个任务上的表现得到多媒体资源的质量分类结果，能够进一步提高多媒体资源质量分类的准确性。最终，通过多媒体资源分类模型可以识别出质量较优的多媒体资源，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

本申请还提供一种应用场景，该应用场景应用上述的多媒体资源分类模型训练和多媒体资源推荐方法。具体地，上述方法在图文内容推荐应用场景的应用如下：

参考图13A，资源服务平台在推荐图文内容时，可以先将低质内容过滤，再进行优质内容识别，在优质内容出库后会对优质内容进行加权推荐，从而有效地将调性高且有吸引力的优质内容优先推荐给用户，给用户带来良好的阅读体验，提高推荐有效性。

1、过滤低质内容

低质内容具体包括包含低俗内容、谣言、标题党、广告营销的图文内容。次低质内容具体包括包含无营养的图文内容、套路文、八卦党、宣发文、拼接文、负面影响文、口水文、广告软文等图文内容。服务器可以优先将上述低质内容过滤。

2、识别优质内容

优质内容识别方法包括先验优质和后验优质。先验优质是指从图文内容出发，从文本质量、图片质量、图文排版等客观角度识别出优质内容。后验优质是指不仅从图文内容出发，还进一步考虑用户对图文内容的评价，从客观和主观角度综合识别出优质内容。

服务器可以训练用于图文后验优质识别的模型。首先，从图文多模态、文章排版、账号、语言学等各个内容维度构建特征完成深度网络建模，建立基于多任务的图文内容分类模型。图文内容分类模型的模型结构可以参考图13B。模型包括文本特征子网络、原子特征子网络、图文融合特征子网络和样式特征子网络，各个特征子网络输出的数据再输出到各个任务子网络，各个任务子网络输出任务预测结果，基于各个任务预测结果得到输入数据对应的质量分类结果。各个特征子网络和任务子网络之间可以通过MLP层进行连接。图13B的模型包括预测点击率的任务子网络和预测浏览时长的任务子网络，即点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。

接着，利用用户的后验消费数据驱动对优质内容的理解，也就是，使用后验消费数据筛选出图文优质正负样本，建立训练集和验证集。参考图13C，用户在资讯看点小程序浏览资讯时，可以对资讯文章进行点赞、点踩、评论、点击浏览正文等操作，后台会对这些操作数据进行统计得到后验消费数据，例如，点击率、点赞率、浏览时长等。

进一步的，基于训练集对模型进行训练，得到训练完成的图文内容分类模型。已训练的图文内容分类模型可以用于对待推荐图文内容的质量进行分类，将待推荐图文内容的目标属性信息集合输入图文内容分类模型，即可得到待推荐图文内容对应的质量分类结果。

3、推荐优质内容

当质量分类结果表明待推荐图文内容为优质内容时，对优质内容进行加权推荐。

该模型上线后准确率达到95％。在浏览器侧对识别出来图文优质内容进行推荐加权实验后，实现了将阅读体验佳且有吸引力的优质内容优先推荐给用户，并在业务侧取得了良好的业务效果。浏览器侧整体图文点击提升0.946％，图文浏览总时长提升1.007％，图文CTR提升0.729％，同时互动指标数据中人均评论提升0.416％。

进一步的，模型训练好后，可以不定时基于验证集对模型进行测试，若测试结果表明模型的准确性偏低，则对模型进行更新，以保障模型的准确性。此外，我们也对模型更新时间进行了测试分析，测试结果如表1所示。根据测试结果可以将模型的自动更新周期设置为5天，以维持模型较高的准确性。

表1

本实施例中，基于多任务及图文多模态、文章排版、账号、语言学等进行图文后验优质识别的模型自动更新方案，是一种基于具体业务场景的算法以及模型结构上的创新。使用用户的后验消费数据驱动对优质内容的理解，即使用后验消费数据筛选图文优质正负样本，并从图文多模态、文章排版、账号、语言学等各个内容维度构建特征完成深度网络建模，并采用模型自动更新方案不断捕获最新消费内容规律，一定程度优化用户群体的主观消费喜好随时间而实时变化的问题，提高资源推荐的有效性。

应该理解的是，虽然图2-13B的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-13B中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图14所示，提供了一种多媒体资源分类模型训练装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：信息获取模块1402、属性信息输入模块1404、属性信息处理模块1406、任务预测模块1408、标签预测模块1410和模型调整模块1412，其中：

信息获取模块1402，用于获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签；

属性信息输入模块1404，用于将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

属性信息处理模块1406，用于通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块1408，用于将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；

模型调整模块1410，用于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

在一个实施例中，信息获取模块还用于获取多个历史多媒体资源分别对应的推荐互动信息集合；推荐互动信息集合包括各个任务对应的推荐互动信息；统计同一任务的推荐互动信息，得到各个任务分别对应的参考互动信息；基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合；基于历史多媒体资源和对应的质量标签集合得到训练多媒体资源和对应的训练标签集合。

在一个实施例中，信息获取模块还用于在同一历史多媒体资源对应的推荐互动信息集合中，比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度；将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签；将推荐互动度小于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。

在一个实施例中，特征子网络包括文本特征子网络，与文本特征子网络关联的目标属性信息包括多个文本属性信息，文本特征子网络包括各个文本属性信息分别对应的数据处理通道。属性信息处理模块还用于通过文本特征子网络中各个数据处理通道，分别对对应的文本属性信息进行向量化处理，得到各个数据处理通道输出的文本特征向量；基于各个文本特征向量得到文本特征子网络输出的属性特征向量。

在一个实施例中，特征子网络包括原子特征子网络。属性信息处理模块还用于通过原子特征子网络，对与原子特征子网络关联的目标属性信息进行特征交叉处理，得到至少一个交叉特征向量；基于各个交叉特征向量得到原子特征子网络输出的属性特征向量。

在一个实施例中，与原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。

在一个实施例中，特征子网络包括图文融合特征子网络，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。属性信息处理模块还用于通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量；通过图像数据处理通道对图像属性信息进行编码处理，得到图像特征向量；基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量；基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量；基于第一图文融合特征向量和第二图文融合特征向量得到图文融合特征子网络输出的属性特征向量。

在一个实施例中，属性信息处理模块还用于对文本属性信息进行词编码处理，得到词特征向量；对词特征向量进行句编码处理，得到中间特征向量。

在一个实施例中，特征子网络包括样式特征子网络，与样式特征子网络关联的目标属性信息包括样式属性信息；样式特征子网络包括第一数据处理通道和第二数据处理通道。属性信息处理模块还用于通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量；通过第二数据处理通道对样式属性信息进行卷积处理，得到第二特征向量；基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。

在一个实施例中，各个任务子网络均包括专家层、门控层和融合层；所述各个任务子网络共享专家层。标签预测模块还用于在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。

在一个实施例中，如图15所示，所述装置还包括：

模型更新模块1412，用于获取验证多媒体资源的目标属性信息集合和验证标签集合；验证多媒体资源是更新推荐的多媒体资源；将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，得到验证多媒体资源对应的预测标签集合；基于验证多媒体资源对应的预测标签集合和验证标签集合计算分类准确率；当分类准确率小于准确率阈值时，基于验证多媒体资源对应的预测标签集合和训练标签集合对训练完成的多媒体资源分类模型进行更新，得到更新后的多媒体资源分类模型。

在一个实施例中，如图16所示，提供了一种多媒体资源推荐装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：属性信息获取模块1602、属性信息输入模块1604、属性信息处理模块1606、任务预测模块1608、质量分类模块1610和资源推荐模块1612，其中：

属性信息获取模块1602，用于获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息；

属性信息输入模块1604，用于将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络；

属性信息处理模块1606，用于通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块1608，用于将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

质量分类模块1610，用于基于各个预测标签得到待推荐多媒体资源对应的质量分类结果；

资源推荐模块1612，用于基于质量分类结果推荐待推荐多媒体资源。

关于多媒体资源分类模型训练装置和多媒体资源推荐装置的具体限定可以参见上文中对于多媒体资源分类模型训练方法和多媒体资源推荐方法的限定，在此不再赘述。上述多媒体资源分类模型训练装置和多媒体资源推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多媒体资源的推荐互动信息集合、目标属性信息集合、质量标签、多媒体资源分类模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体资源分类模型训练方法和多媒体资源推荐方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多媒体资源分类模型训练方法和多媒体资源推荐方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17、18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。