视频推荐方法、装置、电子设备及存储介质

文档序号:1921697 发布日期:2021-12-03 浏览:11次 >En<

阅读说明:本技术 视频推荐方法、装置、电子设备及存储介质 (Video recommendation method and device, electronic equipment and storage medium ) 是由 白明 于 2020-05-27 设计创作,主要内容包括:本公开关于一种视频推荐方法、装置、电子设备及存储介质,其中所述方法包括:获取目标视频的视频属性信息;对视频属性信息进行转换处理,获得用于表示目标视频的视频特征信息;确定候选账户集合中各候选账户的账户属性信息、候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息;根据该候选账户、账户属性信息、交互视频标识以及交互视频属性信息,确定用于表示候选账户的账户特征信息;根据各候选账户的账户特征信息以及目标视频的视频特征信息,从候选账户集合中确定目标账户,并将目标视频推荐至目标账户中。从而实现根据已有交互记录的视频数据,为新视频确定目标账户,提高对新视频的冷启动推荐的准确率。(The disclosure relates to a video recommendation method, a video recommendation device, an electronic device and a storage medium, wherein the method comprises the following steps: acquiring video attribute information of a target video; converting the video attribute information to obtain video characteristic information used for representing a target video; determining account attribute information of each candidate account in the candidate account set, an interactive video identifier of a video interacted with the candidate account and interactive video attribute information of the video; determining account characteristic information for representing the candidate account according to the candidate account, the account attribute information, the interactive video identification and the interactive video attribute information; and determining a target account from the candidate account set according to the account characteristic information of each candidate account and the video characteristic information of the target video, and recommending the target video to the target account. Therefore, the target account is determined for the new video according to the video data recorded by the existing interaction, and the accuracy of cold start recommendation of the new video is improved.)

视频推荐方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术,尤其涉及一种视频推荐方法、装置、电子设备及存储介质。

背景技术

互联网的出现和普及给用户带来了大量的信息,满足了用户在信息时代对信息的需求,但随着网络的迅速发展而带来的网上信息量的大幅增长,使得用户在面对大量信息时无法从中获得对自己真正有用的部分,对信息的使用效率反而降低了,这就是信息超载(information overload)问题。推荐系统能够比较好地解决信息超载问题,推荐系统的目标是根据已有的信息向用户推荐用户喜欢的物品,从而促进用户与物品之间发生交互行为,如点击和收藏等等。但对于新上线的物品,由于缺少用户反馈,容易存在不被用户接受的风险。

例如,对于新视频(例如新上线视频),由于缺少用户交互及反馈,从而相对于老视频(即有较多用户交互及反馈的视频)来说,难以对新视频做到精准个性化推荐。

在相关技术中,一些推荐系统的做法是,按照视频的生产者,把新视频直接推荐给曾经喜欢这个生产者其他视频的消费者。这样做的缺点是消费者不一定喜欢这个生产者的所有视频,同一个生产者不能保证生产的每个视频的质量和主题是一样的,从而影响用户的消费体验,降低平台上作者的生产意愿。另外,这种做法会降低消费者的兴趣发现率,容易引起信息茧房。

发明内容

本公开提供一种视频推荐方法及装置,以至少解决相关技术中在对新视频的冷启动推荐时准确率较低的问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种视频推荐方法,包括:

获取目标视频的视频属性信息,其中,所述目标视频为在当前平台未存在视频交互行为的视频或者存在的视频交互行为不满足预设条件的视频;

对所述视频属性信息进行转换处理,获得用于表示所述目标视频的视频特征信息;

确定候选账户集合中各候选账户的账户属性信息、所述候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息;

根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,确定用于表示所述候选账户的账户特征信息;

根据各候选账户的账户特征信息以及所述目标视频的视频特征信息,从所述候选账户集合中确定目标账户,并将所述目标视频推荐至所述目标账户中。

可选地,所述对所述视频属性信息进行转换处理,获得用于表示所述目标视频的视频特征信息的步骤包括:

根据所述目标视频以及所述目标视频的视频属性信息,构建视频属性异构图,所述视频属性异构图中包括目标视频标识节点以及视频属性信息节点;

将所述视频属性异构图输入至已训练的第一图卷积神经网络模型,在所述第一图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第一特征向量,对不同类型的节点的值进行联合卷积操作,获得第二特征向量,并对所述第一特征向量及所述第二特征向量进行降维处理,输出视频特征信息。

可选地,所述目标视频标识节点采用由目标视频标识经由已有模型训练后的向量来表示;

所述视频属性信息节点由所述视频属性信息表示,或者,由所述视频属性信息经由已有模型训练后的向量来表示,或者由所述视频属性信息以及所述视频属性信息经由已有模型训练后的向量进行联合表示。

可选地,所述第一图卷积神经网络模型采用如下方式训练得到:

确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

获取各样本视频对应的样本视频属性信息;

根据所述样本视频以及对应的样本视频属性信息构建样本视频属性异构图;

采用预设的图卷积神经网络学习器对所述样本视频属性异构图进行学习,生成第一图卷积神经网络模型。

可选地,所述根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,确定用于表示所述候选账户的账户特征信息的步骤包括:

根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,构建视频账户属性异构图,所述视频账户属性异构图中包括交互视频标识节点、交互视频属性信息节点、候选账户节点以及账户属性信息节点;

将所述视频账户属性异构图输入至已训练的第二图卷积神经网络模型,在所述第二图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第三特征向量,对不同类型的节点的值进行联合卷积操作,获得第四特征向量,并对所述第三特征向量及所述第四特征向量进行降维处理,输出账户特征信息。

可选地,所述候选账户节点采用由所述候选账户经由已有模型训练后的向量来表示;

所述交互视频标识节点采用由交互视频标识经由已有模型训练后的向量来表示;

所述账户属性信息节点由所述账户属性信息表示,或者,由所述账户属性信息经由已有模型训练后的向量来表示,或者,由所述账户属性信息以及所述账户属性信息经由已有模型训练后的向量进行联合表示;

所述交互视频属性信息节点由所述交互视频属性信息表示,或者,由所述交互视频属性信息经由已有模型训练后的向量来表示,或者由所述交互视频属性信息以及所述交互视频属性信息经由已有模型训练后的向量进行联合表示。

可选地,所述第二图卷积神经网络模型采用如下方式训练得到:

确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

获取各样本视频对应的样本视频属性信息;

确定对所述样本视频存在交互行为的账户作为样本账户;

获取各样本账户对应的样本账户属性信息;

根据所述样本账户、所述样本账户属性信息、所述样本视频的视频标识以及所述样本视频属性信息构建样本账户视频属性异构图;

采用预设的图卷积神经网络学习器对所述样本账户视频属性异构图进行学习,生成第二图卷积神经网络模型。

可选地,所述根据各候选账户的账户特征信息以及所述目标视频的视频特征信息,从所述候选账户集合中确定目标账户的步骤包括:

将所述视频特征信息与各候选账户的账户特征信息输入至已训练的匹配模型,并获取所述匹配模型输出的所述视频特征信息与各候选账户的账户特征信息的匹配分数;

在所述候选账户集合中选取匹配分数排序在前的一个或多个候选账户作为目标账户。

根据本公开实施例的第二方面,提供一种视频推荐装置,包括:

视频属性信息获取单元,被配置为获取目标视频的视频属性信息,其中,所述目标视频为在当前平台未存在视频交互行为的视频或者存在的视频交互行为不满足预设条件的视频;

视频特征信息确定单元,被配置为对所述视频属性信息进行转换处理,获得用于表示所述目标视频的视频特征信息;

账户特征信息确定单元,被配置为确定候选账户集合中各候选账户的账户属性信息、所述候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息;并根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,确定用于表示所述候选账户的账户特征信息;

目标账户确定单元,被配置为根据各候选账户的账户特征信息以及所述目标视频的视频特征信息,从所述候选账户集合中确定目标账户,并将所述目标视频推荐至所述目标账户中。

可选地,所述视频特征信息确定单元包括:

视频属性异构图构建子单元,被配置为根据所述目标视频以及所述目标视频的视频属性信息,构建视频属性异构图,所述视频属性异构图中包括目标视频标识节点以及视频属性信息节点;

视频特征信息获取子单元,被配置为将所述视频属性异构图输入至已训练的第一图卷积神经网络模型,在所述第一图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第一特征向量,对不同类型的节点的值进行联合卷积操作,获得第二特征向量,并对所述第一特征向量及所述第二特征向量进行降维处理,输出视频特征信息。

可选地,所述目标视频标识节点采用由目标视频标识经由已有模型训练后的向量来表示;

所述视频属性信息节点由所述视频属性信息表示,或者,由所述视频属性信息经由已有模型训练后的向量来表示,或者由所述视频属性信息以及所述视频属性信息经由已有模型训练后的向量进行联合表示。

可选地,所述装置还包括被配置为训练所述第一图卷积神经网络模型的第一模型训练单元,包括:

样本视频确定子单元,被配置为确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

样本视频属性信息获取子单元,被配置为获取各样本视频对应的样本视频属性信息;

样本视频属性异构图构建子单元,被配置为根据所述样本视频以及对应的样本视频属性信息构建样本视频属性异构图;

第一学习子单元,被配置为采用预设的图卷积神经网络学习器对所述样本视频属性异构图进行学习,生成第一图卷积神经网络模型。

可选地,所述账户特征信息确定单元包括:

视频账户属性异构图构建子单元,被配置为根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,构建视频账户属性异构图,所述视频账户属性异构图中包括交互视频标识节点、交互视频属性信息节点、候选账户节点以及账户属性信息节点;

账户特征信息获取子单元,被配置为将所述视频账户属性异构图输入至已训练的第二图卷积神经网络模型,在所述第二图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第三特征向量,对不同类型的节点的值进行联合卷积操作,获得第四特征向量,并对所述第三特征向量及所述第四特征向量进行降维处理,输出账户特征信息。

可选地,所述候选账户节点采用由所述候选账户经由已有模型训练后的向量来表示;

所述交互视频标识节点采用由交互视频标识经由已有模型训练后的向量来表示;

所述账户属性信息节点由所述账户属性信息表示,或者,由所述账户属性信息经由已有模型训练后的向量来表示,或者,由所述账户属性信息以及所述账户属性信息经由已有模型训练后的向量进行联合表示;

所述交互视频属性信息节点由所述交互视频属性信息表示,或者,由所述交互视频属性信息经由已有模型训练后的向量来表示,或者由所述交互视频属性信息以及所述交互视频属性信息经由已有模型训练后的向量进行联合表示。

可选地,所述装置还包括被配置为训练所述第二图卷积神经网络模型的第二模型训练单元,包括:

样本视频确定子单元,被配置为确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

样本视频属性信息获取子单元,被配置为获取各样本视频对应的样本视频属性信息;

样本账户确定子单元,被配置为确定对所述样本视频存在交互行为的账户作为样本账户;

样本账户属性信息获取子单元,被配置为获取各样本账户对应的样本账户属性信息;

样本账户视频属性异构图构建子单元,被配置为根据所述样本账户、所述样本账户属性信息、所述样本视频的视频标识以及所述样本视频属性信息构建样本账户视频属性异构图;

第二学习子单元,被配置为采用预设的图卷积神经网络学习器对所述样本账户视频属性异构图进行学习,生成第二图卷积神经网络模型。

可选地,所述目标账户确定单元包括:

匹配分数获取子单元,被配置为将所述视频特征信息与各候选账户的账户特征信息输入至已训练的匹配模型,并获取所述匹配模型输出的所述视频特征信息与各候选账户的账户特征信息的匹配分数;

目标账户选取子单元,被配置为在所述候选账户集合中选取匹配分数排序在前的一个或多个候选账户作为目标账户。

根据本公开实施例的第三方面,提供一种存储介质,当所述存储介质中的指令由所述设备的处理器执行时,使得所述电子设备能够执行上述的方法。

根据本公开实施例的第四方面,提供一种计算机程序产品,包括可执行程序代码,其中,所述程序代码在通过上述装置执行时实施上述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

在本实施例中,针对当前平台无视频交互行为的目标视频或者视频交互行为不满足预设条件的目标视频,可以获取该目标视频的视频属性信息,并将视频属性信息转换成用于表示目标视频的视频特征信息。同时,确定候选账户集合中各候选账户的账户属性信息、候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息,并根据上述账户属性信息、候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息确定该候选账户的账户特征信息。然后,根据各候选账户的账户特征信息以及目标视频的视频特征信息,从候选账户集合中确定目标账户,并将目标视频推荐给目标账户,从而实现根据已有交互记录的视频数据,为新视频确定目标账户,提高对新视频冷启动推荐的准确率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频推荐方法的流程图。

图2是根据一示例性实施例示出的另一种视频推荐方法的流程图。

图3是根据一示例性实施例示出的视频属性异构图示意图。

图4是根据一示例性实施例示出的降维处理示意图。

图5是根据一示例性实施例示出的第一图卷积神经网络模型生成的方法实施例流程图。

图6是根据一示例性实施例示出的视频账户属性异构图示意图。

图7是根据一示例性实施例示出的第二图卷积神经网络模型生成的方法实施例流程图。

图8是根据一示例性实施例示出的一种视频推荐装置框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、

本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频推荐方法的流程图,该视频推荐方法可以应用于在视频推荐平台或视频播放平台中(下文可以称为平台)中为新上线的目标视频冷启动推荐(Cold Start Recommendation,简称CSR)的场景,以此提高目标视频在平台上的点击率或关注度。其中,该平台可以与客户端通过网络连接。平台可以用独立的服务器或者是多个服务器组成的服务器集群来实现。该客户端所在的终端具体可以是台式终端或移动终端,移动终端具体可以包括手机、平板电脑、笔记本电脑等中的至少一种。终端可以用于播放视频、音频等的多媒体内容。

如图1所示,本实施例包括以下步骤。

在步骤S11中,获取目标视频的视频属性信息。

作为一种示例,目标视频可以为在当前平台未存在视频交互行为的视频,例如,新上线的视频(new photo)。

在其他示例中,目标视频还可以为存在的视频交互行为不满足预设条件的视频,例如,在当前平台只有少量视频交互行为的视频(如视频交互记录低于50条)。

对于目标视频而言,由于其没有或只有少量的交互行为数据,则在本实施例中可以获取目标视频的视频属性信息,并可以根据该视频属性信息来获取目标视频的特征表示。作为一种示例,视频属性信息可以包括但不限于如下的一种或结合:视频标签tag、视频的文本信息(即与视频相关的文本信息,如视频的评论文本数据、视频的语音文本数据等)、音频信息、视频封面表示及视频所有帧表示等视频信息。其中,视频的文本信息、音频信息及视频信息可以称为视频的多模态信息。

在步骤S12中,对所述视频属性信息进行转换处理,获得用于表示所述目标视频的视频特征信息。

在该步骤中,由于目标视频在当前平台没有视频交互行为或者已有的视频交互行为不满足预设条件,则可以通过获取视频属性信息,并对视频属性信息进行转换,以获得视频特征信息,该视频特征信息可以用来表征目标视频。

在一种实施方式中,可以将视频属性信息转换成视频属性向量,并将所有的视频属性向量作为视频特征信息。

在步骤S13中,确定候选账户集合中各候选账户的账户属性信息、所述候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息。

在一种实施方式中,候选账户集合(user set)可以为平台内所有账户组成的集合,包括注册账户及游客;或者,该候选账户集合也可以为平台内所有注册账户组成的集合,该注册账户可以包括有交互行为记录的注册账户或者没有交互行为记录的新注册账户;或者,为了节省计算资源,该候选账户集合还可以是平台内所有具有交互行为记录的注册账户组成的集合,或者最近的一段时间内比较活跃的注册账户组成的集合,本实施例对此不作限制。

需要说明的是,候选账户集合中的候选账户的数量可以根据实际需求确定,本实施例对此不作限制。

在该步骤中,针对候选账户集合中的各候选账户,可以获取各候选账户的账户属性信息、该候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息。

示例性地,账户属性信息至少可以包括如下的一种或结合:候选账户所在的信息点POI(Point Of Information)信息、候选账户所使用的设备的设备信息(如设备型号、设备品牌、设备子品牌等)、该设备安装的应用程序列表等。

在一种例子中,POI信息可以包括但不限于:候选账户所在的城市City、该城市的城市等级City_level、该城市所在的省份Province_name、候选账户所处的社区类型Community_type等等。在一种实现中,可以通过候选账户所在的客户端调用所处设备的定位功能来获取POI信息。

而对于候选账户所使用的设备的设备信息及该设备安装的应用程序列表app_list等信息,也可以通过候选账户所在的客户端调用设备的相关接口来获取,例如,通过调用GetAPPList()函数来获取app_list。

在一种实现中,可以从日志记录中查找候选账户发生交互行为的交互视频标识。各交互视频标识对应的交互视频属性信息可以包括但不限于:视频标签tag及视频的多模态信息等。在一种例子中,该多模态信息可以包括文本信息(如视频的评论文本数据、视频的语音文本数据等等)、视频信息(如视频封面表示、视频的所有帧表示等等)及音频信息等。

在步骤S14中,根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,确定用于表示所述候选账户的账户特征信息。

在该步骤中,该账户特征信息可以用来表征候选账户。在一种实施方式中,可以将候选账户、账户属性信息、交互视频标识以及交互视频属性信息转换成向量,并将所有转换得到的向量作为账户特征信息。

在步骤S15中,根据各候选账户的账户特征信息以及所述目标视频的视频特征信息,从所述候选账户集合中确定目标账户,并将所述目标视频推荐至所述目标账户中。

在一种实施方式中,可以采用相似度算法来计算各候选账户的账户特征信息以及目标视频的视频特征信息的匹配程度,本实施例对具体的相似度算法不作限定,例如可以是余弦相似度算法、欧式距离相似度算法等。

在一种例子中,匹配程度可以表示为匹配分数(matching score),匹配分数越大,代表候选账户的账户特征信息与目标视频的视频特征信息的距离越近,两者越匹配。反之,匹配分数越小,代表账户特征信息与视频特征信息之间的距离越远,两者越不匹配。例如,假设匹配分数在[0,1]区间内,当账户特征信息与视频特征信息的匹配分数越接近1时,表示两者越匹配;当账户特征信息与视频特征信息的匹配分数越接近0时,表示两者越不匹配。

然后,可以将匹配分数进行排序操作(Ranking),将匹配分数最高的前N个候选账户作为目标账户,其中,N可以根据实际需求确定,本实施例对此不作限定。

在本实施例中,针对当前平台无视频交互行为的目标视频或者视频交互行为不满足预设条件的目标视频,可以获取该目标视频的视频属性信息,并将视频属性信息转换成用于表示目标视频的视频特征信息。同时,确定候选账户集合中各候选账户的账户属性信息、候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息,并根据上述账户属性信息、候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息确定该候选账户的账户特征信息。然后,根据各候选账户的账户特征信息以及目标视频的视频特征信息,从候选账户集合中确定目标账户,并将目标视频推荐给目标账户,从而实现根据已有交互记录的视频数据,为新视频确定目标账户,提高对新视频冷启动推荐的准确率,保证视频推荐效果,进而可以提高视频生产者的生产意愿。同时提高消费者的兴趣发现率,避免信息茧房。

图2是根据一示例性实施例示出的另一种视频推荐方法的流程图,如图2所示,包括以下步骤。

在步骤S21中,获取目标视频的视频属性信息。

其中,目标视频为在当前平台未存在视频交互行为的视频或者存在的视频交互行为不满足预设条件的视频。

示例性地,视频属性信息可以包括但不限于如下的一种或结合:视频标签tag、视频的文本信息(即与视频相关的文本信息,如视频的评论文本数据、视频的语音文本数据等)、音频信息、视频封面表示及视频所有帧表示等视频信息。。

在步骤S22中,根据所述目标视频以及所述目标视频的视频属性信息,构建视频属性异构图。

视频属性异构图(photo/photo-attribute graph)是用于表示目标视频和视频属性信息之间关系的图表示方法,在视频属性异构图中可以包括目标视频标识节点以及视频属性信息节点,其中,目标视频标识节点以及视频属性信息节点是异构的。如图3的视频属性异构图所示,可以包括目标视频标识节点P以及视频属性信息节点PA。在图3中,标记相同的圆圈表示的是同一个语义(例如同标记为“P”),标记不同的圆圈表示的是不用的语义(例如标记为“P”的圆圈和标记为“PA”的圆圈)。在一个graph(图)中有多个不同语义的node(节点)参与构建,即定义为异构图。

在视频属性异构图中可以表示不同节点之间的一阶关系(即直接关系,如图3中的圆圈通过一条边连通)或者高阶关系(即间接关系,如图3中的圆圈通过两条以上的边连通),其中,间接关系是指在一个graph中,只要2个node(即图3中的圆圈)没有直接相连,而是需要多条边才能连通的。另外,不符合间接关系的是指在graph中,无论通过多少条边都连通不到一起的,表示没有间接关系的。在实际中,一般需要一阶关系、二阶关系(通过2条边能连接在一起的两个node,称这两个node符合二阶关系,依此类推),三阶关系(通过3条边能连接在一起的)。

在本实施例中,视频属性异构图中的目标视频标识节点以及视频属性信息节点可以按需采用不同的表示方式。在一种例子中,目标视频标识节点可以采用由目标视频标识经由已有模型训练后的向量来表示,即目标视频标识节点可以是通过其他模型学习到的可训练的向量表示(learnable embedding)。而视频属性信息节点由视频属性信息表示(即预训练的属性表示,pre-trained feature),或者,由视频属性信息经由已有模型训练后的向量来表示(即learnable embedding),或者由视频属性信息以及该视频属性信息经由已有模型训练后的向量进行联合表示(即pre-trained feature+learnable embedding)。

在步骤S23中,将所述视频属性异构图输入至已训练的第一图卷积神经网络模型,在所述第一图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第一特征向量,对不同类型的节点的值进行联合卷积操作,获得第二特征向量,并对所述第一特征向量及所述第二特征向量进行降维处理,输出视频特征信息。

在该步骤中,在构建出视频属性异构图(photo/photo-attribute graph)以后,可以将该视频属性异构图输入至已训练的第一图卷积神经网络(Graph ConvolutionalNetwork,简称GCN)模型,由该第一图卷积神经网络模型对视频属性异构图进行多层的卷积操作(即GCN on photos),最终输出视频特征信息,以此学习目标视频的特征表示。

在本实施例中,将GCN模型应用在异构图中,相比于应用在同构图中,本实施例可以对GCN模型中的卷积操作进行如下改进:

对相同类型的节点的值进行聚合卷积操作,获得第一特征向量。例如,对视频属性异构图中同为视频标识的节点,做卷积操作时可以使用聚合函数(aggregator functions)进行卷积,得到第一特征向量。

示例性地,聚合函数可以包括但不限于如下函数:

GCN aggregator:节点表示进行相加操作。

MEAN aggregator:节点表示进行取平均操作。

LSTM aggregator:将需要进行卷积操作的节点作为序列,通过LSTM进行表示学习,其中,LSTM可以是单向的也可以是双向的。

MAX POOLING aggregator:对节点表示的每一维度做最大池化(max pooling)操作。

另外,对视频属性异构图中不同类型的节点的值进行联合卷积操作,获得第二特征向量。例如,可以按照预设的联合规则进行联合(concatenation),以构建新的向量,作为第二特征向量。

在实际中,由于photo/photo-attribute graph中不同类型的节点较多,卷积操作中对于不同类的节点进行concatenation操作后得到的第二特征向量的维度会过大,如上万维的向量,则在本实施例中可以对卷积后得到的特征向量进行降维操作,最终得到低维的向量。

在一种实施方式中,上述的降维处理可以包括DAE(Denoising Auto Encoder,降噪自动编码机)降维,即采用DAE模型对第一特征向量以及第二特征向量降噪。

在一个例子中,如图4的降维处理示意图所示,DAE模型的输入是GCN的卷积操作中,同类节点aggregator操作后输出的第一特征向量,以及,不同类节点concatenation操作后的第二特征向量。corrupting表示对输入进行加噪音数据处理;最后经过encoders和decoders进行输入数据的维度压缩,DAE模型的输出是隐层的输出,即压缩的账户特征信息(encoded feature)。

图5是根据一示例性实施例示出的第一图卷积神经网络模型生成的方法实施例流程图,如图5所示,包括以下步骤。

在步骤S51中,确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频。

在该步骤中,样本视频相对于目标视频而言,是指在当前平台具有较多视频交互行为的热门视频(existing photo)。

在步骤S52中,获取各样本视频对应的样本视频属性信息。

示例性地,与目标视频的视频属性信息类似,样本视频属性信息可以包括但不限于如下的一种或结合:视频标签tag、视频的文本信息(即与视频相关的文本信息,如视频的评论文本数据、视频的语音文本数据等)、音频信息、视频封面表示及视频所有帧表示等视频信息。

在步骤S53中,根据所述样本视频以及对应的样本视频属性信息构建样本视频属性异构图。

该样本视频属性异构图与上述的视频属性异构图类似,此处不再赘述了。

在步骤S54中,采用预设的图卷积神经网络学习器对所述样本视频属性异构图进行学习,生成第一图卷积神经网络模型。

在该步骤中,在训练第一图卷积神经网络模型的过程中,可以在样本视频属性异构图中使用GCN模型学习器来学习低维的视频特征信息。

在步骤S24中,确定候选账户集合中各候选账户的账户属性信息、所述候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息。

在步骤S25中,根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,构建视频账户属性异构图。

视频账户属性异构图是从整体上对账户、视频和交互矩阵之间关系的图表示方法。例如,如图6所示,视频账户属性异构图(UAPA graph)中可以包括交互视频标识节点P’、交互视频属性信息节点PA’、候选账户节点U’以及账户属性信息节点UA’。在视频账户属性异构图中,不同节点可以具有一阶关系或者高阶关系(如二阶关系、三阶关系等)。

在本实施例中,视频账户属性异构图中的各节点可以按需采用不同的表示方式。在一种例子中,候选账户节点可以采用由候选账户经由已有模型训练后的向量来表示,即learnable embedding。

交互视频标识节点可以采用由交互视频标识经由已有模型训练后的向量来表示,即learnable embedding。

账户属性信息节点可以由账户属性信息表示(pre-trained feature),或者,由账户属性信息经由已有模型训练后的向量来表示(learnable embedding),或者,由账户属性信息以及该账户属性信息经由已有模型训练后的向量进行联合表示(pre-trainedfeature+learnable embedding)。

交互视频属性信息节点可以由交互视频属性信息表示(pre-trained feature),或者,由交互视频属性信息经由已有模型训练后的向量来表示(learnable embedding),或者由交互视频属性信息以及该交互视频属性信息经由已有模型训练后的向量进行联合表示(pre-trained feature+learnable embedding)。

在步骤S26中,将所述视频账户属性异构图输入至已训练的第二图卷积神经网络模型,在所述第二图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第三特征向量,对不同类型的节点的值进行联合卷积操作,获得第四特征向量,并对所述第三特征向量及所述第四特征向量进行降维处理,输出账户特征信息。

在该步骤中,在构建出视频账户属性异构图(UAPA graph)以后,可以将该视频账户属性异构图输入至已训练的第二图卷积神经网络模型,由该第二图卷积神经网络模型对账户属性异构图进行多层的卷积操作(即GCN on UAPA),最终输出账户特征信息,以此学习候选账户的特征表示。

需要说明的是,第一图卷积神经网络模型与第二图卷积神经网络模型可以是分开的两个GCN模型,也可以整合在一个GCN模型中,本实施例对此不作限制。

图7是根据一示例性实施例示出的第二图卷积神经网络模型生成的方法实施例流程图,如图7所示,包括以下步骤。

在步骤S71中,确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频。

在步骤S72中,获取各样本视频对应的样本视频属性信息。

在步骤S73中,确定对所述样本视频存在交互行为的账户作为样本账户。

在该步骤中,针对各样本视频,可以获取对该样本视频发生交互行为的账户,作为样本账户。在实现时,可以通过各样本视频的日志记录来获取对该视频发生交互行为的账户。

在步骤S74中,获取各样本账户对应的样本账户属性信息。

作为一种示例,样本账户属性信息可以包括但不限于:样本账户所在的POI信息、样本账户所使用的设备的设备信息(如设备型号、设备品牌、设备子品牌等)、该设备安装的应用程序列表等。

在步骤S75中,根据所述样本账户、所述样本账户属性信息、所述样本视频的视频标识以及所述样本视频属性信息构建样本账户视频属性异构图。

样本账户视频属性异构图的表示以及构建方法与上述的账户视频属性异构图类似,具体可以参考账户视频属性异构图的描述,此处不再赘述了。

在步骤S76中,采用预设的图卷积神经网络学习器对所述样本账户视频属性异构图进行学习,生成第二图卷积神经网络模型。

在该步骤中,在训练第二图卷积神经网络模型的过程中,可以在样本账户视频属性异构图中使用GCN模型学习器来学习低维的账户特征信息。

在本实施例中,通过构建样本账户视频属性异构图,并在样本账户视频属性异构图中使用GCN算法进行模型训练,从而可以得到第二图卷积神经网络。

在步骤S27中,将所述视频特征信息与各候选账户的账户特征信息输入至已训练的匹配模型,并获取所述匹配模型输出的所述视频特征信息与各候选账户的账户特征信息的匹配分数。

在该步骤中,本实施例还可以包括匹配模型(Matching Model),示例性地,该匹配模型可以是一个深度神经网络模型。

第一图卷积神经网络模型及第二图卷积神经网络模型的输出可以作为匹配模型的输入。具体的,第一图卷积神经网络模型可以将视频特征信息输入至匹配模型中,第二图卷积神经网络模型可以将各账户特征信息输入至匹配模型中。匹配模型在获得各候选账户的账户特征信息以及视频特征信息以后,通过多层卷积操作,实现对各账户特征信息与视频特征信息的匹配,输出匹配分数列表,该匹配分数列表可以包括各账户特征信息与视频特征信息的匹配分数。

在步骤S28中,在所述候选账户集合中选取匹配分数排序在前的一个或多个候选账户作为目标账户。

在一种实施方式中,可以将匹配分数列表中各匹配分数进行排序操作(Ranking),然后将匹配分数最高的前N个候选账户作为目标账户,并向该目标账户推荐该目标视频,其中,N可以根据实际需求确定,本实施例对此不作限定。

在本实施例中,对于目标视频而言,由于其不存在视频交互行为或者只有少量的视频交互行为,则与视频相关的信息只有视频标识以及视频属性信息,此处结合了ZSL(zero-shot learning,零样本学习)的思想,利用在平台上存在视频交互行为的已有视频的视频属性信息以及交互行为数据,训练第一图卷积神经网络模型以及第二图卷积神经网络模型。然后通过将第一图卷积神经网络模型作用在目标视频的视频属性异构图上,获得目标视频的视频特征信息,通过将第二图卷积神经网络模型作用在候选账户的视频账户属性异构图上,获得各候选账户的账户特征信息(即账户表示空间),然后通过匹配模型将各账户特征信息与视频特征信息进行匹配,并根据获得的匹配分数确定目标账户,并向目标账户推荐的目标视频,整个过程通过GCN模型以及异构图实现,更好地提高视频推荐的准确率,从而提升了视频生产者的生产意愿。同时对于消费者而言,由于是根据其对视频的交互历史记录来进行视频推荐,可以提高消费者的兴趣发现率,避免信息茧房。

图8是根据一示例性实施例示出的一种视频推荐装置框图。参照图9,该装置包括视频属性信息获取单元801,视频特征信息确定单元802,账户特征信息确定单元803和目标账户确定单元804。

视频属性信息获取单元801,被配置为获取目标视频的视频属性信息,其中,所述目标视频为在当前平台未存在视频交互行为的视频或者存在的视频交互行为不满足预设条件的视频;

视频特征信息确定单元802,被配置为对所述视频属性信息进行转换处理,获得用于表示所述目标视频的视频特征信息;

账户特征信息确定单元803,被配置为确定候选账户集合中各候选账户的账户属性信息、所述候选账户交互的视频的交互视频标识以及该视频的交互视频属性信息;并根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,确定用于表示所述候选账户的账户特征信息;;

目标账户确定单元804,被配置为根据各候选账户的账户特征信息以及所述目标视频的视频特征信息,从所述候选账户集合中确定目标账户,并将所述目标视频推荐至所述目标账户中。。

在一种可选的实施方式中,所述视频特征信息确定单元802可以包括如下子单元:

视频属性异构图构建子单元,被配置为根据所述目标视频以及所述目标视频的视频属性信息,构建视频属性异构图,所述视频属性异构图中包括目标视频标识节点以及视频属性信息节点;

视频特征信息获取子单元,被配置为将所述视频属性异构图输入至已训练的第一图卷积神经网络模型,在所述第一图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第一特征向量,对不同类型的节点的值进行联合卷积操作,获得第二特征向量,并对所述第一特征向量及所述第二特征向量进行降维处理,输出视频特征信息。

在一种可选的实施方式中,所述目标视频标识节点采用由目标视频标识经由已有模型训练后的向量来表示;

所述视频属性信息节点由所述视频属性信息表示,或者,由所述视频属性信息经由已有模型训练后的向量来表示,或者由所述视频属性信息以及所述视频属性信息经由已有模型训练后的向量进行联合表示。

在一种可选的实施方式中,所述装置还包括被配置为训练所述第一图卷积神经网络模型的第一模型训练单元,包括:

样本视频确定子单元,被配置为确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

样本视频属性信息获取子单元,被配置为获取各样本视频对应的样本视频属性信息;

样本视频属性异构图构建子单元,被配置为根据所述样本视频以及对应的样本视频属性信息构建样本视频属性异构图;

第一学习子单元,被配置为采用预设的图卷积神经网络学习器对所述样本视频属性异构图进行学习,生成第一图卷积神经网络模型。

在一种可选的实施方式中,所述账户特征信息确定单元803可以包括如下子单元:

视频账户属性异构图构建子单元,被配置为根据所述候选账户、所述账户属性信息、所述交互视频标识以及所述交互视频属性信息,构建视频账户属性异构图,所述视频账户属性异构图中包括交互视频标识节点、交互视频属性信息节点、候选账户节点以及账户属性信息节点;

账户特征信息获取子单元,被配置为将所述视频账户属性异构图输入至已训练的第二图卷积神经网络模型,在所述第二图卷积神经网络模型中,对相同类型的节点的值进行聚合卷积操作,获得第三特征向量,对不同类型的节点的值进行联合卷积操作,获得第四特征向量,并对所述第三特征向量及所述第四特征向量进行降维处理,输出账户特征信息。

在一种可选的实施方式中,所述候选账户节点采用由所述候选账户经由已有模型训练后的向量来表示;

所述交互视频标识节点采用由交互视频标识经由已有模型训练后的向量来表示;

所述账户属性信息节点由所述账户属性信息表示,或者,由所述账户属性信息经由已有模型训练后的向量来表示,或者,由所述账户属性信息以及所述账户属性信息经由已有模型训练后的向量进行联合表示;

所述交互视频属性信息节点由所述交互视频属性信息表示,或者,由所述交互视频属性信息经由已有模型训练后的向量来表示,或者由所述交互视频属性信息以及所述交互视频属性信息经由已有模型训练后的向量进行联合表示。

在一种可选的实施方式中,所述装置还包括被配置为训练所述第二图卷积神经网络模型的第二模型训练单元,包括:

样本视频确定子单元,被配置为确定多个样本视频,所述样本视频为在当前平台存在视频交互行为的热门视频;

样本视频属性信息获取子单元,被配置为获取各样本视频对应的样本视频属性信息;

样本账户确定子单元,被配置为确定对所述样本视频存在交互行为的账户作为样本账户;

样本账户属性信息获取子单元,被配置为获取各样本账户对应的样本账户属性信息;

样本账户视频属性异构图构建子单元,被配置为根据所述样本账户、所述样本账户属性信息、所述样本视频的视频标识以及所述样本视频属性信息构建样本账户视频属性异构图;

第二学习子单元,被配置为采用预设的图卷积神经网络学习器对所述样本账户视频属性异构图进行学习,生成第二图卷积神经网络模型。

在一种可选的实施方式中,所述目标账户确定单元804可以包括如下子单元:

匹配分数获取子单元,被配置为将所述视频特征信息与各候选账户的账户特征信息输入至已训练的匹配模型,并获取所述匹配模型输出的所述视频特征信息与各候选账户的账户特征信息的匹配分数;

目标账户选取子单元,被配置为在所述候选账户集合中选取匹配分数排序在前的一个或多个候选账户作为目标账户。

关于上述的视频推荐装置的具体限定可以参见上文中对于视频推荐方法的限定,在此不再赘述。上述装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

图9是根据一示例性实施例示出的一种电子设备,该电子设备可以是终端或者服务器,其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的一种视频推荐方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

本公开还提供一种计算机程序产品,包括:计算机程序代码,当所述计算机程序代码被计算机运行时,使得所述计算机执行上述的模型训练方法和多媒体内容推荐方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是,本公开涉及的账户/用户信息均为经用户/账户授权之后采集并进行后续处理分析的。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

25页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:工作预测模型的建立和工作推荐方法、装置、设备及介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!