具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本申请实施例提供了一种基于多媒体信息的偏好预测方法的流程示意图。其中，该基于多媒体信息的偏好预测方法包括：

S101、根据预设的多媒体信息，获取待识别脑电信号。

作为一种可选的实施方式，根据预设的多媒体信息，获取待识别脑电信号的步骤前，该方法还可以包括：

根据预设的偏好预测实验范式，获取待识别脑电信号；偏好预测实验范式包括与多种情感类型和多种情感强度相对应的多媒体信息；

对待识别脑电信号进行预处理，得到预处理脑电信号；

在预处理脑电信号中进行选取，得到有效脑电信号；

对有效脑电信号进行特征提取，得到脑电特征；

对脑电特征进行预测，得到与偏好预测实验范式相对应的偏好预测结果；

根据偏好预测结果确定128个脑电信号通道中最合适的脑电信号通道。

本实施例中，最合适的脑电信号通道用于在步骤S103中进行直接选用，从而能够避免脑电信号通道的选取过程，提高预测效率。

作为一种进一步可选的实施方式，根据与偏好预测实验范式相对应的偏好预测结果和偏好预测实验范式生成多媒体信息偏好预测模型；以使该方法可以通过多媒体信息偏好预测模型对被试者对多媒体信息的偏好进行预测。

本实施例中，该方法可以让每位被试者在实验中观看12部电影预告片(电影偏好设计范式)。在观看每部电影预告片之前，会提示受试者即将播放的预告片属于哪种情感类型；并在每部预告片播放结束之后，对被试者提出如下两个问题：(1)情感强度有多少；(2)通过电影预告片想进一步观看完整电影的意愿有多少。在该过程中，每观看3部电影预告片后，要求被试者休息3分钟。从而使得该方法能够通过设计实验范式来采集到多媒体偏好预测模型所需要选取的脑电通道。

举例来说，该方法可以预先设计好电影偏好设计范式，然后给被试者播放，并同时采集脑电信号；在获取到脑电信号之后，对其进行分段、重参考、滤波、去除眼电、插值坏导等预处理；然后使用主体相关性(ISC，在经历过相同的自然刺激后，会在多个受众中引起相似的神经反应称为主体相关性)选择脑电通道和脑电信号的时间段，得到选择后的有效脑电信号；然后再，采用离散傅里叶变换算法对选择后的有效脑电信号进行特征提取，得到有效脑电信号的包括功率谱密度特征(PSD)和微分熵特征(DE)的脑电特征；最后，再采用梯度上升决策树算法(GBDT)对所述脑电特征进行预测，得到脑电信号的电影偏好预测结果。至此，该方法可以通过使用多个电影偏好设计范式获取到多个电影偏好预测结果，并根据实际信息对该流程进行优化调整，得到多媒体信息偏好预测模型。从而使得该多媒体信息偏好预测模型能够实现本方法所描述的流程。

实施这种实施方式，能够通过ISC来选择脑电通道和脑电信号时间段的方法，使得选择出的脑电信号能够较好表明不同观看者的感兴趣强度，提取的功率谱密度和微分熵特征能够较好体现情绪变化，从而通过梯度上升决策树算法建立的回归模型在数据集上取得了较好的预测效果。

S102、对待识别脑电信号进行预处理，得到预处理脑电信号。

本实施例中，对于待识别脑电信号进行预处理的方法不作任何限定。

S103、在预处理脑电信号中进行选取，得到有效脑电信号。

本实施例中，在预处理脑电信号中优先选取有效的脑电信号通道，然后再获取有效脑电信号通道中的有效脑电信号。

在本实施例中，可以通过实验预先确定待选取脑电信号的脑电信号通道，从而能够有效提高偏好预测效率。

S104、对有效脑电信号进行特征提取，得到脑电特征。

S105、对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果。

本实施例中，偏好预测结果用于表示不同观看者对于该多媒体信息的的感兴趣强度。

作为一种可选的实施方式，对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果的步骤包括：

将脑电特征输入多媒体信息偏好预测模型，并获取多媒体信息偏好预测模型输出的与多媒体信息相对应的偏好预测结果。

本申请实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本申请实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的基于多媒体信息的偏好预测方法，能够在给被试者播放预设的多媒体信息的同时获取待识别脑电信号；在获取到待识别脑电信号之后，对该待识别脑电信号进行预处理，并选取处理后的有效脑电信号做特征提取处理，然后再对提取出的脑电特征进行偏好预测，得到与多媒体信息相对应的偏好预测结果。可见，实施这种实施方式，能够基于被试者多媒体信息，并通过脑电信号对人们的真实偏好加以反馈，从而准确获知人们真实的偏好情况。

实施例2

请参看图2，图2为本申请实施例提供的一种基于多媒体信息的偏好预测方法的流程示意图。如图2所示，其中，该基于多媒体信息的偏好预测方法包括：

S201、输出预设的多媒体信息给被试者。

S202、采集被试者在感知多媒体信息时产生的待识别脑电信号。

本申请实施例中，实施上述步骤S201～步骤S202，能够根据预设的多媒体信息，获取待识别脑电信号。

S203、对待识别脑电信号进行分段处理、滤波处理、去除伪迹处理以及插值坏导处理，得到预处理脑电信号。

本申请实施例中，实施上述步骤S203，能够对待识别脑电信号进行预处理，得到预处理脑电信号。

在步骤S203之后，还包括以下步骤：

S204、在预处理脑电信号中进行选取，得到有效脑电信号。

作为一种可选的实施方式，在预处理脑电信号中进行选取，得到有效脑电信号，可以包括以下步骤：

根据预处理脑电信号对应的每个通道的主体相关性值，在预处理脑电信号中进行选取有效脑电信号。

请参阅图7，图7示出了一种脑电信号通道选择的示意图。由图可知，该方法分别对一个视频刺激的30个受试者数据进行相关成分分析，得到每个通道的主体相关性值(ISC)。随后，128个通道按主体相关性值降序排列。剔除主体相关性小于零的通道后，其余通道的主体相关性值大多集中在0.0-0.1之间。因此，本文将阈值设置为0.1。最后，只选择主体相关性大于0.1的通道。对所有12个视频刺激进行上述操作，得到了通道选择结果。因为所有的刺激都需要进行统一的数据分析，所以最终确定的通道在12个视频刺激的结果中是共有的，所选通道为A1、A2、A3、A4、A5、A6。

请参阅图8，图8示出了一种ISC值随电影预告片播放时间的变化的示意图。对于每个视频刺激，该方法通过使用一个持续时间为5s、窗口每秒发生一次移动的滑动窗口，在A1、A2、A3、A4、A5、A6通道上计算每个滑动窗口的主体相关性。其中，图8展示了movie3中A3通道上5s时间段的ISC随着时间变化的曲线，该方法则选择了每个通道上ISC峰值的5s电影预告片时间段作为脑电信号时间段。

作为一种可选的实施方式，在预处理脑电信号中进行选取，得到有效脑电信号，可以包括以下步骤：

在预处理脑电信号中选取前额叶脑电信号通道和颞叶脑电信号通道；

将从前额叶脑电信号通道和颞叶脑电信号通道两个通道中分离出的β频段脑电信号和δ频段脑电信号确定为有效脑电信号。

请参阅图9，图9是一种情绪模型的建立图。根据图9所示内容可知，该情绪模型即为上述的多媒体信息偏好预测模型。该模型可以用于对多媒体信息进行偏好预测。

请参阅图10，图10给出了一种对用于调节情绪的合适音乐进行预测的流程示意图。在该图中，图9所示的情绪模型可以根据被试者的情绪选择合适的音乐(正性音乐或负性音乐)进行播放，从而实现对被试者进行情绪调节的效果。

本实施例中，音乐调节情绪的方式主要是通过产生人的情绪共鸣或者由音乐引起记忆等行为来调节人的情绪，有研究指出悲伤的音乐在调节人的情绪过程中因为产生情绪共鸣可以缓解人的负面情绪，而在本实施例中负性音乐产生的有益效果主要是在情绪的唤醒度方面，它能够有效地使情绪从紧张激动的状态恢复到平静的状态。

请参阅图11，图11示出了一种基于上述的情绪模型的三阶段实验进程示意图。其中，该实验的三个阶段分别为：情绪多样本收集阶段；负性音乐调节负面情绪阶段；正性音乐调节负面情绪阶段。具体的，第一阶段的数据将用来建立情绪模型，利用该模型从情绪的两个维度(valence和arousal)预测阶段二和阶段三的情绪状态，进而推断用户有效调节自我情绪的音乐类型。

举例来对具体的实验进程进行详细说明：

阶段一：本阶段设计的目的是建立一个关于被试者的情绪模型，根据基于被试者的情绪模型预测被试者在后两个阶段的情绪评分，即唤醒度和效价评分，这有助于研究两类音乐对情绪调节的异同比较。在本部分中，被试者将观看五个情绪视频，这些视频都保证了情绪能足够被唤起，而且唤起的强度也得到了保障。这五个视频中两个是正面的，两个是负面的，一个是中性的。每个视频播放完毕后，他们将根据自己的情绪给予效价和唤醒度评分。在此过程中采集到的脑电数据将用于情感建模，并根据他们给定的情绪评分作为情绪标签。在第一实验阶段结束后，被试者进行休息，当情绪状态恢复至中性情绪、平静状态时，被试者主动进入到实验阶段二。

阶段二：负性音乐调节负面情绪实验阶段。本阶段实验的目的是研究负面音乐在调节负面情绪的作用。一开始先利用一段负面的视频唤起被试者的负面情绪，即悲伤负面类的情绪。当视频播放完毕后，及时进入负性音乐播放阶段，音乐播放过程中，被试者被指示静坐认真欣赏音乐。本阶段收集到的数据集，将作为情绪模型检验的测试集，以确定通过负性音乐在调节负性情绪方面是否有显著改善。同样，在该阶段中，无论是音乐播放完毕后还是视频播放完毕后，被试者都将给出他们的情绪评分。该阶段结束后，被试者的情绪状态恢复至平静、中性情绪后进入到实验的第三阶段。

阶段三：正性音乐调节负面情绪实验阶段。在该阶段同样需要一段负性视频唤醒出被试者的负性情绪，在视频播放完毕后，积极的音乐也就是正性音乐被用作负性情绪的调节工具。此阶段收集到的脑电数据一样将被用作预测模型中的测试集，根据测试结果来确定调节情绪前后的情绪差异。

其中，情绪状态包含了情绪的效价和唤醒度评分，评分标准为1到9分，效价(valence)表示为不愉悦到非常愉悦，5分为中性情绪，唤醒度(arousal)表示为非常平静到非常激动或者紧张，5分表示为平静到激动的过度线。

S205、根据傅里叶变换算法对有效脑电信号进行特征提取，得到包括功率谱密度特征和微分熵特征的脑电特征。

本申请实施例中，实施上述步骤S205，能够对有效脑电信号进行特征提取，得到脑电特征。

S206、根据梯度上升决策树算法对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果。

本申请实施例中，实施上述步骤S206，能够对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果。

请参阅图5和图6，图5和图6共同示出了一种电影偏好的预测方法的流程示意图。其中，图5、图6对本方法流程进行了一次准确的举例说明。

可见，实施本实施例所描述的基于多媒体信息的偏好预测方法，能够基于被试者多媒体信息，并通过脑电信号对人们的真实偏好加以反馈，从而准确获知人们真实的偏好情况。

实施例3

请参看图3，图3为本申请实施例提供的一种基于多媒体信息的偏好预测装置的结构示意图。如图3所示，该基于多媒体信息的偏好预测装置包括：

获取单元310，用于根据预设的多媒体信息，获取待识别脑电信号；

预处理单元320，用于对待识别脑电信号进行预处理，得到预处理脑电信号；

选取单元330，用于在预处理脑电信号中进行选取，得到有效脑电信号；

提取单元340，用于对有效脑电信号进行特征提取，得到脑电特征；

预测单元350，用于对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果。

本申请实施例中，对于基于多媒体信息的偏好预测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的基于多媒体信息的偏好预测装置，能够基于被试者多媒体信息，并通过脑电信号对人们的真实偏好加以反馈，从而准确获知人们真实的偏好情况。

实施例4

请一并参阅图4，图4是本申请实施例提供的一种基于多媒体信息的偏好预测装置的结构示意图。其中，图4所示的基于多媒体信息的偏好预测装置是由图3所示的基于多媒体信息的偏好预测装置进行优化得到的。如图4所示，获取单元310包括：

输出子单元311，用于输出预设的多媒体信息给被试者；

采集子单元312，用于采集被试者在感知多媒体信息时产生的待识别脑电信号。

作为一种可选的实施方式，预处理单元320，具体用于对待识别脑电信号进行分段处理、滤波处理、去除伪迹处理以及插值坏导处理，得到预处理脑电信号。

作为一种可选的实施方式，选取单元330，具体用于根据预处理脑电信号对应的每个通道的主体相关性值，在预处理脑电信号中进行选取有效脑电信号。

作为另一种可选的实施方式，选取单元330，具体用于在预处理脑电信号中选取前额叶脑电信号通道和颞叶脑电信号通道；以及将从前额叶脑电信号通道和颞叶脑电信号通道两个通道中分离出的β频段脑电信号和δ频段脑电信号确定为有效脑电信号。

作为一种可选的实施方式，提取单元340，具体用于根据傅里叶变换算法对有效脑电信号进行特征提取，得到包括功率谱密度特征和微分熵特征的脑电特征。

作为一种可选的实施方式，预测单元350，具体用于根据梯度上升决策树算法对脑电特征进行预测，得到与多媒体信息相对应的偏好预测结果。

本申请实施例中，对于基于多媒体信息的偏好预测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的基于多媒体信息的偏好预测装置，能够基于被试者多媒体信息，并通过脑电信号对人们的真实偏好加以反馈，从而准确获知人们真实的偏好情况。

本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项基于多媒体信息的偏好预测方法。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项基于多媒体信息的偏好预测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。