具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

脑电图(Electroencephalography,EEG)可以捕捉到大脑底层的早期神经信号，具有耗时短、趋同性、定量化、精度高等特点。通过对脑电信号的挖掘和学习，可以用于定量分析用户观看不同播放质量的视频时的QoE变化。

为解决相关技术中的视频播放质量评价方法使用客观参数、不从用户的角度评估视频播放质量等问题，申请人提出：通过用户观看待评价视频时的脑电信号，来获取待评价视频的播放质量分数，从而得到准确度量用户对视频播放质量的QoE。

参照图1所示，示出了本发明实施例中一种基于脑电特征的视频播放质量评价方法的步骤流程图，如图1所示，该基于脑电特征的视频播放质量评价方法具体可以包括以下步骤：

步骤S110：采集用户观看待评价视频时的脑电信号。

通过64通道脑电图放大系统(Brain Products，BrainAmps，德国)和匹配的信号记录软件(Brain Vision Recorder)来采集和记录用户观看待评价视频时的脑电信号。脑电信号采样频率为500Hz。采集系统的电极帽配有64个actiCAP有源电极(一种迷你电极)，电极按照国际标准10-20系统排列。参照图2，示出了EEG标准导联的电极位置示意图。接地电极位于前额电极Fp1和Fp2之间，参考电位为电极TP9和TP10的平均电位。在电极和头皮之间均匀涂抹头皮凝胶后，所有电极的阻抗保持在10KΩ以下。

可选地，采集到用户观看待评价视频时的脑电信号之后，对脑电信号进行预处理，包括：对脑电信号进行重参考，对重参考后的脑电信号进行滤波、独立成分分析，去除杂质信号、分段等。

步骤S120：提取预设通道的所述脑电信号的功率谱密度特征。

提取预设通道中脑电信号的功率谱密度特征，其中，预设通道是在使用本发明提出的一种基于脑电特征的视频播放质量评价方法之前确定的通道，确定预设通道的方法将在后文实施例中进行详细描述。通道是指通过电极采集脑电信号的电极。预设通道是与视频质量评价相关的情绪紧密相关的通道，反映人脑对视频播放质量的响应。预设通道可以是POz，3-4，7-8；Pz，1-6，8。

可选地，作为一个实施例，利用WELCH算法来计算脑电信号的功率谱密度特征，Welch算法允许脑电信号交叠，从而增大了段数，其原理如以下公式所示：

其中，P(w)表示所示功率谱密度特征，U表示归一化因子，d(n)为数据窗，长度为N的脑电信号x分为L段，每段长度为M，i＝1,2，……，L；n＝1,2，……，M-1；j表示复数，ω表示幅值。

利用WELCH算法来计算脑电信号的功率谱密度特征，具体可以包括：利用汉明窗函数对所述预设通道的脑电信号进行处理；在每个窗口上，对所述预设通道的脑电信号进行快速傅立叶变换；对进行快速傅立叶变换后的所述预设通道的脑电信号取平均值，得到所述预设通道的脑电信号的功率谱密度特征。

使用重叠50％的汉明窗口对预设通道的脑电信号进行处理，在每个窗口上对预设通道的脑电信号进行快速傅立叶变换，不同时间对进行快速傅立叶变换后的预设通道的脑电信号取平均值，得到预设通道的脑电信号的功率谱密度特征。

可选地，还可以采用其他EM算法来获取脑电信号的功率谱密度特征。

步骤S130：根据所述功率谱密度特征，获取所述脑电信号在多个预设频带内的能量值。

根据获取到的预设通道的脑电信号的功率谱密度特征，获取脑电信号在多个预设频带内的能量值，其中预设频带是与主观评分最为相关的频带的，是在使用本发明提出的一种基于脑电特征的视频播放质量评价方法之前确定的频带，确定预设频带的方法将在后文实施例中进行详细描述。通过matlab软件(一种商业数学软件)中的命令可以获取到脑电信号在多个预设频带内的能量值。

步骤S140：根据获取到的所述预设频带内的能量值，得到待评价视频的播放质量分数。

对获取到的所述预设频带内的能量值，进行归一化处理；根据归一化处理后的能量值和播放质量分数之间预先建立的对应关系，得到所述待评价视频的播放质量分数。对预设频带的能量值进行归一化处理，根据归一化处理后的能量值和播放质量分数之间的对应关系，可以得到待评价视频的播放质量分数。其中，对应关系中的能量值，是综合多个预设通道内脑电信号各自的能量值。

采用本申请实施例的技术方案，可以采集用户观看待评价视频时的脑电信号，然后从脑电信号中提取功率谱密度特征并获取脑电信号在多个预设频带内的能量值，根据获取到的多个能量值得到待评价视频的播放质量分数。对脑电信号进行量化，可以实现无主观偏差的感知评价。根据脑电信号得到的待评价视频的播放质量分数，能够准确反映用户的对视频播放质量的感知，从而可以准确量化和评估用户对视频播放质量的QoE。

可选地，作为一个实施例，所述预设频带是通过以下方式确定的：获取用户观看样本视频的主观分数；获取用户观看所述样本视频时的脑电信号的多个频带内的能量值；根据获取到的所述多个频带内的能量值，得到所述样本视频的多个频带对应的质量分数；根据所述多个频带对应的质量分数和所述主观分数的相关度，将最相关的质量分数对应的频带，确定为预设频带。

样本视频是多个添加了不同缓冲时长的视频，首先获取用户观看样本视频的主观的MOS分数，主观分数根据用户对主观问题的回答确定。获取用户观看样本视频时的脑电信号，根据该脑电信号中和主观表达较为相关的三个频带的能量值，获取到三个频带各自对应的质量分数，其中和主观表达较为相关的三个频带分别为θ(4–8Hz)、α(8–13Hz)、β(13–30Hz)频带。

获取多名用户对多个样本视频的主观分数的平均分数和多个频带对应的质量分数的平均分数，计算每个频带对应的质量分数的平均分数和对应的主观分数的平均分数之间的相关系数，以此确定和主观分数最相关的质量分数对应的频带。将和主观分数最相关的质量分数对应的频带确认为预设频带。

可选地，作为一个实施例，参照图3，示出了确定预设通道的步骤流程图，所述预设通道可以通过以下步骤确定：

步骤S210：采集多段样本脑电信号，其中，所述样本脑电信号为多个用户观看不同缓冲等级的视频时的脑电信号。

步骤S210包括子步骤S211、子步骤S212、子步骤S213。

子步骤S211：获得多段视频片段。

为了保证高信噪比，选用产生的信号噪声尽可能小的视频片段。发明人采用动物纪录片为刺激材料，从三部50分钟的动物记录片中随机剪切出100个不重叠的4s的视频片段，视频分辨率为720P，视频帧速率为50fps。

子步骤S212：在所述每段视频片段中添加不同缓冲等级的缓冲时长，得到多段样本视频片段。

如图4所示，每段视频在播放2s后被添加一个不同缓冲等级的缓冲时间，从而得到多段样本视频片段。发明人添加的缓冲时长总共有12个等级，分别为0ms、20ms、40ms、60ms、80ms、100ms、200ms、300ms、400ms、500ms、700ms、1000ms，从而生成1200段样本视频片段。可以理解的是，也可以选择添加其他缓冲时长。

子步骤S213：采集多名用户观看所述样本视频片段时的所述多段样本脑电信号。

挑选7名之前没有参加过视频播放质量评价实验且视力良好的用户，采集脑电信号前告知用户采集过程的必要内容。以24英寸液晶显示器呈现多段样本视频片段，显示器分辨率1920×1080，刷新率144Hz。样本视频片段在显示屏上的尺寸为16×9厘米。每个用户观看距显示器的距离被设置为视频内容高度的6倍，即54cm。

采集过程中，会随机播放1200段不同缓冲等级的样本视频片段。每段样本视频片段播放完后，用户必须回答两个主观问题:1)视频中有没有观察到缓冲？答案选项有是或否；2)这个视频缓冲时间对你的用户体验如何？答案选项有:5分：不可觉察；4分：可觉察，但不讨厌；3分：略讨厌；2分：讨厌；1分：十分讨厌(选项严格按照MOS标准)。用户在样本视频片段播放时要时刻盯着显示器，减少不必要的眨眼和身体活动每段。样本视频片段播放完毕后，用户通过按键盘上相应的按钮回答上述两个主观问题。在实验过程中，用户可以选择在任意样本视频播放完后休息。为了最大限度地减少电磁和噪声干扰，用户在电磁屏蔽室中完成脑电信号的采集，其中照明模拟日光的色温。

通过64通道脑电图放大系统和一个匹配的信号记录软件来采集和记录用户观看多段样本视频片段时的多段样本脑电信号。样本脑电信号的采样频率为500Hz。采集系统的电极帽配有64个actiCAP有源电极，电极按照国际标准10-20系统排列。接地电极位于前额电极Fp1和Fp2之间，参考电位为电极TP9和TP10的平均电位。在电极和头皮之间均匀涂抹头皮凝胶后，所有电极的阻抗保持在10KΩ以下。

可以理解的是，上述设置是为了采集到质量较好的能够反映用户对视频播放质量的QoE的脑电信号，只要能够达到同样的目的，可以采用其他设置，例如可以挑选8名用户进行脑电信号的采集，也可以采用其他的显示器，本发明实施例上述采集多名用户观看所述样本视频片段时的所述多段样本脑电信号的方法并不做限制。

步骤S220：对所述样本脑电信号进行预处理。

采集到的样本脑电信号中包含许多噪声，这些噪声不是来自大脑对样本视频片段的播放质量的感知，而是由心脏活动、眼球运动、肌肉活动和电源频率引起的干扰。这些干扰会严重降低脑电信号质量，因此需要对每段样本脑电信号进行预处理以去除这些干扰。可以使用Matlab 2016b的EEGLAB工具箱对样本脑电信号进行预处理，也可以采用其他信号处理软件对样本脑电信号进行预处理。

可选地，作为一个实施例，步骤S220可以包括子步骤S221、子步骤S222、子步骤S223和子步骤S224。

参照图5，示出了对样本脑电信号进行预处理的步骤示意图，如图5所示，包括：

子步骤S221：采用TP9和TP10电极对所述样本脑电信号进行重参考。

脑电帽中会在人体多个电极位置进行信号采集，首先加载脑电信号，导入头皮位置信息，定位电极。

TP9和TP10电极为人体左右耳垂的电极，以TP9和TP10电极作为参考电极，以两个电极电位的平均值对样本脑电信号进行重参考。

子步骤S222：采用FIR滤波器对重参考后的所述样本脑电信号进行0.2-100HZ的带通滤波。

采用FIR滤波器(有限脉冲滤波器)对重参考后的样本脑电信号进行0.2-100Hz的带通滤波。为了消除工频干扰的影响，采用了50Hz的陷波滤波器进行陷波滤波。

子步骤S223：对滤波后的所述样本脑电信号进行独立成分分析，去除杂质信号。

采集到的样本脑电信号可以看做是来自各种独立来源的混合信号，如心脏活动信号、眼球运动信号、肌肉活动信号和电源频率噪声等，干扰的信号被认为是线性的。因此，采用独立成分分析(ICA)，对滤波后的样本脑电信号中除样本脑电信号外的其他杂质信号进行去除。

子步骤S224：将去除杂质信号的所述样本脑电信号划分成多段，得到预处理后的所述样本脑电信号。

将去除杂质信号的样本脑电信号划分成多段1200条6s的片段，每个样本脑电信号片段为开始观看样本视频片段前的1s至开始观看样本视频片段后的5s，每个用户针对每个缓冲等级的视频片段，可以得到100条样本脑电信号。

上述各预处理步骤，可以根据实际情况，具有不同的顺序。本实施提出的对样本脑电信号进行预处理的技术方案，也适用于对观看待评价的视频时的脑电信号进行预处理。采用本实施例的技术方案，对采集到的每段样本脑电信号进行预处理，可以提高通过样本脑电信号确定预设通道的准确度。

步骤S230：将预处理后的相同缓冲等级的多个样本脑电信号进行叠加平均。

为了避免单一样本脑电信号存在个体差异，将预处理后的相同缓冲等级的100个样本脑电信号进行叠加平均，得到相同缓冲等级的样本脑电信号的电位平均值。具体地：选取预设的多个缓冲等级的脑电信号进行叠加平均计算电位平均值，其中预设的多个缓冲等级可以优选为添加了0ms(也可为20ms)、20ms、40ms、60ms、80ms、100ms、200ms、300ms、400ms、500ms、700ms、1000ms的缓冲时长的12个缓冲等级。叠加平均可以通过以下公式实现：

其中，X表示脑电信号，c表示通道，t表示时间，l表示缓冲等级，h表示每个缓冲等级的样本脑电信号数量，k表示用户，mean表示求均值。

步骤S240：对叠加平均后的每个用户观看有缓冲和无缓冲的视频时的样本脑电信号进行双尾t检验，记录p<0.005的通道。

分别对每个用户观看有缓冲和无缓冲的视频时的样本脑电信号进行叠加平均，其中有缓冲的视频可以为缓冲时长为1000ms的1000ms的视频，无缓冲的视频可以为缓冲时长为0ms的1000ms的视频。对叠加平均后的样本脑电信号进行双尾t检验，得到p<0.005的通道，p<0.005的通道为差异显著的通道。

步骤S250：对于任一通道，p<0.005的用户数量大于预设数量，该通道为所述预设通道。

对于任一通道，参加样本脑电信号采集的多名用户中大于预设数量的用户的样本脑电信号，进行双尾t检验得到p<0.005，则确定该通道为预设通道。例如：10名用户中有8名用户的同一个通道的样本脑电信号，进行双尾t检验得到的结果都是p<0.005，则认为该通道为用户普遍具有显著性差异的通道，为预设通道。

采用本实施例的技术方案，通过对样本脑电信号进行叠加平均，然后确定出用户观看有缓冲和无缓冲视频片段时的脑电信号中差异较大的通道，将该通道确定为预设通道。预设通道是与视频质量评价相关的情绪紧密相关的通道，反映人脑对视频播放质量的响应。如此，在执行本发明实施例提出的一种基于脑电特征的视频播放质量评价方法的相关步骤时，可以直接使用确定的预设通道的脑电信号进行处理。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图6是本发明实施例的一种基于脑电特征的视频播放质量评价装置的结构示意图，如图6所示，一种基于脑电特征的视频播放质量评价装置，包括采集模块、提取模块、能量值模块和分数模块，其中：

采集模块，用于采集用户观看待评价视频时的脑电信号；

提取模块，用于提取预设通道的所述脑电信号的功率谱密度特征；

能量值模块，用于根据所述功率谱密度特征，获取所述脑电信号在多个预设频带内的能量；

分数模块，用于根据获取到的所述多个预设频带内的能量值，得到待评价视频的播放质量分数。

可选地，作为一个实施例，所述提取模块包括：

处理子模块，用于利用汉明窗函数对所述预设通道的脑电信号进行处理；

傅里叶变换子模块，用于在每个窗口上，对所述预设通道的脑电信号进行快速傅立叶变换；

特征子模块，用于对进行快速傅立叶变换后的所述预设通道的脑电信号取平均值，得到所述预设通道的脑电信号的功率谱密度特征。

可选地，作为一个实施例，所述分数模块包括：

归一化子模块，用于对获取到的所述多个预设频带内的能量值，进行归一化处理；

映射子模块，用于根据归一化处理后的能量值和播放质量分数之间预先建立的映射关系，得到所述待评价视频的播放质量分数。

可选地，作为一个实施例，所述预设通道是通过以下方式确定的：

采集多段样本脑电信号，其中，所述样本脑电信号为多个用户观看不同缓冲等级的视频时的脑电信号；

对所述样本脑电信号进行预处理；

将预处理后的相同缓冲等级的多个样本脑电信号进行叠加平均；

对叠加平均后的每个用户观看有缓冲和无缓冲的视频时的样本脑电信号进行双尾t检验，记录p<0.005的通道；

对于任一通道，p<0.005的用户数量大于预设数量，该通道为所述预设通道。

可选地，作为一个实施例，采集多段样本脑电信号，包括：

获得多段视频片段；

在所述每段视频片段中添加不同缓冲等级的缓冲时长，得到多段样本视频片段；

采集多名用户观看所述样本视频片段时的所述多段样本脑电信号。

可选地，作为一个实施例，对所述样本脑电信号进行预处理，包括：

采用TP9和TP10电极对所述样本脑电信号进行重参考；

采用FIR滤波器对重参考后的所述样本脑电信号进行0.2-100HZ的带通滤波；

对滤波后的所述样本脑电信号进行独立成分分析，去除杂质信号；

将去除杂质信号的所述样本脑电信号划分成多段，得到预处理后的所述样本脑电信号。

可选地，作为一个实施例，所述预设频带是通过以下方式确定的：

获取不同缓冲等级下不同频带内的所述样本脑电信号的能量值；

对获取到的各频带内的所述样本脑电信号的能量值进行方差分析，将不同缓冲等级下所述能量值变化范围超过预设范围的频带，确定为所述频带为预设频带。

采用本申请实施例的技术方案，可以采集用户观看待评价视频时的脑电信号，然后从脑电信号中提取功率谱密度特征并获取脑电信号在多个预设频带内的能量值，根据获取到的多个能量值得到待评价视频的播放质量分数。对脑电信号进行量化，可以实现无主观偏差的感知评价。根据脑电信号得到的待评价视频的播放质量分数，能够准确反映用户的对视频播放质量的感知，从而可以准确量化和评估用户对视频播放质量的QoE。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种基于脑电特征的视频播放质量评级方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。