基于脑电信号的视听觉美学评价方法及系统
阅读说明：本技术 基于脑电信号的视听觉美学评价方法及系统 (Visual and auditory aesthetic evaluation method and system based on electroencephalogram signals ) 是由 李卫东 陈志堂 王立卉 杨翔宇 张旭 匡奕方 曾苏华 于 2021-09-07 设计创作，主要内容包括：本发明提供一种基于脑电信号的视听觉美学评价方法及系统,涉及脑认知神经功能技术领域,包括：采集被试进行审美活动时的原始脑电信号,得到被试的EEG原始数据；对获取到的所述EEG原始数据进行预处理,得到不同条件下同等时长纯净的EEG信号；利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱,得到不同频段的能量密度谱特征矩阵；利用基于支持向量机的递归特征筛选最优特征进行分类器训练,对参与者的审美主观判断进行分类识别,得到参与者的主观判断结果并通过声音和画面提醒反馈给参与者。本发明能够实现参与者审美判断的高精度识别,实现视觉、听觉审美的客观评价,为审美测评的公平性开拓思路并奠定技术基础。(The invention provides a visual and auditory aesthetic evaluation method and system based on electroencephalogram signals, which relate to the technical field of brain cognitive nerve functions and comprise the following steps: acquiring original EEG signals when the tested person carries out aesthetic activities to obtain original EEG data of the tested person; preprocessing the acquired EEG original data to obtain EEG signals with the same time length and purity under different conditions; respectively calculating energy density spectrums of the five different frequency bands of delta, theta, alpha, beta and gamma by using short-time Fourier transform to obtain energy density spectrum characteristic matrixes of the different frequency bands; and screening optimal characteristics by using the recursive characteristics based on the support vector machine to train a classifier, classifying and identifying the aesthetic subjective judgment of the participants, obtaining the subjective judgment result of the participants and feeding back the result to the participants through sound and picture reminding. The invention can realize high-precision identification of aesthetic judgment of participants, realize objective evaluation of visual and auditory aesthetics, and lay a technical foundation for developing ideas and laying a foundation for fairness of aesthetic evaluation.)
技术领域
本发明涉及脑认知神经功能技术领域，具体地，涉及一种基于脑电信号的视听觉美学评价方法及系统。
背景技术
自古以来，美一直是人们好奇的话题。美学的质量评价对于人类的社交活动具有广泛的影响力。脑电技术的发展为美学客观的评价提供了技术手段。
脑电图(Electroencephalography,EEG)数据更加集中于时间序列的脑部变化情况，更加符合思维或行动相关的审美活动，因此通过脑电图数据可提取出审美相关的特征，实现不同美感程度的客观评价。目前，脑电技术主要分为诱发脑电技术和自发脑电技术。诱发脑电技术是在视觉、听觉、触觉等外部任务条件刺激下产生的有规律的脑部电位变化，包括事件相关电位(event-related potential,ERP)，稳态视觉诱发电位(Steady-statevisual evoked potential,SSVEP)等；自发脑电技术是指在不施加外部刺激的情况下脑部活动产生的自发电位变化，包括静息态脑电、多导睡眠等。在诱发脑电中，ERP作为一种与知觉、思维、注意、记忆、智能等心理过程有关的认知电位，是大脑对所接收的信息进行进一步处理、加工，对所接收的刺激进行识别、分辨、期待及做出判断等过程所产生的电活动，可以作为反应大脑高级神经的一种客观指标，在研究认知功能中被广泛应用。
公开号为CN110338760A的发明专利，公开了一种基于脑电图频域数据的精神分裂症三分类方法，以在没有诱导的情况下获得受外界干扰较小的脑电图作为精神分裂症辅助诊断的数据来源，通过初始化数据处理后，将脑电图时域数据转换为频域数据，再对脑电图频域数据进行频段划分，将分段的数据分别作为矩阵处理，得到数量可控的LES特征，使用基于二次规划的频段权重分配算法得到分类效果最好的频域权重，利用支持向量机分类算法进行基于脑电图频域数据的精神分裂症的首阶段、健康阶段和临床高危综合征阶段的分类。通过采集被试的脑电信号，提取频域特征，实现了精神分裂症的分类系统设计，说明了脑电技术可用于神经活动的客观表征。
从审美活动的实际过程来看，大脑神经系统的解剖学结构及其活动规律同审美认知的过程和机理是密不可分的整体。不同美感程度的作品能引起大脑特异性的神经反应，然而现有的美学评价技术大多基于认知行为问卷的方式，缺乏评价标准的客观性，因此，提出一种美学的客观评价系统十分有必要。
发明内容
针对现有技术中的缺陷，本发明提供一种基于脑电信号的视听觉美学评价方法及系统。
根据本发明提供的一种基于脑电信号的视听觉美学评价方法及系统，所述方案如下：
第一方面，提供了一种基于脑电信号的视听觉美学评价方法，所述方法包括：
步骤S1：采集被试进行审美活动时的原始脑电信号，得到被试的EEG原始数据；
步骤S2：对获取到的所述EEG原始数据进行预处理，得到不同条件下同等时长纯净的EEG信号；
步骤S3：利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱,得到不同频段的能量密度谱特征矩阵；
步骤S4：利用基于支持向量机的递归特征筛选最优特征进行分类器训练，对参与者的审美主观判断进行分类识别，得到参与者的主观判断结果并通过声音和画面提醒反馈给参与者。
优选的，所述步骤S1包括：
步骤S1.1：使用放置在头皮表面的32导联银/氯化银合金电极帽由NeuSen W332系统进行EEG数据采集，获取受试者在进行美学主观评价时32通道的脑电信号，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，电极阻抗保持在5千欧以下；
步骤S1.2：实验过程中，被试坐在距离屏幕约1m的座椅上，保持舒适状态，避免身体出现明显动作。
优选的，所述步骤S2包括：
步骤S2.1：将采集到的原始脑电信号通过降采样降到200Hz，采用50Hz陷波器去除工频干扰；
步骤S2.2：采用共平均参考去除低频成分，截取刺激呈现的前0.5s到呈现后的1.5s，共2s长的数据进行分析；
步骤S2.3：通过fast-ICA算法获取多通道独立成分，并通过Adjust插件探测伪迹干扰并置零，再进一步逆变换回时域信号，去除伪迹干扰。
优选的，所述步骤S3包括：
步骤S3.1：利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱；
步骤S3.2：分别对δ、θ、α、β和γ五个频段内的能量密度谱求和，得到不同美学判断下的频谱特征。
优选的，所述步骤S4包括：
步骤S4.1：将脑电不同审美特征输入基于支持向量机的递归特征筛选，筛选最优的导联组合，得到分类结果；
其中，支持向量机的代价函数如下式：
其中，HyiyjK(xi,xj)，表示第i和第j个样本的元素矩阵，K是衡量样本xi和xj相似性的核函数，y为类别标签，λ为拉格朗日系数，表示λ共轭的转置。
衡量移除某个特征维度之后的代价函数变化情况时，保持λ不变，得到特征的序贯指数为：
其中，H(-i)是移除第i个特征后的H；Ji表示第j个特征的序贯指数，即重要性程度；将一个导联的所有特征看作是一个整体，即对导联的权重进行排序。按照上述过程得到的导联排序，分别取前1导，前2导，…，前N导的特征作为分类器的输入，得到相应导联组合下的识别结果，其中识别率最高的导联组合即为最优组合。
步骤S4.2：将识别到的美学主观判断分类结果通过声音和画面反馈给参与者。
第二方面，提供了一种基于脑电信号的视听觉美学评价系统，所述系统包括：
模块M1：采集被试进行审美活动时的原始脑电信号，得到被试的EEG原始数据；
模块M2：对获取到的所述EEG原始数据进行预处理，得到不同条件下同等时长纯净的EEG信号；
模块M3：利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱,得到不同频段的能量密度谱特征矩阵；
模块M4：利用基于支持向量机的递归特征筛选最优特征进行分类器训练，对参与者的审美主观判断进行分类识别，得到参与者的主观判断结果并通过声音和画面提醒反馈给参与者。
优选的，所述模块M1包括：
模块M1.1：使用放置在头皮表面的32导联银/氯化银合金电极帽由NeuSen W332系统进行EEG数据采集，获取受试者在进行美学主观评价时32通道的脑电信号，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，电极阻抗保持在5千欧以下；
模块M1.2：实验过程中，被试坐在距离屏幕约1m的座椅上，保持舒适状态，避免身体出现明显动作。
优选的，所述模块M2包括：
模块M2.1：将采集到的原始脑电信号通过降采样降到200Hz，采用50Hz陷波器去除工频干扰；
模块M2.2：采用共平均参考去除低频成分，截取刺激呈现的前0.5s到呈现后的1.5s，共2s长的数据进行分析；
模块M2.3：通过fast-ICA算法获取多通道独立成分，并通过Adjust插件探测伪迹干扰并置零，再进一步逆变换回时域信号，去除伪迹干扰。
优选的，所述模块M3包括：
模块M3.1：利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱；
模块M3.2：分别对δ、θ、α、β和γ五个频段内的能量密度谱求和，得到不同美学判断下的频谱特征。
优选的，所述模块M4包括：
模块M4.1：将脑电不同审美特征输入基于支持向量机的递归特征筛选，筛选最优的导联组合，得到分类结果；
其中，支持向量机的代价函数如下式：
其中，HyiyjK(xi,xj)，表示第i和第j个样本的元素矩阵，K是衡量样本xi和xj相似性的核函数，y为类别标签，λ为拉格朗日系数，表示λ共轭的转置。
衡量移除某个特征维度之后的代价函数变化情况时，保持λ不变，得到特征的序贯指数为：
其中，H(-i)是移除第i个特征后的H；Ji表示第j个特征的序贯指数，即重要性程度；将一个导联的所有特征看作是一个整体，即对导联的权重进行排序。按照上述过程得到的导联排序，分别取前1导，前2导，…，前N导的特征作为分类器的输入，得到相应导联组合下的识别结果，其中识别率最高的导联组合即为最优组合。
模块M4.2：将识别到的美学主观判断分类结果通过声音和画面反馈给参与者。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过提取视觉审美和听觉审美引起的特异性神经反应特征，构建分类器，对被试的不同审美反应做分类识别并输出反馈结果；
2、针对特征冗余和不足等问题，本发明采用基于支持向量机的递归特征筛选算法，优化特征组合，根据先验的实验数据，将参与者的审美判断划分为美、一般、不美以及所对应的脑电波信号，来训练分类器，实现参与者审美判断的高精度识别；
3、本发明能够实现视觉、听觉审美的客观评价，有望为审美测评的公平性开拓思路并奠定技术基础；
4、同时，本发明也有望丰富基于美学的心理疗法在精神病患者中的治疗。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明的基于脑电信号的视听觉美学评价系统总体结构示意图；
图2是本发明中实验范式流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于脑电信号的视听觉美学评价方法，主要对脑电波数据的预处理及参与者审美判断的识别，通过采集被试在观察作品或聆听音乐时的脑电信号，提取审美相关的特异性神经反应频域特征，训练分类器，对被试的审美判断进行分类识别，并通过语音反馈和画面提示输出被试的主观判断，实现被试审美的客观评价。共包含信号采集、信号处理、模式识别、输出反馈模块，参照图1所示，该方法具体包括：
步骤S1：采集被试进行审美活动时的原始脑电信号，得到被试的EEG原始数据；
该步骤S1包括：使用放置在头皮表面的32导联银/氯化银(Ag/AgC1)合金电极帽由NeuSen W332系统进行EEG数据采集，获取受试者在进行美学主观评价时32通道的脑电信号，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下。
实验过程中，被试坐在距离屏幕约1m的座椅上，保持舒适状态，尽量避免身体出现明显动作。单个试次的实验流程参照图2所示，共包含4个阶段，持续时间为6.75-7.25s之间随机。首先一开始，让参与者有5s的静息时间，保持状态良好；第一阶段是准备期，屏幕正中央出现一个“+”号，持续0.25-0.5s提醒被试本轮实验正式开始；接下来的2s时间是提示期，屏幕中间出现欣赏的图片或者播放音乐；然后是判断期，持续3s时间，被试根据前一阶段所观察的图片或聆听到的音乐进行主观判断；最后是休息期，持续1.5-1.75s，被试休息状态，以作调整准备下一轮次实验。整个实验在安静无干扰的环境中完成。
实验共采集了6组数据(图片和音乐各3组)，每组实验包含60个单轮次任务，三种美感程度任务各随机出现20次。前2组实验数据用于训练分类器，后1组实验用于在线测试系统的性能。整个实验持续60分钟，总采集6*60＝360次实验任务下的脑电信号，即360个脑电数据样本。
步骤S2：对获取到的EEG原始数据进行预处理，包括数据降采样、去噪、截取和滤波等，得到不同条件下同等时长纯净的EEG信号。
步骤S2具体包括：将采集到的原始脑电信号通过降采样降到200Hz，采用50Hz陷波器去除工频干扰；采用共平均参考(Common average reference,CAR)去除低频成分，截取刺激呈现的前0.5s到呈现后的1.5s，共2s长的数据进行分析。
通过fast-ICA算法获取多通道独立成分，并通过Adjust插件探测伪迹干扰并置零，再进一步逆变换回时域信号，去除伪迹干扰。Adjust是一种用于识别和清除EEG数据的全自动算法。
步骤S3：利用短时傅里叶变换分别计算δ(0.5-4Hz)、θ(4-8Hz)、α(8-13Hz)、β(14-30Hz)和γ(30-50Hz)五个不同频段的能量密度谱,得到不同频段的能量密度谱特征矩阵。
步骤S3具体包括：
利用短时傅里叶变换分别计算δ、θ、α、β和γ五个不同频段的能量密度谱；
短时傅里叶变换的方法是首先使用一个有限宽度的观察窗函数W(t)对信号X(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的：
其中，t,τ表示时间点；w是角频率；x(τ)表示τ时刻的信号；j表示虚数；W*(τ-t)是W(τ-t)的复共轭函数。当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱。
能量密度谱spectrogram(SPEC)的计算如下：
SPEC(t,w)＝|STFT(t,w)|2 (2)
窗函数W(t)一般为对称的实函数，常用的窗函数有矩形窗、汉宁窗以及高斯窗等，本实施例中选用高斯窗作为时间窗函数，窗长2s。
分别对δ、θ、α、β和γ五个频段内的能量密度谱求和，得到不同美学判断下的频谱特征。
步骤S4：利用基于支持向量机的递归特征筛选最优特征进行分类器训练，对参与者的审美主观判断进行分类识别，得到参与者的主观判断结果并通过声音和画面提醒反馈给参与者。
步骤S4具体包括：
将脑电不同审美特征输入基于支持向量机的递归特征筛选，筛选最优的导联组合，得到最可靠的分类结果；
基于支持向量机的递归特征筛选是一种常用的特征优化算法，其基本思想是：根据分类器代价函数在移去某一维特征后的变化量来衡量该特征对分类器权重的顺序(称为特征的序贯指数)，引起的变化越大，说明该特征在所有特征的贡献中所占的比重越大，反之亦然。
其中，支持向量机的代价函数如下式：
其中，HyiyjK(xi,xj)，表示第i和第j个样本的元素矩阵，K是衡量样本xi和xj相似性的核函数，y为类别标签，λ为拉格朗日系数，表示λ共轭的转置。
衡量移除某个特征维度之后的代价函数变化情况时，保持λ不变，得到特征的序贯指数为：
其中，H(-i)是移除第i个特征后的H；Ji表示第j个特征的序贯指数，即重要性程度；
将一个导联的所有特征看作是一个整体，即对导联的权重进行排序。按照上述过程得到的导联排序，分别取前1导，前2导，…，前N导的特征作为分类器的输入，得到相应导联组合下的识别结果，其中识别率最高的导联组合即为最优组合。
将识别到的美学主观判断分类结果通过声音和画面反馈给参与者。
实施例提供了一种基于脑电信号的视听觉美学评价方法及系统，通过提取视觉审美和听觉审美引起的特异性神经反应特征，构建分类器，对被试的不同审美反应做分类识别并输出反馈结果。采用基于支持向量机的递归特征筛选算法，优化特征组合，根据先验的实验数据，将参与者的审美判断划分为美、一般、不美以及所对应的脑电波信号，来训练分类器，实现参与者审美判断的高精度识别。本发明能够实现视觉、听觉审美的客观评价，有望为审美测评的公平性开拓思路并奠定技术基础。同时，该项发明也有望丰富基于美学的心理疗法在精神病患者中的治疗。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种智能化膝关节神经肌肉评估控制仪