一种基于脑电信号的音乐自动切换方法

文档序号:604281 发布日期:2021-05-07 浏览:16次 >En<

阅读说明:本技术 一种基于脑电信号的音乐自动切换方法 (Automatic music switching method based on electroencephalogram signals ) 是由 滕凯迪 赵倩 董宜先 单洪芳 于 2021-01-12 设计创作,主要内容包括:本发明公开了一种基于脑电信号的音乐自动切换方法,音乐应用在播放歌曲时,通过脑电信号识别当前用户情绪并进行分类,根据事先获得的情绪状态匹配关系寻找与其匹配的歌曲分类,从该歌曲分类中自动选择一首歌曲作为播放曲目,同时基于脑电数据所反映的实时情绪动态变化情况,自动生成下一首适宜的播放歌曲。本发明通过音乐诱发用户情感状态,对其进行评估,再通过分析个体情绪体验与音乐表现的关联性,同时对音乐进行基于内容的相似度分析,建立个性化的音乐推荐播放系统,可为辅助音乐治疗提供理论支持与帮助。(The invention discloses a music automatic switching method based on electroencephalogram signals, which is characterized in that when music is applied to playing songs, the emotion of a current user is identified through the electroencephalogram signals and classified, song classification matched with the emotion signals is searched according to the emotion state matching relation obtained in advance, one song is automatically selected from the song classification as a playing song, and meanwhile, the next suitable playing song is automatically generated based on the real-time emotion dynamic change condition reflected by electroencephalogram data. The emotional state of the user is induced by the music, the emotional state is evaluated, the relevance between individual emotional experience and music performance is analyzed, the music is subjected to similarity analysis based on content, a personalized music recommendation playing system is established, and theoretical support and help can be provided for assisting music treatment.)

一种基于脑电信号的音乐自动切换方法

技术领域

本发明涉及音乐治疗技术领域,尤其是一种基于脑电信号的音乐自动切换方法。

背景技术

情绪作为人的一种心理与生理状态,蕴藏着性格喜好、身心状态等诸多有价值的信息。现今经济高速发展,人们面临的压力空前增多,情绪不佳以致抑郁症、焦虑症等神经性心理疾病的概率迅速升高。为了延缓症状,许多非药物干预措施得到了广泛地关注,例如音乐干预治疗。音乐是一个强大的、非威胁性的媒介,可以使听者感受到从欢乐到忧郁的多种情绪。在音乐治疗领域中,音乐对人的情绪有巨大影响是共识,强调情绪决定人的认知行为,并能在不同程度上影响患者的知觉、思维、记忆与决策。

现有的音乐应用虽然可以推荐歌曲,但大多是基于关键字搜索或用户相似行为判别的,有时候用户不能很好地听到称心如意、符合心情的音乐,因此根据个人的情绪情感变化个性化推荐音乐是一个值得研究和完善的方向,如何找到个体情绪和音乐之间的对应关系是个性化音乐推荐功能需要解决的重要问题。

发明内容

针对上述探讨,本发明提供一种基于脑电信号的音乐自动切换方法,通过获取脑电信号识别用户情绪,实现音乐应用自动随用户情绪波动进行个性化音乐推荐的功能。

一种基于脑电信号的音乐自动切换方法,音乐应用在播放歌曲时,通过脑电信号识别当前用户情绪并进行分类,根据用户情绪分类寻找与其匹配的歌曲分类,从该歌曲分类中的选择一首歌曲作为下一首播放曲目,同时基于脑电数据所反映的实时情绪动态变化情况,自动生成下一首适宜的播放歌曲。

优选的,采用Emotiv Epoc+无线蓝牙脑电记录仪进行脑电信号采集。

情绪量表由数名未接受过任何专业音乐训练的健康测试者,在安静状态下保持注意力高度集中,播放歌曲的同时采集测试者的脑电数据,歌曲播放结束后,让测试者对播放歌曲的情绪类别进行评定;情绪类别评定指的是分别在正负效价和高低唤醒度两个维度上进行1-9分的主观打分;选择不同类型的数首歌曲重复进行前述测试,这些被标记为从1-9的整数详细地表达了被试者个性化的音乐情绪。

优选的,基于脑电信号进行情绪分类通过构建脑电-情绪分类模型实现,脑电-情绪分类模型的构建包括以下步骤:

步骤A1,采集脑电信号并进行预处理;

步骤A2,提取脑电信号的特征信息,形成特征矩阵;

步骤A3,对特征矩阵进行特征融合,实现降维处理;

步骤A4,分类模型使用SVM分类器,利用训练集进行模型训练,通过交叉验证,得到训练后的分类模型;

步骤A5,将训练后的分类模型与情绪量表进行匹配,得到脑电-情绪分类模型。

优选的,所述步骤A1中的脑电信号预处理包括放大、滤波、小波降噪、分解与重构,小波降噪涉及到的小波变换参数,通过遗传算法确定,利用小波包对脑电信号分解与重构,提取各个频带范围的信号,分别是δ节律、θ节律、α节律、β节律;所述步骤A2中的提取脑电信号的特征信息包括利用Welch谱估计算法提取四种节律的功率谱特征,以及提取四种节律的Hurst指数;所述步骤A3采用主成分分析法对特征矩阵进行特征融合。

优选的,歌曲分类基于个体情绪诱发点与歌曲之间的联系,包括以下步骤:

步骤B1,将歌曲降采样率,分帧处理后对歌曲进行短时傅里叶变换;

步骤B2,提取歌曲的RMS特征和MFCC特征;

步骤B3,对特征参数聚类分析进行降维处理,选用混合迭代的K均值聚类方法提取聚类中心和类内方差;

步骤B4,在统计分析的基础上将用户听歌时主观标记的情绪量表与歌曲进行匹配,根据经典的效价和唤醒度二维情绪模型,将脑电信号和相应歌曲映射到各个情绪坐标象限内,从而将这些歌曲也标识到情绪象限里,得到个体音乐-情绪模型。

优选的,在音乐库中找寻与种子歌曲比较相似的曲目,利用最大似然估计法对高斯混合模型参数进行训练,对歌曲进行基于内容的相似度分析,用户在音乐库中指定相似度和选定歌曲,音乐应用根据用户选择自动输出结果,实现歌曲分类。

本发明的有益效果:1、通过音乐诱发用户情感状态,对其进行评估,再通过分析个体情绪体验与音乐表现的关联性,实现个性化的音乐自动切换,可为辅助音乐治疗提供理论支持与帮助;2、Emotiv Epoc+无线蓝牙脑电记录仪进行脑电信号采集,穿戴便携;3、通过遗传算法寻找最佳小波变换参数,以获得最佳的脑电信号降噪效率,得到纯净的EEG信号;4、出于脑电信号是典型非平稳信号的考虑,本发明提取脑电信号的功率谱特征和Hurst指数,通过主成分分析法对提取的特征量进行融合,然后通过SVM分类器,交叉验证得到训练后的分类模型,使得脑电信号分类和情绪化识别更加全面、准确。

附图说明

图1是本发明流程框图;

图2是2D情绪模型图;

图3是脑电信号预处理流程框图;

图4是通过脑电图自动切换音乐流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

脑电信号作为中枢神经系统的生理电信号,与情绪密切相关,能够客观综合地反映人体生理与心理状态,对研究情绪状态分类具有重要意义。本发明的核心思想,如图1所示,通过脑电图这个“窗户”,深入了解大脑的功能状态和活动规律信息,根据脑电信号的变化分析用户的情绪状态,实现对用户情绪状态的有效评估,再通过分析个体情绪体验与音乐表现的关联性,找出对用户情绪影响最大的几个关键音乐特征,通过音乐调节将用户移至理想目标情绪状态,使得不同情绪状态下的用户通过个体化音乐干预治疗效果显著。

一、训练脑电-情绪分类模型

1、采集脑电信号

通过Last.fin数据网站的情感标签选取16段不同类型的种子歌曲分别播放给10名未接受过任何专业音乐训练的健康测试者,要求测试者在安静状态下保持注意力高度集中。播放歌曲的同时采集测试者的脑电数据;歌曲播放结束后,让测试者对播放歌曲的情绪类别进行评定,情绪类别评定指的是分别在正负效价和高低唤醒度两个维度上进行1-9分的主观打分。参照图2,水平维度是效价,代表从愉快到不愉快的范围;垂直维度是唤醒度,代表情绪从平和到激励的程度。将1-5定义为L,6-9定义为H,对于效价和唤醒度的分类都是二分类问题。这些被标记为1-9的整数值详细地表达了被试者个性化的音乐情绪。例如歌曲《Say Hey》映射到情绪坐标第一象限内,对应兴奋、愉悦的情绪;歌曲《Goodbye My Lover》映射到情绪坐标第三象限内,对应悲伤、沮丧的情绪。

本实施例利用Emotiv Epoc+无线蓝牙脑电记录仪进行脑电信号采集,可采集14通道脑电信号及惯性传感器信号,其中EEG通道包括国际通用10-20系统中的AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、AF4。

2、脑电信号预处理

由于脑电信号很微弱,容易受到空间电磁波以及人体其它信号的干扰,特别是在强噪声干扰下,生理电信号很容易被覆盖,所以就需要在对其进行预处理,以保证测量结果的准确性。预处理过程如图3所示,包括放大、滤波、以及在上位机控制系统中进行的小波降噪、分解与重构。

⑴利用差分放大电路和隔直放大电路的耦合对脑电数据进行放大。放大后的信号可能混杂有高频噪声、低频噪声以及工频干扰,这些噪声都需要通过滤波实现抑制。

⑵滤波电路由截止频率分别为1Hz和30Hz的高通滤波电路、低通滤波电路和50Hz陷波电路组成。滤波电路一方面阻隔前置放大电路输出的直流电平,防止后续电路出现饱和;另一方面限制噪声带宽,消除混叠在信号中的各种杂波;陷波电路则是进一步滤除脑电信号采集过程中出现的强大工频干扰。

⑶通过小波降噪得到较为纯净的脑电信号,本实施例通过遗传算法寻找用于脑电信号降噪的最佳小波变换参数,以获得最佳的脑电信号降噪效率,即最小化原始脑电信号与降噪后的脑电信号之间的均方误差MSE。因此,选择均方误差作为适应度函数,

利用遗传算法寻找最佳小波变换参数对脑电信号进行降噪处理,主要包括以下步骤:

①初始化采集到的脑电信号,计算输入脑电信号的SNR和MSE。

②利用遗传算法调整小波变换参数。初始化元启发式算子,初始化小波基函数φ、阈值函数β、阈值化选取规则参数λ和分解层数L,为脑电信号设置合适的小波阈值降噪参数范围,构造目标函数。根据噪声抑制性能,用遗传算法将随机生成的解进行迭代细化,得到最佳降噪参数,输出最优解。

本系统最终确定的最佳小波变换参数:Transform type为DWT,即离散小波变换;采用Daubechies小波系列中的db04小波;设置Level为5,即小波变换对信号进行5层分解;选择Soft threshold(软阈值)。

③利用最佳小波变换参数对脑电信号进行分解与重构。

④脑电信号降噪效果评估。通过两个通用标准对降噪效果进行评估,若获得最大信噪比和最小均方误差,则表明获得最佳的降噪效果。

(4)利用小波包对脑电信号分解与重构,提取各个频带范围的信号,分别是δ节律(1-4Hz)、θ节律(4-8Hz)、α节律(8-12Hz)、β节律(13-30Hz),从各基本节律的时域波形中很容易看出大脑的运行状况及活动规律。

3、脑电信号的特征信息提取

⑴利用Welch谱估计算法提取四种节律的功率谱特征。Welch谱估计算法是经过改进的周期图法,它允许数据进行叠加,并对每段数据采用加窗运算,更好地改善了方差性能和分辨率。首先,通过DFT变换进行功率谱估计,由此计算得到各波段的平均功率谱;然后,所有数据取对数后再进行平均;最终,每位测试者的每个状态都对应一个值,用于后续分析。

⑵提取四种节律波的Hurst指数。Hurst指数是一种度量分形时间序列的平滑性,表征脑电信号非平稳行为的参数。

R(m)/S(m)=α×kH,其中k=1、2、…、N,R(m)为极差,S(m)为标准差,α为系数,H为Hurst指数。

对上式两边取对数,可得log(R/S)m=Hlog(k)+log(α),利用最小二乘法对log(k)和log(α)拟合求斜率,即可得到Hurst指数H。

4、脑电信号分类。将提取的特征进一步反馈给分类器,选用支持向量机分类器对训练集进行训练,采用交叉验证的方式,构建情绪识别模型快速完成对不同情绪的识别分类。

5、将训练后的分类模型与被试者主观评价的情绪模型进行匹配,得到脑电-情绪分类模型,获得的模型作为一种更客观的标签依据,应用于音乐情绪分类的模型中。

二、寻找个体情绪诱发点与音乐之间的联系,建立个体音乐-情绪模型。

1、将歌曲降采样率至22050Hz,分帧处理后对歌曲进行短时傅里叶变换。

2、提取歌曲所有帧的RMS特征和MFCC特征,RMS表征歌曲的整体能量情况,越安静的歌曲,其RMS越低,相反地,通常情况下,节奏越快的音乐,其RMS越高;MFCC是语音特征参数,总体上展示音乐的风格性。

3、由于一首歌包含有很多帧,需要对特征参数聚类分析进行降维处理,选用混合迭代的K均值聚类方法来实现,提取聚类中心和类内方差。

4、音乐是情绪的载体,在统计分析的基础上将用户听歌时主观标记的情绪量表与歌曲进行匹配,根据经典的效价和唤醒度二维情绪模型,将脑电和相应歌曲映射到各个情绪坐标象限内,从而将这些歌曲也标识到情绪象限里,得到个体音乐-情绪模型。

三、音乐相似度计算及情绪状态脑电实时识别及其相应音乐自动切换过程。

在音乐库中找寻与种子歌曲比较相似的曲目,利用最大似然估计法对GMM(高斯混合模型)参数进行训练,对歌曲进行基于内容的相似度分析,其中,最大似然估计法采用EM算法(期望最大化算法)的迭代计算进行,该算法有两个主要步骤:期望E步和最大化M步,E步利用当前参数集计算完整数据的似然度函数的期望值,M步通过计算最大化期望函数获取新的参数,E步和M步一直迭代直至收敛。

用户可以在音乐库中指定相似度(例如选定相似度大于93%的歌曲)和选定歌曲,音乐应用自动输出结果,实现歌曲分类。

参照图4,音乐应用中包含一个音乐播放模块和一个情绪评估模块,前者播放种子歌曲来诱发情绪,后者通过脑电图来评估用户的情绪状态。在播放歌曲阶段,根据用户脑电数据所反映的实时情绪状态,基于事先获得的情绪状态匹配关系寻找与其匹配的歌曲分类,从该歌曲分类中自动生成下一首适宜播放的歌曲。

显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。

10页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:植入式低功耗闭环自响应系统的实时监控装置、方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!