情绪识别的研究不仅需要提升情绪识别的准确率,还需要研究对情绪识别任务关键的特征。利用脑电信号进行情绪识别的研究,一个重要的研究问题是不同的脑电频段对情绪识别是否相同?或者说是否有某个频段对情绪识别任务特别重要?
我们利用不同的实验任务进行了研究:使用图片进行情绪的诱发以及利用视频进行情绪的诱发。两个实验任务既有区别又有联系,两个任务的结合能够得到更具有可信度的结论。
我们首先进行了基于图像诱发的关键频段研究,图片作为情绪诱发素材是研究人员普遍使用的方法,这种刺激方案素材收集简单,并且具有良好的情绪诱发效果。我们招募了10名被试进行实验,在实验中,被试被要求观看屏幕上出现的图片。图片包含两类情绪:正面情绪主要包括不同年龄阶段、不同性别的人微笑的图片,负面情绪包括不同年龄、不同性别的人在亲人去世后悲伤哭泣的图片。被试在观看图片之后,需要填写问卷报告自己的情绪状态和情绪强度。接下来我们分析了不同频段下情绪识别的准确率,以检验不同频段对情绪识别的重要性。实验结果表明,对于不同的被试,分类效果好的频段按照低频截断和高频截断区间形成了带状分布,即在一个低频区间和高频区间组成的长方形范围内,情绪识别的效果都比较好。具体地,对于低频截断范围,最优的区间为40-50Hz;对于高频截断范围,最优区间为30Hz以上至最高200Hz。对所有被试的结果进行平均分析,表明30-100Hz的高频特征对情绪识别的效果要优于低频特征。
基于图片的情绪诱发虽然简单,但是存在一些改进空间。首先,图片是静态的刺激,不能保证每名被试都能看到后马上产生对应的情绪;其次,观看图片的时间较短,而情绪产生后一般会维持一定的时间,图片切换过快导致被试情绪反复变化,一定程度影响刺激效果;最后,之前工作对高频的划分略显宽泛,与常见的脑电频段划分并不严格一致。
为了解决以上这些不足,我们使用电影片段诱发被试的正面、中性和负面情绪,电影片段是多媒体的刺激,能让被试更好地带入影片的情节,更好地诱发情绪;并且电影片段的持续时间较长,有助于记录较长时间的情绪数据。在特征提取阶段,我们按照脑电信号普遍的频段划分,在Delta (1-3Hz)、Theta (4-7Hz)、Alpha (8-13Hz)、Bet (14-30Hz)a和Gamma (31-50Hz) 频段分别提取出功率谱密度(PSD)微分熵特征(DE)、对称性差分特征(DASM)等特征,并且构建了深度信念网络进行情绪识别及频段分析。
情绪分类的结果表明,对于PSD、DE等多种脑电频域特征,在Beta和Gamma高频区间的识别准确率均高于其他低频段的特征,并且,Gamma频段有比Beta频段更好地性能,超过60%的最高识别准确率是在Gamma频段上取得的。这个结论和基于图像的研究结果一致,均表明脑电信号的高频段对于情绪识别具有更重要的作用。
我们同时分析了深度信念网络学习到的权重绝对值在不同频段上的分布,对于低频的Delta、Theta和Alpha频段,权重绝对值普遍集中在[0, 0.002]区间,对于Beta频段,其权重绝对值处于[0.002, 0.007]之间,而Gamma频段的权重处于[0.003, 0.01]之间。权重的大小可以反映出特征的重要性,具有较大权重的特征更容易影响网络的输出,因此,Gamma频段在情绪识别任务上具有更加重要的作用。