本研究EEG-based investigation of the impact of room size and window placement on cognitive performance发表于2022年的Journal of Building Engineering(IF:6.4)。来自康奈尔大学的Jesus G. Cruz-Garza 、Michael Darfler、Elita Gao 为共同第一作者,Saleh Kalantari为通讯作者。
摘要
本研究设计了四种不同窗口位置和房间尺寸(无窗、单窗、双窗、加宽)的虚拟教室,让参与者在每种设计条件下进行五项认知测试:Stroop测试、数字广度测试、本顿测试、视觉记忆测试和算术测试,并在参与者完成五项测试时记录参与者的脑电信号。分析对比不同教室设计条件下的认知测试成绩和脑电信号得出结论。
行为数据的结果显示,在不同的教室设计条件下认知测试的结果没有显著差异。脑电的结果显示,不同的课堂设计条件(a.无窗vs一窗,b.无窗vs双窗,c.无窗vs加宽)影响脑电图的特征。分类模型具有预测能力,能够识别参与者所处的设计条件。当参与者进行视觉记忆测试(VMT)时,分类器可以成功地识别与中性条件教室相比的三种设计条件(p<0.003)。最具鉴别力的脑电图特征主要是在θ(4-8Hz)和α(8-12Hz)频带的双侧枕叶、顶叶和额叶区域观察到的频带功率特征。连接特征强化了这些发现,表明在不同的课堂条件下,信息从顶叶中央电极到额叶电极的传递发生了变化
本研究的证据表明,认知任务中的大脑活动特征受到虚拟教室中窗户位置和房间尺寸等设计元素的影响。这种基于脑电图的评估方法可以运用于建筑设计中。
研究背景
认知表现是指执行认知任务的流畅性、效率和准确性。较高的认知表现往往具有较强的推理、解决问题和决策能力,并与更强的信息回忆能力相关。以往的研究发现,一些环境质量因素(例如过热的环境和糟糕的空气质量)可能会通过一系列相互关联的的生理途径和心理干扰影响认知表现,造成认知功能的下降。但是,对于特定的建筑特征(比如房间大小、窗户位置或家具布局)如何影响或改善认知表现的方式缺乏实证。
相比于2D图像,虚拟现实(VR)能够提供动态、沉浸式的体验和更丰富的现实感,在实验中也更能准确反映人们在体验沉浸式三维环境时的大脑活动。同时,虚拟现实的使用让研究人员可以精确地调整建筑变化,而这在真实环境中是很难实现的的。
基于此,本研究假设将VR与脑电进行结合能更准确地反映出建筑设计对认知的影响。
研究方法
1.参与者:
本研究一共招募23名参与者,其中有8名女性,15名男性(M = 26.17, SD = 10.4)。所有参与者都来自休斯顿大学,分别代表工程、生物科学、设计、人文、经济和计算机科学等院系。参与者具有不同的国家和种族背景。所有参与者的视力或矫正视力均正常,且所有参与者疲劳程度都比较低。
2.VR设备及使用:
使用Epic Games的虚拟引擎,设备采用1920 × 1080像素(每只眼睛960 × 1080像素)的低持久化OLED显示屏,刷新率75hz。参与者通过使用Xbox手持控制器与虚拟环境进行交互,使用一个小操纵杆在多个答案之间切换,并按下按钮进行回答。在实验过程中,参与者可以转动头部来观察虚拟教室的3D空间,但不能改变他们在虚拟教室中的位置。具体设计如图1所示。
图1 参与者佩戴脑电帽和VR设备
3.教室设计:
教室一共有四种设计方式。第一种设计是构建了一个没有窗户的真实大学教室的虚拟现实渲染图,即“中性”条件;第二种设计在房间左边的墙上增加一扇窗户,可以看到部分晴朗的天空和树梢,即“单窗”条件;第三种设计是在教室的房顶上面增加两扇窗户,但是没有侧窗,即“双窗”条件;第四种设计是将房间的宽度由15英尺增加到22英尺,即“加宽”条件。
本研究的照明条件在所有情况下都保持一致,且参与者的位置也保持不变。在所有的条件下,参与者都坐在一张长桌子的末端,显示任务问题的投影仪屏幕在长桌子的另一端。房间只有一扇门,位于参与者身后。摄像机的位置固定,放置在距地面大约0.44厘米的地方,与典型的坐姿眼高相对应(图2)。
图2 房间设计和认知测试呈现
4.认知测试:
在四种教室设计条件下,参与者分别进行五次认知测试(如图3):数字广度测试(DST),Benton测试(BT),Stroop测试(ST),以及算术测试(AT)和视觉记忆测试(VMT)。
DST用于评估工作记忆、注意力、信息编码和听觉信息处理能力。参与者听一段随机数字的语音序列,然后在屏幕上选择正确的数字来还原这一序列。本测试没有时间限制,通过计算正确数字的总数来统计得分。
BT是视觉知觉、视觉记忆和视觉辨别能力的衡量指标。屏幕上呈现一个复杂的几何视觉刺激,持续3秒,然后呈现一组选项让参与者选出与之前出现的刺激相同的答案。本测试没有时间限制,根据参与者选择正确的次数评分。
ST要求参与者快速识别显示在屏幕上文本一致(绿色字体呈现“green”)或不一致(绿色字体呈现“red”)的单词的字体颜色。本测试对正确和错误答案给予视觉和听觉反馈,并评估参与者的正确率。
AT要求参与者判断两个简单的算术表达式中哪个表达式的结果数值更大,或者数值是否相等。本测试提供了正确和错误答案的视觉反馈,根据参与者正确回答的次数评分。
VMT向参与者呈现一个由明暗方格组成的网格,持续2秒,要求参与者在空白网格上重现之前的明暗方格分布状况。该测试没有时间限制,并提供正确和错误答案的音频和视觉反馈。根据正确方格的总数进行评分。
图3 五项认知测试
5.EEG信号采集
EEG信号采用63导的actiCHamp plus进行采集,其中有57个电极用于头皮EEG记录(图1),并采用Recorder软件进行电生理信号的记录。以上设备和软件均由德国Brain Products公司生产,国内由深圳瀚翔脑科学技术股份有限公司总代理。
6.实验程序
在研究开始之前,向每位参与者介绍研究目标,并让他们完成一份人口统计学问卷。然后,参与者戴上脑电帽和VR眼镜并在非测试环境中熟悉设备。在正式实验开始时,要求参与者睁眼注视墙上的一个点1分钟,然后闭眼休息1分钟,以此来获取基线脑电图读数。接下来,参与者有10分钟的时间熟悉将要进行的认知测试,并熟悉提交答案的方式。随后,参与者在每个不同的虚拟教室环境中完成五项认知测试。
认知测试分两个阶段进行,中间休息1分钟。在第一阶段,参与者在四种不同的教室中分别完成DST和BT任务。在第二阶段,参与者在不同的教室中完成Stroop测验、AT和VMT三个认知任务。在第一阶段和第二阶段,进行测验的顺序都是固定的,但房间出现的顺序是随机的。在不同的房间出现之后,参与者通过填写一个里克特10分量表对他们自己的精神疲劳状况和压力水平进行评价(1 =“完全没有”,10 =“非常”)。
图4 实验的时间线
EEG数据采用EEGLAB进行分析。设置500hz的原始采样率和0.5-50Hz的带宽。
8.不同设计间的脑电特征分析
对四种设计条件下的五种认知测试中的每一种测试前25秒内的预处理数据集进行脑电图特征分析,一共分析了20个数据集。使用5个典型EEG频段频带功率和基于传感器的连接EEG特征的训练分类器,以区分中性条件教室和其他类型的教室。据此,进行中性条件和其余3种设计条件的两两比较:(a)中性条件vs单窗口,(b)中性条件vs双窗口,(c)中性条件vs加宽。分别对五种认知测试进行这三种比较,并选择机器学习的分类方法来研究不同教室环境如何影响认知表现。
(1)EEG特征的提取:在传感器层面提取了两种类型的脑电特征:一个是不同频段的功率,另一个是不同电极的部分直接相关性(PDC)。使用Matlab中的函数(pmtm)计算57个电极在5个典型EEG频段的功率特征:δ(1-4Hz)、θ(4-8Hz)、α(8-12Hz)、β(12-30 Hz)和γ (30-40 Hz)。使用PDC测量两个EEG信号之间的因果关系,从而确定信息是否从一个电极传递到另一个电极。采用模型阶数为15(30 ms)的多变量自回归模型(MVAR)估计分布在头皮上的28个电极的PDC,并对5个频段的所有电极对的PDC估计值进行双向评估。
(2)EEG特征的选择:采用非参数Kruskal-Wallis检验评估各脑电特征的判别能力。所有参与者的特征根据Kuskal-Wallis检验获得的p值进行排序。将p值小于2.4 x 10−6的特征(对p<0.01的4205个特征进行Bonferroni校正)进行分析。
(3)机器学习的分类方法:使用机器学习分类器核支持向量机(k-SVM),评估20个类别(在四种不同的课堂设计中进行五项认知测试)是否能够在中性条件和其余3种设计条件的两两比较中有效区分参与者的大脑活动。在每一个两两比较中,对EEG数据中最具判别性的特征进行排序,然后依次添加到分类模型中并测试预测性能。对脑电图进行机器学习分析能够确定每个教室设计的改变是否对神经相关因素有显著影响。
(4)训练数据集和测试数据集:进行机器学习程序,测试识别EEG特征的能力,有一个参与者被排除出训练集。其余参与者(n=22)的数据作为训练集创建k-SVM分类模型,采用5折交叉验证。该过程重复23次,依次从训练集中排除每个参与者,然后根据模型预测被排除个体数据的能力评估模型。在每次迭代中,训练集每类包含22名参与者的880个样本,测试集每类包含1名参与者的40个样本。
(5)分类模型评价:以测试集分类准确率的分布作为主要指标来评价机器学习分类性能。在每次比较检验中,将分类准确率的分布与混淆类别标签的EEG数据中获得的分类模型和测试数据进行比较。采用Kruskal-Wallis检验,在显著性阈值p < 0.003和p <0.006的情况下评价测试集分类准确率与混淆数据分类准确率之间的统计学差异,并应用Bonferroni校正进行多重比较。对排序后的脑电特征逐级递增地建立分类模型,并使用排名前400的最佳特征对模型进行测试,评估分类准确率。
研究结果
1.行为数据结果:
不同的课堂条件下参与者的测试反应准确率、回答次数、完成时间和效率分数的倒数不存在显著差异(图5)。
图5 不同教室设计条件下的认知测试表现
2.EEG数据结果:
如图6,结果表明,不同的教室设计条件与参与者的脑电图数据存在一致的变化,而分类模型具有预测能力,能够识别参与者所处的设计条件。当参与者进行视觉记忆测试(VMT)时,分类器可以成功地识别与中性条件教室相比的三种设计条件(p<0.003)。
图6 脑电分类准确率
如图7,在中性条件和单窗、双窗、加宽3种设计条件的两两比较下,频带功率特征的分布在中央顶叶和额叶区域的差异具有统计学意义。
在中性条件与单窗口条件的比较中,中央顶叶和额叶区域的α和β频段功率增加。而在“中性条件”vs“双窗”,“中性条件”vs“加宽”的条件中,都显示出α和β功率的降低。此外,连接分析进一步表明,信息从中央顶叶到额叶电极的传递存在变化,这些变化主要出现在θ和α频段。
图7 脑电各个频段的特征分布
结论及讨论
本研究将VR与脑电图进行结合,让参与者在VR创设的不同环境中完成认知测试,同时记录脑电数据。
行为测试的结果表明,在不同的教室设计条件(单窗、双窗、加宽)下认知测试的结果没有显著差异。在虚拟教室环境中,教室设计的变化并没有改善参与者在认知测试上的表现。这可能是由于参与者在实验前有大量的时间练习测试任务,导致天花板效应的出现。
空间的设计影响脑电图的特征,但是只有在需要短期记忆编码的认知任务(数字广度测试、Benton测试和视觉记忆测试)中,不同的教室设计才会诱发神经活动的改变。根据编码特异性假说,可能是因为测试任务相关的信息存储增强了对不同教室设计的心理表征,如果周围环境的心理表征更强,分类器就更能有效地区分在这些不同环境中进行的短时记忆任务中的心理活动。
使用脑电图来评估建筑设计元素对用户的影响,可以帮助设计师更深入地了解用户对设计的反应,从而指导设计决策。未来可以将这种方法应用于实际建设之前环境设计决策的评估,通过收集预期用户群体的生理和意识反应,设计者将更早地了解设计决策可能对用户产生的生理和认知影响,为用户创造更智能、个性化和符合认知科学的产品和体验。