以下文章来源于脑机接口社区 ，作者社区创作者

音乐是人类体验的核心，但音乐感知背后的精确神经动力学仍然未知。本研究分析了29名患者的独特颅内脑电图(iEEG)数据集，这些患者听了Pink Floyd的歌曲，并应用了先前在语音领域使用的刺激重建方法。本研究成功地从直接神经录音中重建了可识别的歌曲，并量化了不同因素对解码精度的影响。结合编码和解码分析，本研究发现大脑右半部分主导音乐感知，颞上回(STG)起主要作用，证明了一个新的颞上回亚区适应音乐节奏，并定义了一个对音乐元素表现出持续和开始反应的前后侧STG组织。本研究结果表明，在单个患者获得的短数据集上应用预测建模是可行的，为在脑机接口(BCI)应用程序中添加音乐元素铺平了道路。

本次实验共29例耐药癫痫患者参与研究(女性15例；年龄16 ~ 60岁，平均33.4岁，全量表智商范围为74 ~ 122)。所有患者均通过手术植入颅内栅格或电极条(ECoG)来定位癫痫病灶，电极定位完全由临床指导。所有患者均自称听力正常，并被要求全神贯注地听着Pink Floyd的歌曲《Another Brick in the Wall》(第一部分)。总歌曲持续时间为190.72秒(波形如图1A所示)。听觉刺激频率为44.1 kHz，并通过入耳式监听耳机(带宽12 Hz至23.5 kHz，与周围噪声隔离20 dB)在每个患者调节的舒适声级(50至60 dB SL)下传递。

为了研究听觉刺激的声学效果与ECoG记录的神经活动之间的关系，使用NSL MATLAB Toolbox将歌曲波形转换为仅振幅的听觉谱图。所得到的听觉频谱图有128个频率段，从180到7246 Hz，特征频率沿对数频率轴均匀分布，采样率为100 Hz。为了减少计算负荷和特征的数量，输出了一个从188到6745 Hz的32个频仓的简化谱图(图1A，底部)。

本研究使用基于回归的解码模型，根据记录的神经活动重建经典摇滚歌曲的听觉谱图，量化了3个因素对解码准确性的影响，并通过编码模型和损伤分析研究了音乐感知的神经动力学和区域。

为了识别编码歌曲声学信息的电极，本研究为数据集中所有2379个电极拟合了光谱颞感受野(STRF)，评估了在这些位置记录的HFA可以从歌曲的听觉谱图中线性预测的程度(图1)。从密集的、双侧的、主要是额颞覆盖(图2A)中，确定了347个具有显著STRF的电极(图2B)。研究发现大脑右半球有更高比例的对歌曲有反应的电极。在左半球的1479个电极中有199个有意义，在右半球的900个电极中有148个有意义(图2B)。347个显著电极中的大多数(87%)集中在3个区域：68%在双侧颞上回(STG)，14.4%在双侧感觉运动皮层(SMCs，位于中央前和后回)，4.6%在双侧IFG(图2C)。STRF预测精度分析发现偏侧性是主要影响因素(图2D)，右半球的相关系数高于左半球。

本研究通过拟合线性解码模型，对电极子集进行了自举分析，揭示了解码模型中用作预测器的电极数量与预测精度之间的对数关系(图3A)。使用bootstrap分析观察到数据集持续时间和预测精度之间存在类似的对数关系(图3B)。对于模型类型，与MLP更高的有效r平方相一致，解码的光谱图揭示了模型类型之间的差异，非线性重建(图3C，底部)相对于线性重建(图3C，中间)显示了更精细的光谱时间细节。总体而言，线性重建在前景元素(人声音节和吉他主音)的存在下听起来充满了强烈的节奏线索，但节奏感有限的吉他模式。与线性重建相比，非线性重建提供了可识别的歌曲，具有更丰富的细节。对音高、音色等谱元素的感知质量得到显著提高，音素同一性明显。使用非线性模型从患者P29的61个重要电极中重建歌曲(图3D)。这些模型的表现优于基于所有患者电极的线性重建，但解码精度低于来自所有患者的347个显著电极的解码精度。在感知方面，这些基于单个患者的模型提供了足够高的光谱时间细节来识别歌曲。

然后，本研究通过将原始歌曲与解码歌曲谱图的摘录相关联来量化解码歌曲的可识别性。线性(图4A)和非线性(图4B)重建都提供了很高的正确率(分别为32/38和36/38)；图4，左面板)和显著识别平均百分位数(分别为95.2%和96.3%；图4，右侧面板)。

本研究分析了所有347个重要电极的STRF系数，以评估不同的音乐元素是如何在不同的大脑区域编码的。该分析揭示了各种光谱时间调谐模式(图5A)。为了充分表征音乐谱图与神经活动之间的关系，对所有重要的strf进行了独立分量分析(ICA)。确定了具有不同光谱时间调谐模式的3个分量，每个分量解释5%以上的方差，共同解释52.5%的方差(图5B)。

第一个分量(28%的解释方差)显示了一组正系数(图5B中红色部分，上排)，分布在大约500 Hz至7 kHz的宽频率范围内，在观测到的HFA之前约90 ms的窄时间窗口内。这个暂时的瞬态集群揭示了对声音启动的调优。该成分被称为“起始成分”，仅在位于双侧STG后部的电极中发现(图5C，顶行，电极用红色表示)。在图6C的顶行，用红色显示了在具有这个起始分量的电极中，音乐中引起HFA增加最高的部分。这些部分对应于主吉他或合成器主题的开始(图6A，分别为蓝色和紫色条；图6E为放大图)，每2小节播放一次(绿色小节)，以及元音音节核的开始(橙色小节；图6D为放大图)。

第二个分量(14.7%的解释方差)显示了一组正系数(图5B中行中红色部分)，分布在整个750毫秒的时间窗口和大约4.8到7 kHz的狭窄频率范围内。该成分被称为“持续成分”，在位于双侧STG中部和前部以及双侧SMC的电极中发现(图5C中)。此外，这一成分与音乐中包含人声的部分最相关，因此暗示了对语音的调音(图6C中，红色；图6D为放大图)。

第三个分量(9.8%的解释方差)显示出与开始分量相似的调谐模式，只是在观察到的HFA之前延迟时间更长，约为210 ms(图5B下)。该成分，从现在起被称为“晚发成分”，在双侧STG后部和前部，靠近代表起发成分的电极，以及双侧SMC中发现(图5C下)。与开始分量一样，这个分量与主音吉他的开始以及声乐中音节核的开始最相关，只是潜伏期更长(图6C下；放大图见图6D和6E)。

第四个分量：通过计算时间调制并提取所有347个STRF(图5D红色矩形)在6.66 Hz的速率附近的最大系数，发现了第四个分量。这个速度与节奏吉他的第16个音符相对应，在音乐中无处不在，音乐的节奏为每分钟99次(图5A，电极5)。该成分被称为“节奏成分”，在位于双侧STG中部的电极中发现(图5E)。

为了评估这些不同的皮质区域和功能成分在表示音乐特征方面的作用，使用线性解码模型进行了损伤分析。本研究使用完整的347个电极模型的预测精度作为基线值(图7)。研究发现电极组的主要影响较为显著。然后，我们进行了一系列事后分析，以检查每个集合对预测准确性的影响。

解剖损伤(图7A)：去除所有STG或所有正确的STG电极会影响预测精度，与所有其他电极组相比，去除所有STG电极的影响最大。去除右侧STG电极比去除左侧STG电极影响更大，去除左侧STG电极无影响。综上所述，这表明:

(1)与其他区域相比，双侧STG代表了独特的音乐信息；

(2)右侧STG相对于左侧STG具有独特的信息；

(3)左侧STG中的部分音乐信息被冗余编码到右侧STG中，切除SMC、IFG或所有其他区域不影响预测精度。

这些结果表明两个半球代表独特的信息，并有助于音乐解码。此外，去除左半球的单个区域没有影响，但去除所有左电极确实表明左半球存在冗余，音乐信息在空间上分布在左半球区域。

功能性损伤(图7B)：去除所有起始电极和右起始电极都会影响预测精度，对所有发病的影响都最大。没有发现去除左起电极的影响。这表明，与左起跳电极相比，右起跳电极具有独特的信息，并且左起跳电极中的部分音乐信息在右起跳电极中被冗余编码。在晚发性成分中观察到类似的右半球受累模式、。去除所有节律电极和右节律电极都显著影响解码精度。而本研究发现去除左侧节律电极没有影响，去除所有节律电极和右侧节律电极没有差异。这表明，右侧节律电极具有独特的信息，而左侧节律电极中没有多余的信息。尽管有大量的持续电极，但没有发现移除任何一组电极的影响。

本研究对听取音乐的患者的脑电图数据进行了预测建模分析，利用非线性模型从直接的人类神经记录中以最稳健的效果重建音乐。通过基于编码和解码模型的综合解剖功能方法，本研究证实了右半球偏好和STG在音乐感知中的主要作用，证明了一个新的STG亚区适应音乐节奏，并定义了一个对音乐元素表现出持续和开始反应的前后STG组织。这些结果进一步加深了人类对音乐感知背后的神经动力学的理解。

来源：脑机接口社区