脑-机接口(brain-computer interface, BCI)是一种变革性的人机交互[1][2],其绕过外周神经和肌肉直接在大脑与外部设备之间建立一种全新的通信与控制通道[3][4],具有监测、替代、改善/恢复、增强、补充受损或有障碍的中枢神经系统的输入或输出的功效[5][6],有潜在重要的医学和非医学应用。
在BCI技术系统中,BCI用户中枢神经系统产生的脑信号模式与BCI范式和神经编码紧密相关[7][8],是BCI能够解码用户意图的前提或基础。因此,BCI范式与神经编码是BCI研发的关键和重要内容之一。迄今为止已有许多文献对BCI系统中脑信号处理和分类算法进行了评述,例如Lotte 等人详述了基于脑电(electroencephalogram,EEG)的BCI系统中使用的现代分类算法[9][10],Bashashati 等人详述了BCI系统中的信号处理技术[11],但少有文献阐述BCI范式的定义与设计原则,以及BCI神经编码的定义与建模原则。Reza Abiri等人评述了基于EEG的BCI范式[12],Xu等人评述了基于EEG的BCI脑编码和解码机制[13],但这些文献主要侧重基于EEG的BCI范式与神经编码。除了基于EEG的BCI范式与神经编码,还有基于采集皮质内局部场电位(local field potentials, LFP)[14-16]、皮层脑电图(electroencephalogram, ECoG)[17-19]、功能性近红外光谱(functional near-infrared spectroscopy, fNIRS)[20-22]、功能磁共振成像(functional magnetic resonance imaging, fMRI)[23][24]、脑磁(Magnetoencephalography, MEG)[25][26] 以及混合脑成像[27][28]的BCI范式与神经编码。
为此,本文首先详细论述了BCI范式的定义与设计原则,然后论述了BCI神经编码的定义与建模原则,并介绍了基于现有脑成像方法的BCI范式与神经编码。最后讨论了BCI范式与神经编码面临的挑战及未来的研究方向。本文可望为BCI范式与神经编码的创新研发提供启发。
2 BCI范式的定义和设计原则
2.1 BCI范式的定义
BCI范式是指在特定的脑成像技术下,由BCI研发者精心选择/设计的一组特定的心理任务或外部刺激,用于表示受试者或用户(后面统一为用户)的意图。BCI范式的目的是把用户的意图“写入”脑信号中,即由脑信号表征或编码(神经编码),期望所采用的脑成像技术能够检测到用户意图的神经编码,为后续“读出”或解码用户的意图打下基础。值得注意的是,BCI难以解码用户任意/随机的心理活动,也难以解码其接收的任意/随机的外部刺激。
特定的心理任务是内隐的心理活动,如运动想象、视觉想象、言语想象、心算、推理等;特定的外部刺激是外显的注意任务,如视觉刺激、听觉刺激和触觉刺激等。通过内隐的心理活动或外部刺激诱发特定的脑信号特征,这些特定的脑信号特征标识了特定的心理任务和特定的刺激,为后续的BCI解码提供依据。内隐的心理活动或外部刺激对应特定的脑功能和脑活动,特定的脑功能和脑活动与特定的脑区和脑网络/脑回路紧密相关。图1示意了BCI范式与特定的脑功能和脑结构关系。需要特别注意的是,通常在特定的脑成像技术下讨论BCI范式,即BCI范式与特定的脑成像技术紧密相关。
图1 BCI范式与特定的脑功能和脑结构关系示意图
2.2 BCI范式的设计原则
迄今为止,有若干BCI范式,如运动想象、SSVEP和P300范式等,这些范式各有优缺点,有许多研究依然在完善这些范式。创新设计BCI范式是BCI 研发的关键和重要内容之一,为了使设计的BCI范式能够转化为实际应用,BCI范式设计原则的依据是以用户为中心[29-31]和BCI人因工程[6,8,32-38]设计并评价BCI范式。建议的BCI范式设计原则如表1所示。
注:BCI范式包括特定的心理任务或接受特定的外部刺激
1)BCI范式任务诱发的中枢神经信号应具有较好的可分性
BCI范式要求用户执行特定的心理任务或接受特定的外部刺激。在特定脑成像技术下,用户执行所设计的BCI范式任务诱发的脑信号特征对不同的心理任务或外部刺激具有显著的可分性,或者相关的中枢神经活动较好的编码了BCI范式设计的心理任务或外部刺激。较好的可分性或编码是后续获得较高BCI解码精度的基础。值得注意的是,在创新设计BCI范式时需要考虑特定的脑成像技术。
在筛选各种心理任务和外部刺激进行组合时,需要评估各种心理任务组合或外部刺激组合[39]的分类性能,以确定最适合定制BCI的心理任务组合或外部刺激组合。
2)BCI范式任务易于用户执行
有些心理任务容易执行,而另一些则不然,通常选择日常生活和工作中熟练的、自然的任务。要求设计的心理任务尽可能简单,适合用户,为用户认可和接受,甚至喜欢。易于执行的BCI范式任务,可以提高用户对BCI技术的接受度,促进BCI技术转化为实际应用。
3)BCI范式对用户具有安全性
要求BCI范式涉及的脑成像技术对用户是安全的,不危害其身心健康。此外,外部刺激引起用户脑疾病的风险较低,心理任务和外部刺激不易引起用户过度疲劳,以减轻脑力负荷。
4)BCI范式具有良好的用户体验感和舒适度
BCI范式的体验感和舒适度与采集脑信号的传感器的舒适性有关,也与心里任务或外部刺激的体验感和舒适度有关,还与BCI范式下的解码性能(解码的稳定性、准确性和速度)有关,这些影响了用户对BCI的接受度。要求BCI范式具有用户评分较高的体验感和舒适度,可由体验感和舒适度问卷调查表评价。目前已有BCI范式的用户体验感和舒适度不高,用户对BCI的接受度不高。
5)BCI范式任务与BCI控制的任务相一致
在设计BCI范式时,要避免非透明映射,即心理任务和控制命令之间不一致,例如采用左手运动想象对应的指令控制机器人向右移动。非透明映射可能会导致自主意识的改变,从而影响用户在脑-机交互时的表现。为此,在设计BCI范式时,要使心理任务与BCI控制的任务相一致。
6)BCI范式设计适合特定用户的应用需求
在筛选心理任务和外部刺激时,应根据特定的应用需求,设计心理任务组合或者外部刺激组合,心里任务或外部刺激不是越多越好,满足需求即可。如果是运动障碍康复训练,选择相对应肢体的运动想象作为范式合适,如果是实现“YES”或“NO”的简单交流,不宜采用左右手或者肢体运动想象作为心理任务。
7)BCI范式的总体满意度好
BCI范式的用户满意度与多个因素相关,需要综合考虑和评价,以设计对用户友好的BCI范式(用户友好型BCI范式)。这些因素包括上述BCI范式应具有较好的可分性、易于用户执行、对用户安全、良好的用户体验感和舒适度、与BCI控制的任务相一致和适合特定用户的应用需求。
BCI范式对潜在BCI用户是否接受和喜欢使用BCI系统具有重要的影响,为此,需要根据用户的能力特性来设计驱动BCI的心理任务并优化。
3 BCI神经编码的定义与编码模型
在以上阐述的BCI范式定义和设计原则的基础上,下面阐述BCI神经编码的定义和设计原则、BCI神经编码与BCI范式及神经解码的关系、BCI神经编码与脑神经编码及计算机信息编码的关系。
3.1 BCI神经编码的定义
BCI神经编码是指在特定的BCI范式下,把用户不同的意图“写入”或编码进中枢神经信号中,由具有可分性的脑信号特征表征,这种具有编码意图的脑信号可由特定的脑成像技术检测到,最后可由BCI神经解码算法识别用户意图。BCI神经编码过程如图2所示。
图2 BCI神经编码过程示意图
值得注意的是,BCI神经编码与所选择的脑成像技术水平和参数设置紧密相关,如记录ECoG信号的技术水平和硬件设置(包括采样频率和硬件滤波器)会影响可提取的特征类型和可进行的分析[40][41]。
3.2 BCI神经编码的建模原则
BCI神经编码的建模需要考虑特定的BCI范式、脑神经编码机制、不同脑成像技术采集的神经信号特征和高效解码用户意图。
1)在特定的BCI范式下建立神经编码模型。不同的BCI范式,如SSVEP-BCI、P300-BCI、MI-BCI等范式有不同的神经编码模型。
2)根据脑神经编码机制建立BCI神经编码模型。脑神经编码机制表征外部刺激或心理任务与特定神经元或神经元群响应之间的假设关系以及神经元群中神经元的电活动之间的关系[42][43]。可根据脑神经编码机制中的这些关系建立植入式BCI神经编码模型。
3)建立BCI神经编码模型时应考虑不同脑成像技术采集的神经信号的时域、频域和空域特征。由于EEG、fNIRS、fMRI、MEG、ECoG和皮质内LFP或Spikes等脑成像技术的时间和空间分辨率不同,测量的脑活动(中枢神经元的电活动或脑组织的代谢活动)不同。
4)所建的BCI神经编码模型应有利于后续的神经解码。建立BCI神经编码模型的目的是高效解码用户意图。
3.3 BCI神经编码与BCI范式及神经解码的关系
通常先设计BCI范式,然后揭示BCI范式下的神经编码,接着由神经编码规律提取脑信号特征,最后进行神经解码。显然,BCI范式与其神经编码是BCI解码的基础或前提。需要强调的是,在BCI系统中,没有BCI范式就没有相应的神经编码,没有BCI神经编码就没有神经解码,或者没有良好的BCI范式和神经编码就没有高性能的神经解码性能。图3示意了BCI神经编码与BCI范式及神经解码的关系。
图3 BCI神经编码与BCI范式及神经解码的关系示意图
3.4 BCI神经编码与脑神经编码及计算机信息编码的关系
如前所述,脑神经编码是BCI神经编码的基础,其表征外部刺激和心理任务与特定神经元或神经元群响应之间的假设关系以及神经元群中神经元的电活动之间的关系[42][43]。根据感觉和其他信息在大脑中由神经元网络表示的理论,人们认为神经元可以对数字和模拟信息进行编码[44]。计算机信息编码是信息从一种形式或格式转换为另一种形式的过程,可以用来表示事物的关系,它可以用数字、字母、特殊的符号或它们之间的组合来表示,将数据转换为代码或编码字符,并能译为原数据形式。图4示意了脑神经编码与BCI神经编码及计算机信息编码的关系。
图4 BCI神经编码与脑神经编码及计算机信息编码的关系示意图
受图4中脑神经编码模型的启发,可提出BCI神经编码模型,如表2所示,将在3.5-3.11节评述。这些BCI神经编码最终将转化为计算机信息编码,由计算机处理。
3.5 BCI频率/速率编码
皮质内BCI频率/速率编码可以受传统的神经元发放速率编码模型(a traditional rate coding model)启发,在大多数感觉系统中,随着刺激强度的增加,发放速率通常呈非线性增加[45][46]。由于给定刺激产生的动作电位序列因试次而异,通常以统计或概率的方式处理神经元响应。单次试验的尖峰计数率(SCR, Spike-count rate) 可由式(1)计算[46]
其中D_{trial}为一个试次的持续时间,典型值为100 ms或500 ms[46],N_{spikes}为内出现的尖峰数。
在依赖时间的刺激下,与时间相关的发放速率(Time-dependent firing rate,FR_{td})可由式(2)计算[46]
其中,N_{k}为在时间t和t+Δt之间所有重复试次尖峰出现的次数,K为重复试次数,t为相对于刺激序列的开始时间,Δt为时间间隔,通常在一毫秒或几毫秒的范围内。FR_{td}既适用于静止刺激,也适用于依赖时间的刺激,但它不可能是大脑中神经元使用的编码方案[46]。
3.6 BCI时间编码
皮质内BCI时间编码可以受神经编码中的时间编码模型启发[49][50]。神经编码的时间分辨率在毫秒时间尺度上,这表明精确的尖峰时序是神经编码中的一个重要元素[51]。例如,许多生物体能够在毫秒的时间范围内区分刺激(如视觉刺激、听觉刺激、触觉刺激、味觉刺激和嗅觉刺激),这表明时间编码也是感觉系统中起作用的模型[52]。
时间编码可提取的尖峰活动特征有:刺激开始后到第一个尖峰的时间(time-to-first-spike)[53][54]、相对于背景振荡的发放相位(phase-of-firing)、基于尖峰序列中两个连续尖峰之间的峰间间隔(interspike intervals ,ISI)概率分布的二阶和更高阶统计矩(the second and higher statistical moments)的特征[55]、尖峰随机性或精确计时(precisely timed)的尖峰组(时间模式)[47,48,56]。
刺激诱发的尖峰序列或发放速率的时间结构信息由刺激的动态变化/动力学(the dynamics of the stimulus)、刺激的性质(properties of the stimulus)和神经编码过程的性质决定[57]。式(2)中如果FR_{td}随时间缓慢变化,则该编码为速率编码,如果变化迅速,则为时间编码。
3.7 BCI相位编码
皮质内BCI相位编码可以受发放的相位编码启发[59]。发放的相位编码是一种神经编码方案,它将尖峰计数编码与基于低频[57]或高频[58][59]局部持续振荡相位的时间参考( a time reference)相结合,考虑了每个尖峰的时间标签(a time label)。该编码的一个特征是,神经元在一组感觉神经元之间遵循尖峰发放的首选/偏好顺序(a preferred order of spiking),从而产生发放序列[59]。例如,在γ振荡周期内,视觉皮层中每个神经元都有自己首选/偏好的相对发放时间(preferred relative firing time)。
3.8 BCI皮质内神经元群体编码
皮质内BCI神经元群体编码可以受多个神经元的联合活动以表征刺激或心理活动的方法启发。在皮质内BCI神经元群体编码中,每个神经元在某一组输入下都有一个响应分布,可以把许多神经元的响应组合以确定相应的刺激或心理活动。神经元群编码抓住了神经编码的基本特征[60]。
例如,在内侧颞叶(medial temporal,MT)视觉区域,神经元被调制到移动/运动方向(the moving direction)[61]。单个神经元在一个方向上发放速度最快或更慢取决于目标与神经元“首选”方向( the neuron's "preferred" direction)的距离,所有神经元的向量和对运动信号进行编码(群体总体矢量编码(population vector coding))。此外,位置-时间神经元群编码(Place-time population codes)可用于听觉刺激的神经表征。
典型的(神经元)群体编码涉及具有高斯调制曲线的神经元,其平均值随刺激强度线性变化。神经元群中的位置编码可用于编码连续变量,如关节位置、眼睛位置、颜色或声音频率。整个群体比单个神经元的速率编码确保了更高的保真度和精度[62]。
3.9 BCI相关性编码
皮质内BCI相关性编码可以受神经元发放的相关性编码模型(correlation coding model )启发[63]。该模型认为,尖峰序列内(within a spike train)的动作电位或“尖峰”之间的相关性可能会在尖峰的简单时序之外携带额外信息[84][85]。相关性还可以携带两对神经元的平均发放率中不存在的信息[64]。
3.10 BCI稀疏编码
皮质内BCI稀疏编码可以受神经编码中的稀疏编码模型启发,该模型认为每一个刺激或心理活动由一组相对较小的神经元的强烈激活所编码,其不采用所有可用神经元的集合,而是其子集。在BCI解码阶段,可采用稀疏信号表示和处理的算法。
神经元群体中只有少数神经元对给定的刺激做出反应,而每个神经元对所有可能的刺激中只有对少数刺激做出反应,这可能是生物的选择性反应。稀疏分布式记忆的理论研究表明,稀疏编码通过减少表示之间的重叠来增加联想记忆的容量[65]。实验上,在许多系统中观察到感觉信息的稀疏表示,包括视觉[66]、听觉[67]、触觉[68]和嗅觉[69]。
稀疏性可能集中在时间稀疏性上(“相对较少的时间段处于活动状态”),例如运动想象期间所有时间段提取的特征并不是都具有很好的可分性[70];也可能是频率稀疏性(“相对较少的频段处于活动状态”),例如运动想象期间所有频带提取的特征并不是都具有很好的可分性;还可能集中在空间稀疏性上,如激活的神经元群的稀疏性上(“相对较少的神经元群处于活动状态”),或者激活的脑区/脑网络稀疏性上(“相对较少的脑区/脑网络处于活动状态”),例如运动想象期间主要激活的是感觉运动相关脑区或脑网络。
大多数稀疏编码模型基于线性生成模型[71],如式(3)所示[72]。
其中,为k维实数输入向量集,
为n个k维基向量,
为稀疏的n维向量,S_{j}为每个输入向量b_{j}的权重。由式(3)线性方式组合以逼近输入。其他模型基于匹配追踪和字典学习[73-75]。
3.11 BCI混合编码
为了更好或更全面的表征刺激或心理活动与神经响应之间的关系,可以考虑把几种神经编码方法相结合,即采用混合的神经编码方法。为了从神经响应中更准确的解码刺激或心理活动,皮质内BCI混合编码方案可将以上频率/速率编码、时间编码、相位编码、神经元群编码、稀疏编码中的两种及以上的编码方案相结合[27][28]。例如音调或共振峰的过渡轮廓(pitch or formant transition profiles)等全局特征(global features)可以通过速率编码(rate coding)和位置编码(place coding)同时表示[76]。
4 现有主要的BCI范式与神经编码
BCI范式和神经编码与特定的脑成像技术直接相关。现有主要的BCI范式与神经编码模型涉及的脑成像技术包括采集皮质内LFP、ECoG、fNIRS、fMRI、MEG、EEG以及混合脑成像,如表3所示。
4.1 皮质内LFP-BCI范式与神经编码
皮质内电极的包裹对采集单个神经元Spikes有显著影响,但对皮质内LFP没有显著影响[82][83],LFP可望用于对人工装置的长期皮质控制,是由植入皮层的电极尖端附近区域的所有电活动之和组成的低频信号(<250Hz)。
迄今为止,大多数基于LFP的BCI研究采用了一种典型的从中心点出发向外伸手任务范式[79-81],也有研究点对点运动任务[84][85]。研究表明M1神经元编码了运动方向[78]和速度,在手部移动之前 β-LFP振幅有适度的降低,在手部移动过程中HF-LFP频谱振幅有大幅增加。LFP的时域表征可以用于控制计算机光标[77]和运动参数的编码[79][84]。表1给出了现有主要的LFP-BCI范式与神经编码研究实例。
4.2 ECoG-BCI范式与神经编码
ECoG是由放置在硬膜上或硬膜下皮层上的电极记录局部区域大量神经元群体的总体活动,时间分辨率和空间分辨率分别为几毫秒和毫米级(优于MEG和EEG记录)[86][87],受肌肉活动和眼部伪迹的影响较小[88],有极好的信噪比。这些优势有利于编码刺激或心理任务,从而可找到对它们区分性好的潜在脑信号特征,ECoG比较适合BCI。
ECoG-BCI频率编码模型是与特定事件(刺激或心理任务)相关的ECoG功率谱,研究表明选择合适的电极和功率可以编码运动轨迹[110],其时间编码模型是与特定事件锁时(刺激呈现后特定时间)的ECoG原始信号的峰值。已有研究表明,ECoG高频宽带(200–300Hz)功率变化携带了大量关于脑功能的信息,是一种较鲁棒的编码信息[97-99,101,102]。此外,视觉、听觉和感觉等诱发的ECoG电位[90,95,96,109]和ECoG窄带(α、β和γ)功率变化[89,90,93,94,99,100,104-108]可以表征特定的脑区与脑回路功能,它们与高频宽带[92][103]功率变化相结合有时可以提高解码性能。这些编码方法已用于ECoG-BCI。这些编码方法已用于ECoG-BCI。表2列出了现有主要的ECoG-BCI范式与神经编码研究实例。
4.3 fMRI-BCI范式与神经编码
fMRI[111]具有较高的空间分辨率和良好的时间分辨率[112]、较好的鲁棒性和用户友好性、更具个体化的灵活性。fMRI能测量深部脑区结构和活动,绘制功能连接网络图,允许利用杏仁核和腹侧纹状体与BCI神经反馈用于患者[113],已成为绘制神经可塑性的核心技术[114]。
fMRI-BCI空域编码模型利用脑功能的空间定位,在受试者接受外部刺激或有意地执行不同心理活动期间,不同的脑区组合参与其中,从而产生空间上不同的大脑激活模式[116-118,120]。fMRI-BCI时域编码模型能可靠地检测由各种心理活动诱发的单次试验fMRI响应的起始、偏移和持续时间,即为特定意图分配特定的编码时间间隔[118]。fMRI-BCI幅值编码模型利用特定大脑区域内达到的不同fMRI信号水平编码不同意图[115]。fMRI-BCI混合编码模型利用上述信号特征(空域、时域和幅值)组合以进一步增加编码不同信息单元的自由度,或增加诱发的脑激活模式的可区分性,从而最大限度地提高解码精度[119]。这些编码方法已用于fMRI -BCI,表3列出了现有主要的fMRI -BCI范式与编码研究实例。
4.4 fNIRS-BCI范式与神经编码
fNIRS可测量静息态、外界刺激或心理活动期间脑组织的血液动力学响应[20-22],包括氧合血红蛋白(oxy-hemoglobin,HbO)和脱氧血红蛋白(deoxyhemoglobin,HbR)浓度变化,主要优点是良好的便携性,能够容忍受试者头部一定程度的移动,具有良好的生态效应。fNIRS-BCI还可用于促进中风和脊髓损伤等患者的运动功能障碍和/或认知功能障碍康复。
fNIRS-BCI 时域编码模型提取与特定事件(如外部刺激或心理任务)相关的血液动力学反应的时域特征,如 HbO 和 HbR 的平均值、峰值和方差[122,125,126]。fNIRS-BCI 幅值编码模型利用特定脑区的不同 fNIRS 信号水平来编码不同的意图[121][123]。表 4 列出了现有主要的fNIRS -BCI 范式和神经编码方法。
4.5 MEG-BCI范式与神经编码
MEG是一种检测中枢神经元电活动产生的微弱磁场变化的非侵入性神经影像技术[25][26]。该技术的时间分辨率(小于1ms)和空间分辨率(2 - 5μm[127])较高,对肌肉活动产生的伪迹敏感性较低,但其舒适性、美观性和易用性还有待提高。
MEG-BCI时域编码模型由MEG 信号时域波形的峰值以及时间点等信息表征心理活动或外部刺激,其频域编码模型由MEG功率谱特征表征特定事件(心理活动或外部刺激)[128-130]。MEG 信号是复杂的非线性非平稳信号,单一的时域或频域编码模型会丢失一些特征信息,可采用时频编码模型获取信号频率随时间变化的关系[131]。MEG-BCI空域编码模型可采用空间滤波方法对数据降维以区分心理活动或外部刺激[132]。这些编码方法已用于MEG-BCI。表5列出了现有主要的MEG -BCI范式与神经编码研究实例。
4.6 EEG-BCI范式与神经编码
4.6.1 运动想象范式与神经编码
运动想象范式涉及的心理任务包括慢速、非精细、非灵巧动作的想象,快速、精细且高度灵巧动作的想象,单侧肢体的动作想象,多个肢体参与的协调运动或动作,单次运动与重复运动想象,运动学或动力学参数想象等。运动想象范式的神经编码可以采用(1)时域特征编码,如运动相关电位(movement-related potential,MRP)或皮层电位(movement-related cortical potential,MRCP)(运动准备电位、运动监测电位、运动结束后反弹电位);(2)频域特征编码,如μ/β/γ等节律的神经振荡功率变化特征,常用的是(event-related-desynchronization/synchronization, ERD/ERS);(3)空域特征编码,如左右半球的初级运动区、辅助运动区、运动前区等脑激活或脑网络特征。此外,有的运动想象范式的神经编码还有待深入研究。
1)慢速、非精细、非灵巧动作的想象
慢速、非精细和非灵巧的动作通常涉及粗大肢体的动作,这些动作不要求快速、精细的协调或高度灵巧的技巧,相对来说较为简单和缓慢。
慢速动作的速度相对较慢,不需要迅速的反应和高速度的执行。例如,缓慢地行走、漫步、舒缓的伸展运动等都属于慢速动作[136][137]。非精细动作不需要高度的精细协调,也不需要精确地控制细小的肌肉群。相对而言,它们更偏向于整体动作和基本动作。例如,简单的抬手、大步走、简单的舞蹈动作等属于非精细动作[134][135][140]。非灵巧动作不需要高超的技巧或复杂的动作组合。它们更注重动作的简单性和容易实现。例如,平衡简单的物体、简单的伸展和弯曲动作等属于非灵巧动作[133]。
2)快速、精细且高度灵巧动作的想象
快速、精细且高度灵巧的动作通常涉及细小肢体的动作,执行时要求动作快速、准确,需要高度的技巧和协调性的动作。这类动作常常需要经过长期的训练和练习,以达到高超的水平。
快速动作执行的速度较快,要求迅速的反应和动作执行。执行者能够在短时间内迅速做出反应,并以高速度完成动作。精细动作要求高度的精准性和细致性。执行者需要准确地控制动作,包括小肌肉群的协调和细节的精确处理。高度灵巧动作展现出卓越的技巧和灵活性。执行者能够以优雅、灵活的方式完成动作,表现出高超的技艺和动作控制。通常采用植入式采集空间分辨率高的脑信号编解码这类动作,而头皮EEG难以稳定且高精度的编解码这类动作的想象。
3)单侧肢体的动作想象
在日常生活中,一些动作只涉及一侧肢体,而另一侧肢体不参与运动或保持相对静止,如右手或左手食指轻敲动作、手腕内旋或外旋、手腕屈曲或伸展、握拳、拇指与其他手指对捏、手臂伸展等。这些动作训练有利于单侧肢体的力量、平衡和协调性,并有助于提高对称性和运动控制[133,135,139,140]。与不同侧肢体动作想象的识别相比,单侧肢体不同动作想象的识别难度较大,例如偏瘫患者患侧肢体不同动作想象的识别。
4)多个肢体参与的协调运动或动作想象
在日常生活中,协调运动通常涉及多个肢体的协同动作,以在时间和空间上相互配合,从而有效地完成所需的任务。如步行和穿针引线等。这类动作通常需要一定的训练使得肢体之间具有良好的协调性和整体控制能力[137][139]。至少两种肢体参与的协调运动或动作想象的神经编码与解码有待深入研究。
5)单次运动与重复运动想象
单次运动想象BCI范式与重复或连续运动想象BCI范式是不同的,BCI编码也不一样。同步的MI-BCI要求受试者按照研究者设计的时序执行想象任务,通常用于建立分类模型。异步的MI-BCI挑战性很大的,实用性较好,受试者的想象心理活动可以自定节奏,而不是按照研究者设计的时序执行想象任务。
6)运动学或动力学参数想象
肢体的运动学参数包括运动速度、运动轨迹或过程和运动时间,肢体的动力学参数包括运动的驱动力和运动的加速度。如右手食指轻敲的速度(如慢速、中速和快速),伸手和抓握过程、空间导航、握力大小等[142]。与运动学参数想象相比,动力学参数想象编解码的研究相对较少,难度较大。
4.6.2 外部刺激范式与神经编码
1)P300-BCI范式与神经编码
在P300-BCI范式中,目标/靶刺激(小概率的新颖刺激)的概率不超过20%,非目标刺激(概率大的标准刺激)的概率不低于80%。当用户受到目标刺激后220- 500毫秒期间(潜伏期)会诱发一个5-10微伏的正峰值,在中线位置(10/20国际系统中的Pz、Cz和Fz)最为显著,该成分编码或表征了目标刺激。Farwell和Donchin于1988年首次实现视觉P300-BCI拼写器[142],随后P300-BCI范式有许多变种,主要是视觉刺激特性及呈现方式的不同。除了视觉P300-BCI范式外,还有听觉P300-BCI[144][145]、触觉P300-BC[146]等。
虽然P300-BCI 能够提供有效的字符输入,但实用性仍面临着挑战,如系统的在线传输速率较低,难以满足当前实时性需要,离不开外部刺激,与视觉和听觉等注意力绑定在一起,长时间的离线训练易引起用户疲劳等。
2)SSVEP-BCI范式与神经编码
在SSVEP-BCI范式中, 当受试者注视一定闪烁频率(低频段(<12 Hz)、中频段(12~30Hz)和高频段(>30 Hz))和持续时间的视觉刺激时,会诱发出与刺激频率或其高次谐波频率相同的稳定电位成分。SSVEP-BCI范式最早可追溯至1995年的会议报告错误!未找到引用源。,但不是现在常用的范式,现在常用的范式来自于1999年会议报告错误!未找到引用源。。随后SSVEP-BCI范式有许多创新设计,如频率调制结合相位和幅值调制[149][150]。
虽然 SSVEP-BCI 具有较高的性能(特征显著、幅值稳定、抗干扰能力强、信息传输速率高、训练较少、指令集大等),但需要高度准确的眼睛控制[151][152],采用低闪烁频率时可能会导致受试者疲劳[153-155],交互不自然,用户的体验感和满意度依然有待进一步提高。该类BCI本质上必须有闪烁的外部视觉刺激,因此离不开视觉注意,与视觉刺激和注意力绑定在一起。表6列出了现有主要的EEG-BCI范式与神经编码研究实例。
4.7 混合BCI(hBCI)范式与神经编码
混合脑机接口 (hybrid Brain-Computer Interface, hBCI) 旨在提高 BCI 系统的可用性或功效,由BCI系统(主系统)和附加系统(辅助BCI的系统,可以是非外部刺激或非心理任务驱动的系统,也可以是人工智能(Artificial intelligence,AI)系统(如基于深度学习的机器视觉或计算机视觉系统等)等)混合组成,可提高主系统BCI识别目标的精度,增加脑控/其他指令数。如图5所示。
图5混合BCI范式与编码示意图(图上缩写没有写到的要写注)。注:EOG(Electro-oculography):眼电;EMG(Electromyogram):肌电;ECG(Electrocardiograph):心电;
由图5可知,主系统的BCI范式可由不同的外部刺激组合,或者由不同的心理任务组合,还可以由不同的外部刺激与心理任务组合。例如,P300范式可由视觉、听觉、触觉或嗅觉等刺激按照Oddball范式设计,并且P300范式、SSVEP范式、动觉想象范式三者可相互结合。主系统的BCI范式可诱发大脑活动相关的电磁或代谢活动信号,这些脑信号中的多种脑活动模式可以编码外部刺激和心理任务。附加系统中的眼动、运动或心跳等非外部刺激和心理任务可由其他非脑活动生理信号模式表征。附加系统中的AI系统可以提升主系统BCI的智能程度或自动化程度。
5 BCI范式与神经编码面临的挑战及未来的研究方向
迄今为止,现有几种BCI范式与神经编码存在局限性,阻碍了BCI的转化应用,为此,BCI范式与神经编码的创新设计和完善是BCI系统研发的关键任务之一。
5.1 以用户为中心设计和评价BCI范式与神经编码
BCI的最终使用者是用户,同时用户本身是驱动BCI的信号源(中枢神经系统)。用户是BCI系统必不可少的最复杂、最活跃、高度自适应的子系统。因此,BCI系统是最典型的人在环路的系统(人脑与机器直接相连或耦合,是脑机直接交互的闭环系统),BCI范式与编码的设计和评价(可用性和满意度)需要以用户为中心,考虑BCI人因工程[29]。
BCI范式及神经编码与用户的感知觉、表象、注意、认知或思维等心理活动或任务的神经机制紧密相关[32]。BCI系统的性能(有效性和效率等)与用户的心理活动紧密相关,如运动想象BCI系统的性能在很大程度上取决于用户执行运动想象的效果或能力[31][36]。
值得注意的是,为评价2.2节提出的 BCI范式设计的第一个原则 “BCI范式任务诱发的中枢神经信号应具有较好的可分性”,任何创新设计的BCI范式与神经编码模型,通常需要离线数据分析并建立模型,最终必须通过在线BCI系统的神经解码验证和评价。
5.2 变革传统的BCI范式
从通信原理与技术角度看,BCI范式类似于一种编码协议,即通过特定的外部刺激或心理任务将大脑意图编码到神经活动产生的信号中。
迄今为止,BCI研发已有50余年,然而现有BCI范式局限性较大,转化面临极大的挑战,需要大幅改进、甚至变革或突破传统经典的BCI范式(如SSVEP-BCI、P300-BCI、MI-BCI等),增加新的更自然更有效交互的BCI范式。最近几年,BCI范式的创新取得了许多重要进展[15][16] [17]。
(1)言语BCI范式
言语是人类主要的交流方式,言语BCI范式是一种比较自然的BCI范式。言语BCI具有解码试图言语引发的神经活动为文本或声音的潜力,从而有望为瘫痪患者恢复快速的交流[15] [17]。
(2)手写想象输入文本BCI范式
到目前为止,BCI研究的一个主要重点是恢复粗大肢体的运动技能,例如伸手和抓握-或用计算机光标点击打字。Francis R. Willett等人研发了一种皮层内脑机接口,通过运动皮层手结区的神经活动解码尝试的手写动作,并采用递归神经网络解码方法将运动皮层的神经活动实时翻译成文本[16]。
5.3 突破现有的脑信号采集技术
BCI范式与神经编码优劣与脑信号采集技术水平直接相关,需要脑信号采集技术有新突破。如何获取脑信号对于BCI范式与神经编码至关重要,关乎所获取信号的质量和最终的BCI控制效果。随着微纳加工技术和电极材料不断发展,用于侵入式BCI的电极趋向于柔性、小型化、高通量和集成化发展。目前基于水凝胶的脑电电极的研发较为活跃[156]、立体定向脑电(sEEG)[157]、耳内脑电电极[158]也取得积极进展。与此同时,微创血管支架电极采集技术[159][160]、微创颅骨局部电改性方法[161]等方案相继被提出,创新脑信号采集方式。
5.4 BCI技术与先进的AI技术相结合提升脑信号解码性能
目前,经典的机器学习在BCI神经解码中仍然具有优势,但深度学习也有潜力提升BCI的解码性能。Francis R. Willett等人(2021)、Sean L. Metzger等人(2023)和Francis R. Willett等人(2023)在他们解码脑信号中,引入了合适的深度学习算法,这些研究表明BCI技术与先进的AI技术相结合,有望大幅提升脑信号解码性能[15][16] [17]。图6示意了把AI引入BCI中,以提高BCI的智能,促进BCI临床转化应用。
图6把AI引入BCI中,以提高BCI的智能,促进BCI临床转化应用
6 结束语
在BCI技术系统中,BCI范式与神经编码是BCI研发的关键和重要内容之一。本文较为系统明确的给出了BCI范式的定义和7条设计原则,以及BCI神经编码的定义与编码模型,包括BCI频率/速率编码、时间编码、相位编码、皮质内神经元群体编码、相关性编码、稀疏编码以及混合编码模型。介绍了现有主要的BCI范式与神经编码,包括皮质内LFP-BCI、ECoG-BCI、fNIRS-BCI、fMRI-BCI、MEG-BCI、EEG-BCI以及混合BCI的范式与神经编码。最后讨论了以用户为中心设计和评价BCI范式与神经编码、变革传统的BCI范式、突破现有的脑信号采集技术和BCI技术与先进的AI技术相结合提升脑信号解码性能。可望本文为BCI范式与神经编码的创新研发提供启发。
专栏作者 杨艺 主任医师 首都医科大学附属北京天坛医院 主任医师,国家神经疾病医学中心脑机接口转化研究中心执行副主任。北京大学八年制医学博士,英国牛津大学Nuffield临床神经科学中心访问学者。北京脑科学与类脑研究中心青年学者,北京市科技新星。 聚焦于意识障碍疾病的系统诊断、预后预测和神经调控治疗,以及脑机接口新型技术的临床应用研究。2022年作为项目负责人获批“科技创新2030脑科学与类脑研究”青年项目“意识障碍的闭环神经调控治疗”。 更多精彩内容 请关注作者
点击或扫描上方二维码,查看更多“功能”内容