2024年11月04日发布 | 1100阅读

【中国声音】植入式语言脑机接口新进展:华山医院/上科大联合团队实现从 “意念”到汉语语句的解码

吴劲松

复旦大学附属华山医院

路俊锋

复旦大学附属华山医院

李远宁

上海科技大学

张道涵

复旦大学附属华山医院

王振杰

上海科技大学

钱友坤

复旦大学附属华山医院

达人收藏、周刊收录2项荣誉

近日,复旦大学附属华山医院吴劲松/路俊锋团队联合上海科技大学李远宁团队Cell子刊《Cell Reports》杂志在线发表题为“A brain-to-text framework for decoding natural tonal sentences”(一种解码自然声调语言的脑-文本架构》)的研究论文。项目团队在前期揭示汉语声调编码机制(Nat Commun, 2023)和解码单音节声调语音(Sci Adv, 2023)(推荐阅读:汉语言脑机接口新突破:复旦/上科大/天大联合团队从“意念”合成汉语语音)的基础上,进一步搭建了汉语语句的解码算法架构,将汉语脑机接口从“字”拓展至“句”的层面,首次实现从“意念”到汉语语句文本的解码。




语言是人类沟通的桥梁,更是人类所特有的高级认知功能。脑脊髓外伤、渐冻症等各类神经疾病可使患者丧失语言表达能力,造成严重语言功能障碍,极大影响患者的生活质量,给社会和家庭造成巨大负担。实现大脑的“意念”解码(语言脑机接口),有望帮助失去语言表达能力的患者恢复沟通能力。国际上已初步实现了英语自然语句的解码和合成。然而,汉语作为世界上编码效率最高的语言,除了声调的特殊性,还具有单音节成字、连读变调等特殊性。由于英语解码的算法模型无法直接应用于汉语的解码,因此,如何实现汉语自然语句解码仍然处于空白。


为了建立汉语自然语句解码的语言脑机接口,研究团队使用了一个覆盖汉语约25%高频音节的封闭语料库,受试者朗读基于该语料库构建的汉语句子,同时采用颅内高密度皮层脑电(High density ECoG)记录大脑构音语言区的神经活动。研究者通过深度学习算法对颅内脑电进行端到端解码,构建了三个基于CNN-RNN深度学习解码模块。首先采用神经信号侦测连续语句中的言语运动起始点,随后采用多流模型设计,分别解码表征声调及汉语单音节构音的神经活动,结合预训练的n-gram语言模型与维特比算法,最终将皮层神经信号直接转换成连续的汉语句子文本。单受试者最高声调解码正确率达到95%,单字解码准确率达88%,字误率仅为14%。而在5名不同年龄、性别、教育程度、方言背景的受试者中,平均声调分类准确度亦达93%,单字解码准确率达82%,字误率为21%,提示该算法模型具有较高的跨被试稳定性与可推广性。与此同时,研究团队还实现了 “耳语音” (whisper)状态下的汉语句子解码,进一步验证了该模型未来用于帮助失语患者重建汉语语句表达的可行性。



这项工作首次实现了大脑神经活动-汉语语句的端到端解码,通过在腹侧感觉运动皮层记录高密度皮质脑电信号,结合多流深度神经网络解码器和语言模型, 解决了汉语自然语句中音节结构和声调变化对“意念”解码带来的挑战, 展示了汉语等声调语言脑机接口的可行性。


复旦大学附属华山医院路俊锋副主任医师、上海科技大学李远宁研究员为论文的通讯作者,复旦大学附属华山医院神经外科八年制本科生张道涵、上海科技大学生物医学工程学院博士生王振杰及复旦大学附属华山医院神经外科博士生钱友坤为论文的共同第一作者。本研究得到了国家科技创新2030-“脑科学与类脑研究”重大项目(青年)、国家自然科学基金面上项目以及上海市教育委员会科研创新计划重大项目、上海市浦江人才等支持。

过去10年间,华山医院吴劲松教授带领的语言研究团队在周良辅院士和毛颖院长的指导下一直致力于大脑语言“机制—定位—保护—康复—重建”全链条脑功能保护体系的建立,通过唤醒手术和多种语言定位方法的创新(Wu et al., HBM, 2015; Wu et al., Brain, 2015; Lu et al., Brain, 2021; Zhao et al., Brain, 2021, Zhao et al., JNS, 2023), 使语言区病灶的术后远期失语率降低至5%以下,达到国际先进水平。与此同时,依托高密度颅内皮层脑电平台,与美国UCSF Edward Chang团队、上科大李远宁教授团队、深圳神经科学研究院谭力海教授等团队开展语言神经机制和脑机接口相关研究,先后揭示了汉语额下回句法与语义的分离(Zhu et al., Nat Hum Behav, 2022)、汉语声调感知与产生的神经机制(Li et al., Nat Commun, 2021; Lu et al., Nat Commun, 2023; Li et al, Nat Neurosci, 2023),并利用颅内脑电实现了单音节声调汉语语言的解码和语音合成(Liu et al., Sci Adv, 2023)。本研究(Zhang et al., Cell Rep)在上述研究的基础上进一步将汉语脑机接口拓展至自然语句。


通讯作者简介


吴劲松 教授

复旦大学附属华山医院

● 医学博士,主任医师

● 复旦大学教授,复旦大学博士研究生导师,上海市卫生系统优秀学科带头人

● 复旦大学附属华山医院神经外科副主任(科研)

● 复旦大学神经外科研究所副所长

● 复旦大学附属华山医院生物样本库主任

● 国家神经疾病医学中心脑胶质瘤专业组长

● 复旦大学附属华山医院伦理委员会委员

● 上海市抗癌协会常务理事,兼神经肿瘤专业委员会主任委员

● 中国抗癌协会神经肿瘤专业委员会副主任委员,兼脑胶质瘤学组组长

● 中国神经科学学会脑机接口与交互分会副主任委员

● 中国研究型医院学会精准神经外科委员会副主任委员

● 中国抗癌协会肿瘤样本整合研究分会常务委员

● 上海市神经科学学会常务理事

● ASNO科学委员会主席

● 上海市政协委员(科技界别)

路俊锋 副主任医师

复旦大学附属华山医院

● 复旦大学附属华山医院副主任医师、研究员、博士生导师 

● 入选国家级青年人才 、国家脑计划重大项目青年科学家

● 复旦大学神经外科研究所神经电生理室主任、脑功能实验室副主任 

● 中国研究型医院学会神经再生修复专委会脑机接口学组副组长 

● 中国研究型医院学会神经电生理专委会委员 

● 上海市神经科学学会理事 

● 美国加州大学旧金山分校(UCSF)访问学者

● 第六届全国胶质瘤手术比赛第一名

● 相关工作第一或通讯发表在Nature Human Behaviour、Nature Communications、Science Advances、Cell Reports、Brain、Journal of Neurosurgery等杂志

李远宁 研究员

上海科技大学

● 上海科技大学,研究员、助理教授、博士生导师

● 计算认知与转化神经科学实验室主任

● 卡内基梅隆大学神经计算与机器学习博士,加州大学旧金山分校神经外科博士后

● 曾获NIH 神经科学杰出学者奖、国家高层次人才(海外)、上海市领军人才(海外)、上海市浦江人才

● 代表性成果发表在Nature Neuroscience、 Nature Communications、Science Bulletin、PNAS等期刊



END

声明:脑医汇旗下神外资讯、神介资讯、神内资讯、脑医咨询、Ai Brain 所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。

投稿邮箱:NAOYIHUI@163.com 

未经许可,禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用,亦须注明来源。欢迎转发、分享。

最新评论
发表你的评论
发表你的评论
来自于专栏
关键词搜索