中國科學院在腦機接口漢語解碼方面取得進展

語言是人類思維的媒介，是人與人之間溝通的主要形式，腦卒中、腦腫瘤、腦脊髓外傷、肌萎縮性脊髓側索硬化癥（又稱“漸凍癥”）等重大腦疾病可能造成語言功能障礙，我國約有800萬病人因這些疾病而失去語言能力。國際上應用腦機接口技術已實現英語、西班牙語等西方語言合成。漢語作為世界上使用人口最多的語言，在聽說讀寫各方面具有特殊性。如何針對漢語言神經編解碼機制的特異性實現漢語合成是當前漢語言腦機接口重大挑戰。

最新研究成果

近日，中國科學院上海微系統所傳感器技術全國重點實驗室周志濤研究員團隊與復旦大學附屬華山醫院吳勁松主任醫師團隊、上海腦虎科技有限公司陶虎研究員團隊合作，于國際上首次實現腦機接口實時漢語解碼和語句合成。項目團隊針對漢語解碼開發了256導高通量柔性腦機接口和實時神經網絡解碼算法，利用該系統，受試者訓練九天后，394個漢語音節（漢語音節總共400個左右，解碼未覆蓋音節為生僻音節且受試者不認識）純神經解碼平均準確率71.2%，單音節解碼延時65 ms，實時漢語語句解碼速率49.6字/分鐘。相關研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”為題，發表在《科學·進展》（Science Advances）上，并被Science著專文報道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease”

關鍵技術

研究團隊選取了一位語言區占位的腫瘤癲癇患者作為研究參與者，在幫助患者定位癲癇病灶的同時進行語言解碼任務。植入電極覆蓋了顳中回、顳上回及腹側感覺運動皮層等語言解碼相關腦區，實現了對漢語單字與句子任務下高通量神經信號的高質量記錄。通過構建多級實時解碼數據流，以50毫秒滑窗精準提取High-γ頻段（70-170 Hz）活動，對齊神經信號與語音起始點，并驅動雙流解碼器同步生成音節與聲調概率分布，最終融合語言模型進行束搜索，實現了實時輸出漢語語句。基于實時漢語解碼技術，結合自主研發的通用型腦機操作系統，受試者實現了驅動數字分身、對話人工智能大模型，并能將人的腦電解碼成語言進而轉化成指令實時操控靈巧手實現人機交互。

實時漢語解碼腦機接口系統框架和電極貢獻度表征

論文第一作者為華山醫院博士生錢友坤和上海微系統所博士后劉昶江，通訊作者為華山醫院吳勁松主任醫師和上海微系統所周志濤研究員。該研究工作得到了中國科學院青年創新促進會優秀會員（Y2023070）、上海市科技創新行動計劃腦機接口項目（24DP3200100）、復旦大學人工智能專項基金（IDF151075）、上海市白玉蘭浦江計劃（24PJD134）等項目的支持。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.adz9968