中國(guó)科學(xué)院在腦機(jī)接口漢語(yǔ)解碼方面取得進(jìn)展

語(yǔ)言是人類(lèi)思維的媒介，是人與人之間溝通的主要形式，腦卒中、腦腫瘤、腦脊髓外傷、肌萎縮性脊髓側(cè)索硬化癥（又稱“漸凍癥”）等重大腦疾病可能造成語(yǔ)言功能障礙，我國(guó)約有800萬(wàn)病人因這些疾病而失去語(yǔ)言能力。國(guó)際上應(yīng)用腦機(jī)接口技術(shù)已實(shí)現(xiàn)英語(yǔ)、西班牙語(yǔ)等西方語(yǔ)言合成。漢語(yǔ)作為世界上使用人口最多的語(yǔ)言，在聽(tīng)說(shuō)讀寫(xiě)各方面具有特殊性。如何針對(duì)漢語(yǔ)言神經(jīng)編解碼機(jī)制的特異性實(shí)現(xiàn)漢語(yǔ)合成是當(dāng)前漢語(yǔ)言腦機(jī)接口重大挑戰(zhàn)。

最新研究成果

近日，中國(guó)科學(xué)院上海微系統(tǒng)所傳感器技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室周志濤研究員團(tuán)隊(duì)與復(fù)旦大學(xué)附屬華山醫(yī)院吳勁松主任醫(yī)師團(tuán)隊(duì)、上海腦虎科技有限公司陶虎研究員團(tuán)隊(duì)合作，于國(guó)際上首次實(shí)現(xiàn)腦機(jī)接口實(shí)時(shí)漢語(yǔ)解碼和語(yǔ)句合成。項(xiàng)目團(tuán)隊(duì)針對(duì)漢語(yǔ)解碼開(kāi)發(fā)了256導(dǎo)高通量柔性腦機(jī)接口和實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)解碼算法，利用該系統(tǒng)，受試者訓(xùn)練九天后，394個(gè)漢語(yǔ)音節(jié)（漢語(yǔ)音節(jié)總共400個(gè)左右，解碼未覆蓋音節(jié)為生僻音節(jié)且受試者不認(rèn)識(shí)）純神經(jīng)解碼平均準(zhǔn)確率71.2%，單音節(jié)解碼延時(shí)65 ms，實(shí)時(shí)漢語(yǔ)語(yǔ)句解碼速率49.6字/分鐘。相關(guān)研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”為題，發(fā)表在《科學(xué)·進(jìn)展》（Science Advances）上，并被Science著專文報(bào)道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease”

關(guān)鍵技術(shù)

研究團(tuán)隊(duì)選取了一位語(yǔ)言區(qū)占位的腫瘤癲癇患者作為研究參與者，在幫助患者定位癲癇病灶的同時(shí)進(jìn)行語(yǔ)言解碼任務(wù)。植入電極覆蓋了顳中回、顳上回及腹側(cè)感覺(jué)運(yùn)動(dòng)皮層等語(yǔ)言解碼相關(guān)腦區(qū)，實(shí)現(xiàn)了對(duì)漢語(yǔ)單字與句子任務(wù)下高通量神經(jīng)信號(hào)的高質(zhì)量記錄。通過(guò)構(gòu)建多級(jí)實(shí)時(shí)解碼數(shù)據(jù)流，以50毫秒滑窗精準(zhǔn)提取High-γ頻段（70-170 Hz）活動(dòng)，對(duì)齊神經(jīng)信號(hào)與語(yǔ)音起始點(diǎn)，并驅(qū)動(dòng)雙流解碼器同步生成音節(jié)與聲調(diào)概率分布，最終融合語(yǔ)言模型進(jìn)行束搜索，實(shí)現(xiàn)了實(shí)時(shí)輸出漢語(yǔ)語(yǔ)句。基于實(shí)時(shí)漢語(yǔ)解碼技術(shù)，結(jié)合自主研發(fā)的通用型腦機(jī)操作系統(tǒng)，受試者實(shí)現(xiàn)了驅(qū)動(dòng)數(shù)字分身、對(duì)話人工智能大模型，并能將人的腦電解碼成語(yǔ)言進(jìn)而轉(zhuǎn)化成指令實(shí)時(shí)操控靈巧手實(shí)現(xiàn)人機(jī)交互。

實(shí)時(shí)漢語(yǔ)解碼腦機(jī)接口系統(tǒng)框架和電極貢獻(xiàn)度表征

論文第一作者為華山醫(yī)院博士生錢(qián)友坤和上海微系統(tǒng)所博士后劉昶江，通訊作者為華山醫(yī)院吳勁松主任醫(yī)師和上海微系統(tǒng)所周志濤研究員。該研究工作得到了中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)優(yōu)秀會(huì)員（Y2023070）、上海市科技創(chuàng)新行動(dòng)計(jì)劃腦機(jī)接口項(xiàng)目（24DP3200100）、復(fù)旦大學(xué)人工智能專項(xiàng)基金（IDF151075）、上海市白玉蘭浦江計(jì)劃（24PJD134）等項(xiàng)目的支持。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.adz9968