2019年04月26日
通過解碼大腦活動提升語音的清晰度，使用深度學(xué)習(xí)方法直接從大腦信號中產(chǎn)生口語句子，達(dá)到150個單詞，接近正常人水平。
大腦活動能夠解碼成語音了。
說話似乎是一項毫不費力的活動，但它其實是人類最復(fù)雜的動作之一。說話需要精確、動態(tài)地協(xié)調(diào)聲道發(fā)音器官結(jié)構(gòu)中的肌肉——嘴唇、舌頭、喉部和下頜。當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語中斷時，喪失說話能力可能是毀滅性的。
來自加州大學(xué)舊金山分校的科學(xué)家創(chuàng)造了更接近能夠恢復(fù)說話功能的腦機(jī)接口(brain–computer interface,BCI)。
腦機(jī)接口旨在幫助癱瘓患者直接從大腦中“讀取”他們的意圖，并利用這些信息控制外部設(shè)備或移動癱瘓的肢體，這項技術(shù)目前能夠使癱瘓的人每分鐘最多能打出8個單詞，而加州大學(xué)舊金山分享的研究人員開發(fā)了一種方法，使用深度學(xué)習(xí)方法直接從大腦信號中產(chǎn)生口語句子，達(dá)到150個單詞，接近正常人水平！
這項研究發(fā)表在最新一期《自然》雜志上，作者為Anumanchipalli以及華裔科學(xué)家Edward Chang等人。
ECoG電極陣列由記錄大腦活動的顱內(nèi)電極組成
此次招募的五名志愿者同意測試虛擬語音發(fā)生器。每個患者都植入了一兩個電極陣列：圖章大小的、包含幾百個微電極的小墊，放置在大腦表面。
實驗要求參與者背誦幾百個句子，電極會記錄運動皮層中神經(jīng)元的放電模式。研究人員將這些模式與患者在自然說話時嘴唇，舌頭，喉部和下頜的微小運動聯(lián)系起來。然后將這些動作翻譯成口語化的句子。
圖1：語音合成的腦機(jī)接口
在上圖A中，以前的語音合成研究采用的方法是使用腦電圖（ECoG）設(shè)備監(jiān)測大腦語音相關(guān)區(qū)域的神經(jīng)信號，并嘗試將這些信號直接解碼合成語音，使用一種稱為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的人工神經(jīng)網(wǎng)絡(luò)；
上圖B中，Anumanchipalli等人開發(fā)了一種不同的方法，RNN被用于兩階段解碼。其中一個解碼步驟是將神經(jīng)信號轉(zhuǎn)換成聲道發(fā)聲器官(紅色)的預(yù)估運動，涉及到語音生成的解剖結(jié)構(gòu)(嘴唇、舌頭、喉部和下頜)。為了在第一個解碼步驟中進(jìn)行訓(xùn)練，作者需要每個人的聲道運動與他們的神經(jīng)活動關(guān)聯(lián)起來的數(shù)據(jù)。
因為無法直接測量每個人的聲道運動，Anumanchipalli等人構(gòu)建了一個RNN來預(yù)估這些運動，其訓(xùn)練數(shù)據(jù)是之前收集的大量聲道運動數(shù)據(jù)和語音錄音。
這個RNN產(chǎn)生的聲道運動估計足以訓(xùn)練第一個解碼器。第二個解碼步驟將這些估計的動作轉(zhuǎn)換成合成語音。Anumanchipalli和他的同事的兩步解碼方法產(chǎn)生的口語句子的失真率明顯低于直接解碼方法獲得的句子。
基于神經(jīng)解碼的無聲模仿語音合成
值得注意的是，在首次對腦機(jī)接口進(jìn)行概念驗證研究以控制健康動物的手臂和手的運動之后，人們對這種腦機(jī)接口在癱瘓患者身上的適用性提出了類似的問題。隨后的臨床試驗令人信服地證明，使用腦機(jī)接口，人類可以快速交流、控制機(jī)械臂、恢復(fù)癱瘓肢體的感覺和運動等。
最后，這些令人信服的概念驗證證明了不能說話的個體也能實現(xiàn)語音合成，結(jié)合腦機(jī)接口在上肢癱瘓患者中的快速進(jìn)展，研究人員認(rèn)為應(yīng)該大力考慮涉及言語障礙患者的臨床研究。
隨著持續(xù)的進(jìn)步，希望更多有語言障礙的人能夠重新獲得自由表達(dá)思想的能力，并重新與周圍的世界聯(lián)系起來。
華裔科學(xué)家解碼，馬斯克腦機(jī)接口公司也會有新動作
Nature這篇文章的作者之一是加州大學(xué)舊金山分校神經(jīng)外科教授Edward Chang博士。
研究人員將他們的系統(tǒng)稱為“縫紉機(jī)”（sewing machine），科學(xué)家在實驗室中移除一塊老鼠的頭骨并插入一根針頭，將柔性電極送入老鼠的腦組織。
本周三，當(dāng)Twitter用戶詢問Neurink的進(jìn)展時，馬斯克說，“可能會在幾個月內(nèi)宣布一些值得注意的事情?！?/p>
馬斯克認(rèn)為，腦機(jī)接口技術(shù)能在2021年之前治療嚴(yán)重的腦損傷。此外，科學(xué)可以通過腦機(jī)接口擴(kuò)大人類的能力。他舉了一個例子：人們可以通過心靈感應(yīng)來傳達(dá)復(fù)雜的概念，“你不需要用語言表達(dá)”。
人類是否有一天會與機(jī)器合并？馬斯克認(rèn)為，人類已經(jīng)在某種程度上做到了這一點，因為智能手機(jī)等近乎無所不在的技術(shù)，因此腦機(jī)接口這項工作應(yīng)該繼續(xù)下去。
這可能會導(dǎo)致科幻未來，因為人們可以在腦海中下載外語，你覺得呢？
咨詢熱線
18611170056
官方微信
返回頂部
