Facebook腦機革命來了！第一次，腦機接口可以實時讀取人類語言了

全球創新論壇 2019-08-01 15:11 搶發第一評

馬斯克的腦機接口新突破公布沒多久，Facebook的腦機革命又邁出重要一步。Facebook與加利福尼亞大學舊金山分校華裔教授團隊合作，已打造一個腦機接口，可以實時從大腦信號解碼問答對話。這是全球首個實時解碼大腦信號的問答語音的項目，或可用到增強現實眼鏡中。

? ? ? ? ? ? ? ? ?

來源：機器之心（ID：almosthuman2014）

“今天我們分享的新工作有關構建非侵入式可穿戴設備，讓人們只需通過想象要說的話即可完成『打字』動作，”Facebook 副總裁 Andrew Bosworth 表示。“這一進展顯示了未來 AR 頭戴設備輸入和互動能力的新潛力。“

這項研究證明了人們在對話時大腦產生的活動可以實時解碼為電腦屏幕上的文字——而在此之前，這樣的工作都是離線完成的，實時「翻譯」文字是腦機接口研究領域的第一次。研究人員表示，他們的算法目前為止還只能識別一小部分單詞和短語，但正在進行的工作旨在翻譯更多詞匯，并大幅降低識別錯誤率。

這一研究的主要作者，加州大學舊金山分校副教授 Edward F. Chang 和他的博士后 David A. Moses。

新研究展示的可能性或許離我們還很遙遠，Facebook 在隨后發布的官方博客中表示：「這可能還需要十年時間……但我們認為可以縮小這個差距?！?/span>

Facebook 與 UCSF 的研究致力于通過實時檢測大腦活動中的預期語音來幫助神經損傷的病人能像正常人一樣交流。有趣的是，與很多檢測大腦神經電流的方法不同，Facebook 與 UCSF 正在探索的策略是使用脈搏血氧儀，檢測神經元的氧氣消耗，從而檢測大腦活動。這種間接、非入侵式的方法看起來安全很多。

2017 年，Facebook Reality Lab 腦機接口項目的研究主管 Mark Chevillet 給了自己兩年的時間，證明利用非侵入式技術從人類大腦中每分鐘讀取 100 個單詞的可行性。

兩年過去了，結果也已經出來：「承諾言猶在耳，」Chevillet 表示，「我們確實認為這是可行的?！顾媱澙^續推進該計劃。該團隊的最終目標是開發一種無需大聲說話就能控制的 AR 頭戴設備。

加州大學舊金山分校的神經外科醫生 Edward Chang 是作者之一，他表示，該結果是邁向神經植入物的重要一步，可以幫助因中風、脊髓損傷等失去說話能力的人恢復正常交流。今年四月，Chang 的團隊打造了一個不同的腦機接口，可以直接從大腦信號中解碼語音。

提高解碼準確性的法寶：添加語境

此次公布的這項工作的目標是提高解碼大腦活動的準確性。研究者表示，他們正在解碼來自大腦兩個不同部位的兩種信息，并將它們作為語境，結果對解碼的準確性產生了相當大的影響。

解碼準確性的提升基于一個簡單的概念：添加語境。利用植入三名癲癇患者腦部的電極，研究者記錄下他們在聽一組錄音問題時的腦部活動，并讓他們把自己聽到的東西大聲說出來。

然后，他們利用這些大腦數據來訓練機器學習算法。然后，當參與者再次被要求對問題作出回應時，算法僅利用腦部活動來判斷參與者是否在聽或說，然后嘗試解碼這些語音。

多數語音解碼器的工作原理是猜測人想要說出什么話，因此常規的大腦解碼器可能會被「synthesizer」（合成器）、「fertilizer」（肥料）這種發音相似的詞搞混。

但本文提到的新系統加入了語境來區分這些容易混淆的內容。首先，該算法從一組已知的問題中預測聽到的問題，如「你在田里撒了什么？」。然后將該信息作為語境來幫助預測答案：「肥料」。

問（藍色）答（紅色）任務中實時語音解碼原理圖。

Chang 表示，通過添加語境，腦機接口預測答案會更加容易。借助于一組受限制的特定問答，該系統能夠解碼感知到（聽到）和生成（口語）的語音，準確率分別達到 76% 和 61%。但團隊希望將來可以擴大系統的詞匯量。

他還表示，算法效果越好，計算機速度越快，解碼速度也會越快。過去需要花費數周甚至數月時間進行脫機處理的內容現在可以實時完成了。

Facebook vs. Neuralink：兩條不同的腦機接口路線

Facebook 此次低調發布腦機接口新突破與前不久馬斯克高調公布其腦機接口公司 Neuralink 新進展形成了鮮明對比。

Neuralink 發布的腦機接口「縫紉機」。

與馬斯克的侵入式腦機接口不同，Facebook 想要制造一種借助于紅外光從外部接收大腦信號的 AR 頭戴設備（相關技術細節的描述參閱 Facebook 博客），而 Neuralink 正開發包含 3000 個柔性電極的可植入陣列，以增強腦功能。

這兩種不同的開發模式似乎昭示著兩家公司展開競爭，從而能夠率先提供能夠解碼腦活動的商用腦機接口。但是，達成這一目標可能是一個緩慢發展的過程，并不能一蹴而就。

Chevillet 對此表示：「由于這項技術依然處于早期研究階段，所以我們并沒有任何實際的產品規劃?！?/span>

與此同時，Chang 希望可以盡快為那些無法開口講話的病人帶來有意義的改變。截至目前，團隊所有工作都是與那些能夠開口講話的志愿者一道完成的。所以，團隊將花費一年時間對那些語言能力缺失的單一研究參與者們展開研究，以在電腦屏幕上生成相關文本。

所有數據將由加州大學舊金山分校收集，并存儲在學校服務器中，施以嚴格保密。同時，與 Facebook 合作獲得的所有研究成果將進行發表，并向學界開放。Chang 強調稱：「我希望這不僅有益于我們正在從事的研究，還將使整個領域獲益?！?/span>

華裔教授團隊

這項研究的大部分工作是在 UCSF 完成的，美國加州大學舊金山分校華裔科學家 Edward F. Chang 的團隊近年來因為腦機接口的研究而被人們所熟知。今年 4 月，該團隊使用人工智能識別大腦電信號并將其輸出為合成語音的工作登上了《自然》雜志。

Edward Chang 教授。

Edward Chang 是加州大學舊金山分校的神經外科和生理學副教授。他的研究方向主要是人類語言、運動和認知的大腦活動機制。他還是加州大學伯克利分校和加州大學舊金山分校的神經工程與義肢中心的聯合負責人。

今天發表的研究結果是加州大學舊金山分校大型研究項目 Project Steno 的一部分。據介紹，Project Steno 的最后階段將涉及為期一年的研究，以確定人類能否利用大腦活動來恢復殘疾人的交流能力。除了提供資金外，一小組 Facebook 研究人員正在與 Chang 和他的實驗室直接合作，以提供工程支持。

增強現實技術的愿景是讓人與人、人與世界無縫連接起來，讓我們可以在交流的同時無需將目光轉向手機屏幕，這將會是一種頗具未來感的方式。不久之后，從大腦實時讀取文字信息的技術或許就會出現在我們的生活中。

參考內容：

https://spectrum.ieee.org/the-human-os/biomedical/devices/brain-implant-decodes-dialogue-from-neural-activity

https://www.nature.com/articles/s41467-019-10994-4

https://tech.fb.com/imagining-a-new-interface-hands-free-communication-without-saying-a-word/

你可能還想看：

地球上最黑暗的秘密

中國互聯網公司虧損能力排行榜

清華大學教授吳國盛：一個喪失自由維度的民族和文化，不可能真正擁有科學精神

北大教授吐槽反人類設計！我們的城市建設，簡直讓人寸步難行！

在越南淘金的中國人

垃圾分類背后的數據和真相