方向對了？MIT新研究：GPT-3和人類大腦處理語言的方式驚人相似

2021-11-07 17:26

來源：澎湃新聞·澎湃號·湃客

機器之心報道

機器之心編輯部

「人工智能網(wǎng)絡并沒有試圖直接模仿大腦，然而最終看起來像大腦一樣，這在某種意義上表明，人工智能和自然之間發(fā)生了某種趨同演化?！?/p>

計算機擅長理解結構化數(shù)據(jù)，讓計算機去理解主要以文化習慣沉淀下來的人類語言是一件困難的事。不過在 AI 的重要方向，自然語言處理（NLP）領域中，人們經(jīng)過多年的實踐找到了一些方法。

在目前流行的 NLP 方法中，其中一種語言模型就是根據(jù)上下文去預測下一個詞是什么。通過這種方法，語言模型能夠從無限制的大規(guī)模單語語料中學習到豐富的語義知識。而預訓練的思想讓模型的參數(shù)不再是隨機初始化，而是先有一個任務進行訓練得到一套模型參數(shù)，然后用這套參數(shù)對模型進行初始化，再進行訓練。

計算機科學家們一直在通過這種方式試圖讓電腦盡量接近人類識別語言的水準，卻不曾想到有一天會發(fā)現(xiàn)它和生物的思考方式異曲同工。

來自麻省理工學院（MIT）的科學家向 AI 模型輸入與測試人類大腦相同的刺激，結果發(fā)現(xiàn)很多模型獲得了與人類相同類型的激活。在超過 40 種語言模型的測試中（包括詞嵌入、循環(huán)神經(jīng)網(wǎng)絡、Transformer 等），OpenAI 的 GPT 系列可以幾乎完美地進行一些推斷，而且這種能力具有跨數(shù)據(jù)集的穩(wěn)健性。

像 GloVe 這樣的詞嵌入則不行。

模型預測出的下一個詞越準，它和人類大腦契合度就越高

在過去的幾年中，自然語言處理模型在很多任務中都表現(xiàn)出了出色的性能。最值得注意的是，它們非常擅長預測一串文本中的下一個詞。這一技術最直白的應用就是在搜索引擎以及很多文本類 APP 上，可以準確地預測出你想要輸入的下一個詞。

最新一代的預測語言模型似乎也學習了一些關于語言潛在含義的東西。這些模型不僅能預測下一個詞，還能執(zhí)行一些需要一定程度的真正理解才能執(zhí)行的任務，如問答、文本摘要、故事續(xù)寫等。這類模型是為了優(yōu)化預測文本的特定功能而設計的，而不是試圖模仿人類大腦如何執(zhí)行這項任務或理解語言。

但是，來自 MIT 的一項新研究表明，這些模型的基本功能其實類似于人類大腦語言處理中心的功能。

此外，研究人員還發(fā)現(xiàn)，在其他類型的語言任務中表現(xiàn)良好的計算機模型并沒有展現(xiàn)出此類相似性。這意味著，人類大腦可能會用「下一個詞預測」來驅動語言處理。

「模型預測出的下一個詞越準，它和人類大腦契合度就越高，」MIT 的認知神經(jīng)科學教授 Nancy Kanwisher（論文作者之一）表示，「令人驚奇的是，這些模型契合得竟如此之好。這是強烈的間接證據(jù)，證明人類的語言系統(tǒng)可能就是在預測接下來會發(fā)生什么。」

這項研究發(fā)表在最新一期的《美國國家科學院院刊（Proceedings of the National Academy of Sciences）》上。

論文：https://www.pnas.org/content/118/45/e2105646118

論文預印版（Biorxiv）：https://www.biorxiv.org/content/biorxiv/early/2020/10/09/2020.06.26.174482.full.pdf

GitHub：https://github.com/mschrimpf/neural-nlp

論文一作 Martin Schrimpf 以及另一位作者 Evelina Fedorenko 在一個視頻中針對該論文進行了解讀。

論文第一作者，MIT 在讀博士 Martin Schrimpf。

人工智能和自然之間發(fā)生了某種趨同演化？

當前高性能的下一個詞預測模型屬于深度神經(jīng)網(wǎng)絡模型。這些網(wǎng)絡包含構成不同強度連接的計算「節(jié)點」，以及以規(guī)定方式在彼此之間傳遞信息的層。

十多年來，科學家們使用深度神經(jīng)網(wǎng)絡來創(chuàng)建可以識別物體的視覺模型，以實現(xiàn)靈長類大腦的功能。MIT 表明，視覺對象識別模型的基本功能與靈長類動物視覺皮層的組織相似，盡管這些計算機模型并不是專門為模仿大腦而設計的。

在這份新研究中，MIT 的研究團隊使用類似的方法將人腦中的語言處理中心與語言處理模型進行比較。他們分析了 43 種不同的語言模型，包括一些針對下一個詞預測任務進行了優(yōu)化的模型。這些模型旨在執(zhí)行不同的語言任務，其中 GPT-3 可以根據(jù)提示生成類似于人類生成的文本，還有一些模型旨在補全文本中的空白。

負責語言處理的人工神經(jīng)網(wǎng)絡模型與人類語言處理系統(tǒng)的比較。MIT 的研究者測試了不同模型對語言理解過程中的人類神經(jīng)活動（fMRI and ECoG）和行為數(shù)據(jù)進行預測的效果。候選模型包括簡單的嵌入模型、更復雜的循環(huán)模型和 transformer 網(wǎng)絡。測試內(nèi)容從句子到段落再到故事，這些內(nèi)容要經(jīng)歷兩個步驟：1）輸入模型，2）呈現(xiàn)給人類參與者（視覺或聽覺）。模型的內(nèi)部表征主要在三個維度上進行評估：預測人類神經(jīng)表征的能力；以閱讀次數(shù)的形式預測人類行為的能力；執(zhí)行計算任務的能力（例如下一個詞預測）。研究者在許多個不同的模型中歸納分析了測試結果，得到的結論比從單個模型中得到的更具說服力。

每個模型都有一串詞作為輸入，研究人員測量了網(wǎng)絡中節(jié)點的活動。然后，他們將這些模式與人腦中的活動進行了比較，并根據(jù)執(zhí)行的三種語言任務進行度量：聽故事、一次閱讀一個句子，以及閱讀每次只顯示一個單詞的句子。其中用到的人類數(shù)據(jù)集包括功能磁共振 (fMRI) 數(shù)據(jù)和在接受癲癇腦部手術的人中進行的顱內(nèi)皮層電圖測量數(shù)據(jù)。

他們發(fā)現(xiàn)，表現(xiàn)最佳的下一個單詞預測模型的活動模式與人類大腦的活動模式非常相似。這些模型中的活動與人類行為度量高度相關，比如人們閱讀文本的速度。

「我們發(fā)現(xiàn)，那些能夠很好地預測神經(jīng)反應的模型在預測人類行為反應時也往往表現(xiàn)良好。這兩種情況都可以用模型在下一詞預測中的表現(xiàn)來解釋。這個三角形真的把一切都聯(lián)系在了一起。」Schrimpf 表示。

「這項研究的一個關鍵結論是，語言處理是一個高度約束問題: AI 工程師創(chuàng)造的最佳解決方案最終與創(chuàng)造人類大腦進化過程所得到的解決方案類似。」斯坦福大學心理學和計算機科學助理教授 Daniel Yamins 評價說: 「人工智能網(wǎng)絡并沒有試圖直接模仿大腦，然而最終看起來像大腦一樣，這在某種意義上表明，人工智能和自然之間發(fā)生了某種趨同演化?！?/p>