無需大規(guī)模預(yù)訓(xùn)練，清華提出高效NLP學(xué)習(xí)框架TLM：從零開始比肩預(yù)訓(xùn)練語言模型性能 原創(chuàng) Synced 機(jī)器之心

機(jī)器之心專欄

清華大學(xué)

清華提出的高效學(xué)習(xí)框架 TLM 也學(xué)會了「抱佛腳」。

近期，來自清華大學(xué)的研究者們提出了一種簡單高效的 NLP 學(xué)習(xí)框架。不同于當(dāng)下 NLP 社區(qū)主流的大規(guī)模預(yù)訓(xùn)練 + 下游任務(wù)微調(diào)（pretraining-finetuning）的范式，這一框架無需進(jìn)行大規(guī)模預(yù)訓(xùn)練。相較于傳統(tǒng)的預(yù)訓(xùn)練語言模型，該框架將訓(xùn)練效率 (Training FLOPs) 提升了兩個數(shù)量級，并且在多個 NLP 任務(wù)上實現(xiàn)了比肩甚至超出預(yù)訓(xùn)練模型的性能。這一研究結(jié)果對大規(guī)模預(yù)訓(xùn)練語言模型的必要性提出了質(zhì)疑：大規(guī)模預(yù)訓(xùn)練對下游任務(wù)的貢獻(xiàn)究竟有多大？我們真的需要大規(guī)模預(yù)訓(xùn)練來達(dá)到最好的效果嗎？

論文地址：https://arxiv.org/pdf/2111.04130.pdf

項目地址：https://github.com/yaoxingcheng/TLM

預(yù)訓(xùn)練語言模型因其強(qiáng)大的性能被廣泛關(guān)注，基于預(yù)訓(xùn)練 - 微調(diào)（pretraining-finetuning）的范式也已經(jīng)成為許多 NLP 任務(wù)的標(biāo)準(zhǔn)方法。然而，當(dāng)前通用語言模型的預(yù)訓(xùn)練成本極其高昂，這使得只有少數(shù)資源充足的研究機(jī)構(gòu)或者組織能夠?qū)ζ湔归_探索。這種 「昂貴而集權(quán)」的研究模式限制了平民研究者們?yōu)?NLP 社區(qū)做出貢獻(xiàn)的邊界，甚至為該領(lǐng)域的長期發(fā)展帶來了障礙。

近期，為了緩解這一現(xiàn)狀，來自清華大學(xué)的研究者們提出的一種完全不需要預(yù)訓(xùn)練語言模型的高效學(xué)習(xí)框架。這一框架從通用語料中篩選出與下游任務(wù)相關(guān)的子集，并將語言建模任務(wù)與下游任務(wù)進(jìn)行聯(lián)合訓(xùn)練。研究者們稱之為 TLM (Task-driven Language Modeling)。相較于傳統(tǒng)的預(yù)訓(xùn)練模型（例如 RoBERTa），TLM 僅需要約 1% 的訓(xùn)練時間與 1% 的語料，即可在眾多 NLP 任務(wù)上比肩甚至超出預(yù)訓(xùn)練模型的性能(如圖 1 所示)。研究者們希望 TLM 的提出能夠引發(fā)更多對現(xiàn)有預(yù)訓(xùn)練微調(diào)范式的思考，并推動 NLP 民主化的進(jìn)程。

語言模型會「抱佛腳」嗎? 任務(wù)驅(qū)動的語言建模

TLM 提出的動機(jī)源于一個簡單的觀察：人類可以通過僅對關(guān)鍵信息的學(xué)習(xí)，以有限的時間和精力快速掌握某一任務(wù)技能。例如，在臨考抱佛腳時，焦慮的學(xué)生僅需要根據(jù)考綱復(fù)習(xí)瀏覽若干相關(guān)章節(jié)即可應(yīng)對考試，而不必學(xué)習(xí)所有可能的知識點。類似地，我們也可以推測：預(yù)訓(xùn)練語言模型在下游任務(wù)上的優(yōu)良表現(xiàn)，絕大多數(shù)來源于語料中與下游任務(wù)相關(guān)的數(shù)據(jù)；僅利用下游任務(wù)相關(guān)數(shù)據(jù)，我們便可以取得與全量數(shù)據(jù)類似的結(jié)果。

為了從大規(guī)模通用語料中抽取關(guān)鍵數(shù)據(jù)，TLM 首先以任務(wù)數(shù)據(jù)作為查詢，對通用語料庫進(jìn)行相似數(shù)據(jù)的召回。這里作者選用基于稀疏特征的 BM25 算法[2] 作為召回算法。之后，TLM 基于任務(wù)數(shù)據(jù)和召回數(shù)據(jù)，同時優(yōu)化任務(wù)目標(biāo)和語言建模目標(biāo) (如下圖公式所示)，從零開始進(jìn)行聯(lián)合訓(xùn)練。

1% 的算力 + 1% 的語料即可比肩預(yù)訓(xùn)練語言模型

為了測試 TLM 的性能，研究者們在 8 個 NLP 分類任務(wù)上從三個不同規(guī)模展開了對比實驗。這 8 個任務(wù)涵蓋了計算機(jī)科學(xué)、生物醫(yī)藥、新聞、評論等 4 個領(lǐng)域，包括了訓(xùn)練樣本數(shù)量小于 5000 的低資源任務(wù)（Hyperpartisan News, ACL-ARC, SciERC, Chemprot）和訓(xùn)練樣本數(shù)量大于 20000 的高資源任務(wù)（IMDB, AGNews, Helpfulness, RCT），覆蓋了話題分類，情感分類，實體關(guān)系抽取等任務(wù)類型。從實驗結(jié)果可以看出，和對應(yīng)預(yù)訓(xùn)練 - 微調(diào)基準(zhǔn)相比，TLM 實現(xiàn)了相當(dāng)甚至更優(yōu)的性能。平均而言，TLM 減少了兩個數(shù)量級規(guī)模的訓(xùn)練計算量 (Training FLOPs) 以及訓(xùn)練語料的規(guī)模。

任務(wù)驅(qū)動的語言建模(TLM) vs 預(yù)訓(xùn)練語言模型(PLMs)

表格 1 直接對比了 TLM 和 PLM。整體來說，PLM 以極高的成本學(xué)習(xí)盡可能多的任務(wù)無關(guān)的知識，而 TLM 以非常低的成本針對每個任務(wù)學(xué)習(xí)相關(guān)知識。對比 TLM 和 PLM 有如下幾個方面特點。

1.推動 NLP 研究公平化和民主化(Democratization)

預(yù)訓(xùn)練本身嚴(yán)重依賴大量的計算資源，這一限制使得大多數(shù) NLP 研究者專項對微調(diào)算法的研究。然而微調(diào)性能上限很大程度上受預(yù)訓(xùn)練模型性能的約束。而 TLM 使得大多數(shù)研究人員可以以較低的代價和較高的效率，基于最先進(jìn)的解決方案對模型架構(gòu)、損失函數(shù)、算法等方面進(jìn)一步自由探索。

2. 高效性(Efficiency)

TLM 在平均每個任務(wù)的 FLOPs 消耗方面顯著優(yōu)于 PLM。當(dāng)我們有少數(shù)目標(biāo)任務(wù)需要解決的時候(例如研究人員希望對少量幾個數(shù)據(jù)集進(jìn)行研究)，TLM 會是非常高效的；然而當(dāng)需要一次性解決大量任務(wù)時(例如工業(yè)界構(gòu)建一個 NLP 平臺為多方提供相似的服務(wù))，PLM 仍然具有優(yōu)勢。

3. 靈活性(Flexibility)

TLM 是任務(wù)驅(qū)動的，所以可以給研究人員更大的自由度，從而自定義策略進(jìn)行標(biāo)記、序列長度、數(shù)據(jù)表示、超參數(shù)的調(diào)整等等，從而達(dá)到提高性能和效率的目的。

4. 通用性(Generality)

PLM 學(xué)習(xí)與任務(wù)無關(guān)的一般性表示，可用于小樣本和零樣本學(xué)習(xí)，而 TLM 通過學(xué)習(xí)任務(wù)相關(guān)的表示一定程度犧牲通用型換取效率。從這個意義上，TLM 需要在通用型方面進(jìn)一步提升。此外也可以 PLM 和 TLM 結(jié)合從而在通用性和效率之間實現(xiàn)更好的權(quán)衡。

深入觀察 TLM：讓更多參數(shù)為下游任務(wù)服務(wù)

為了深入了解 TLM 的工作機(jī)制，研究人員對模型每個注意力頭所輸出的注意力分?jǐn)?shù)進(jìn)行了可視化。可以觀察到，TLM 的注意力模式中包含了更多的「對角線」模式（圖 3 紅框），也即大多 token 都將注意力分?jǐn)?shù)集中賦予了其鄰近 token，這種模式已在前人的工作 [1] 中被證明對模型的最終預(yù)測有著重要貢獻(xiàn)。而預(yù)訓(xùn)練模型（BERT, RoBERTa）中則包含了大量「垂直」模式的注意力頭（圖 3 灰色區(qū)域），也即大多 token 都將注意力分?jǐn)?shù)集中賦予了 [CLS]，[SEP] 或者句號這種毫無語義或者句法信息的詞匯上。這一現(xiàn)象表明 TLM 中參數(shù)利用率要顯著高于預(yù)訓(xùn)練語言模型，TLM 或許針對下游任務(wù)學(xué)習(xí)到了更加富有語義信息的表示。

總結(jié)

TLM 的提出讓 NLP 研究跳脫出預(yù)訓(xùn)練微調(diào)范式成為了可能，這使得 NLP 研究者們可以更為自由地探索新興的模型結(jié)構(gòu)與訓(xùn)練框架，而不拘泥于大規(guī)模預(yù)訓(xùn)練模型。在未來，更多有趣的研究可以在 TLM 的基礎(chǔ)上展開，例如：如何經(jīng)濟(jì)地達(dá)到更大規(guī)模預(yù)訓(xùn)練模型的表現(xiàn)效果；如何提升 TLM 的通用性與可遷移性；可否利用 TLM 進(jìn)行小樣本或零樣本學(xué)習(xí)等等。

參考文獻(xiàn)

[1] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. 2019. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5797–5808, Florence, Italy. Association for Computational Linguistics.

[2] Stephen E. Robertson and Hugo Zaragoza. 2009. The probabilistic relevance framework: BM25 and beyond. Found. Trends Inf. Retr., 3(4):333–389.

2021 NeurIPS MeetUp China

受疫情影響，NeurIPS 2021依然選擇了線上的形式舉辦。雖然這可以為大家節(jié)省一筆注冊、機(jī)票、住宿開支，但不能線下參與這場一年一度的學(xué)術(shù)會議、與學(xué)術(shù)大咖近距離交流討論還是有些遺憾。

我們將在NeurIPS官方支持下，于12月4日在北京麗都皇冠假日酒店舉辦線下NeurIPS MeetUp China，促進(jìn)國內(nèi)人工智能學(xué)術(shù)交流。

2021 NeurIPS MeetUp China將設(shè)置 Keynote、圓桌論壇、論文分享、 Poster和企業(yè)招聘等環(huán)節(jié)，邀請頂級專家、論文作者與現(xiàn)場參會觀眾共同交流。

歡迎 AI 社區(qū)從業(yè)者們積極報名參與，同時我們也歡迎 NeurIPS 2021 論文作者們作為嘉賓參與論文分享與 Poster 展示。感興趣的小伙伴點擊「閱讀原文」即可報名。

? THE END

原標(biāo)題：《無需大規(guī)模預(yù)訓(xùn)練，清華提出高效NLP學(xué)習(xí)框架TLM：從零開始比肩預(yù)訓(xùn)練語言模型性能》

閱讀原文