一区二区三区,国产精品,亚洲中文字幕乱码av波多ji,亚洲国产成人综合精品,尹人香蕉99久久综合网站,亚洲综合国产成人丁香五月激情

論如何在技術(shù)圈爭(zhēng)論中一句話噎到對(duì)方：

哥們，是我創(chuàng)造了第一個(gè)大語(yǔ)言模型。

發(fā)言者 Jeremy Howard 為澳大利亞昆士蘭大學(xué)名譽(yù)教授、曾任 Kaggle 創(chuàng)始總裁和首席科學(xué)家，現(xiàn) answer.ai 與 fast.ai 創(chuàng)始人。

事情的起因是有人質(zhì)疑他最近的項(xiàng)目 llms.txt 在幫助大模型爬取互聯(lián)網(wǎng)信息上并沒(méi)太大作用，從而引發(fā)了這段爭(zhēng)論，迅速引起眾人圍觀。

聞?dòng)嵍鴣?lái)的“賽博考古學(xué)家們”一番考據(jù)之后，發(fā)現(xiàn)第一個(gè)大語(yǔ)言模型這個(gè)說(shuō)法還真有理有據(jù)：

2018 年初，Jeremy Howard 發(fā)表的論文 ULMFiT，使用非監(jiān)督預(yù)訓(xùn)練-微調(diào)范式達(dá)到當(dāng)時(shí) NLP 領(lǐng)域的 SOTA。

甚至 GPT-1 的一作 Alec Radford，在發(fā)表 GPT-1 時(shí)也公開(kāi)承認(rèn)過(guò) ULMFiT 是靈感來(lái)源之一。

有人搬出綜述論文，指出從“遺傳學(xué)”視角看，ULMFiT 是所有現(xiàn)代大模型“最后的共同祖先”。

還有好事者軟件工程師 Jonathon Belotti，專門(mén)寫(xiě)了一篇完整考據(jù)《誰(shuí)才是第一個(gè)大語(yǔ)言模型》

大語(yǔ)言模型起源考據(jù)

首先來(lái)介紹一下 ULMFiT 這篇論文，入選 ACL 2018：

提出有效遷移學(xué)習(xí)方法，可應(yīng)用于 NLP 領(lǐng)域的任何任務(wù)，并介紹了微調(diào)語(yǔ)言模型的關(guān)鍵技術(shù)，在六個(gè)文本分類任務(wù)上的表現(xiàn)明顯優(yōu)于當(dāng)時(shí)的 SOTA 方法，在大多數(shù)數(shù)據(jù)集上將錯(cuò)誤率降低了 18-24%。此外，僅使用 100 個(gè)帶標(biāo)簽的示例，它的性能就與在 100 倍以上數(shù)據(jù)上從頭開(kāi)始訓(xùn)練的模型性能相當(dāng)。

那么 ULMFit 算不算第一個(gè)大語(yǔ)言模型呢？Jonathon Belotti 考據(jù)遵循這樣的思路：

首先找一個(gè)大家都公認(rèn)肯定算大語(yǔ)言模型的成果，GPT-1 肯定符合這個(gè)標(biāo)準(zhǔn)。

再?gòu)?GPT-1 和后續(xù) GPT-2、GPT-3 中提取一個(gè)模型成為成為大語(yǔ)言模型的標(biāo)準(zhǔn)：

首先要是一個(gè)語(yǔ)言模型，根據(jù)輸入預(yù)測(cè)人類書(shū)面語(yǔ)言的組成部分，不一定是單詞，而是 token

核心方法是自監(jiān)督訓(xùn)練，數(shù)據(jù)集是未標(biāo)記的文本，與此前特定于任務(wù)的數(shù)據(jù)集有很大不同

模型的行為是預(yù)測(cè)下一個(gè) token

能適應(yīng)新的任務(wù)：不需要架構(gòu)修改，就有 few-shot 甚至 one-shot 能力

通用性：可以先進(jìn)的性能執(zhí)行各種文本任務(wù)，包括分類、問(wèn)答、解析等

接下來(lái)分析 GPT-1 引用的幾個(gè)重要模型：原版 Transformer，CoVe，ELMo 和 ULMFiT。



Transformer 雖然是現(xiàn)代主流大模型的架構(gòu)基礎(chǔ)，但原版只用于機(jī)器翻譯任務(wù)，還不夠通用。同時(shí)非 Transformer 架構(gòu)如 LSTM、Mamba 甚至 Diffusion 也可被視作大型語(yǔ)言模型。

CoVE 提出了語(yǔ)境化詞向量，是遷移學(xué)習(xí)領(lǐng)域的一項(xiàng)重要?jiǎng)?chuàng)新，但它通過(guò)監(jiān)督學(xué)習(xí)訓(xùn)練（英語(yǔ)翻譯德語(yǔ)）創(chuàng)建向量，不符合自監(jiān)督學(xué)習(xí)的條件。

ELMo 使用了自監(jiān)督預(yù)訓(xùn)練和監(jiān)督微調(diào)范式，但在 few-shot 能力上還差點(diǎn)意思。

總之在作者 Jonathon Belotti 看來(lái)，CoVE 和 ELMo 都還沒(méi)達(dá)到大語(yǔ)言模型的門(mén)檻。

最后再來(lái)看 ULMFiT，其名字代表在文本分類任務(wù)微調(diào)的通用語(yǔ)言模型（Universal Language Model Fine-tuning for Text Classification）。

它是一個(gè)在 WikiText 數(shù)據(jù)上自監(jiān)督訓(xùn)練的 LSTM 模型，能夠以低成本適應(yīng)新任務(wù)，無(wú)需更改架構(gòu)即可執(zhí)行大量文本分類任務(wù)，且達(dá)到當(dāng)時(shí)的 SOTA 性能。

與 GPT-1 相比，只差在微調(diào)不夠方便，以及應(yīng)用任務(wù)的廣度。



GPT-1 論文原文中，也指出“最接近我們工作的”就是 ULMFiT 與谷歌的半監(jiān)督序列學(xué)習(xí)（Semi-supervised Sequence Learning）了。

GPT-1 論文還聲稱，把 LSTM 換成 Transformer 后能拓展預(yù)訓(xùn)練模型的預(yù)測(cè)能力，比 ULMFit 任務(wù)適應(yīng)性更高。



考據(jù)者 Jonathon Belotti 最后總結(jié)到：

成為第一重要么？我認(rèn)為有一點(diǎn)重要。軟件行業(yè)和學(xué)術(shù)界尊重其創(chuàng)始人，我們都是開(kāi)源社區(qū)中構(gòu)建開(kāi)拓智域文化（homesteads the noosphere）的一部分。

而 Jeremy Howard 本人對(duì)此的后續(xù)回應(yīng)是我們創(chuàng)造了第一個(gè)“通用語(yǔ)言模型”，但后續(xù)論文沒(méi)有沿用，反而創(chuàng)造了“大型語(yǔ)言模型”這個(gè)新術(shù)語(yǔ)。



蘋(píng)果工程師 Nathan Lawrence 認(rèn)為，雖然今天大家對(duì)誰(shuí)是第一個(gè) LLM 可能存在爭(zhēng)議，但最終大家都會(huì)把 ULMFiT 視為一個(gè)轉(zhuǎn)折點(diǎn)。

當(dāng)時(shí)即使我這樣的懷疑論者，也快開(kāi)始意識(shí)到大規(guī)模通用訓(xùn)練將成為 NLP 的未來(lái)。



也有人建議 Jeremy Howard 以后說(shuō) ULMFit 是第一個(gè)“通用預(yù)訓(xùn)練模型”。

“我發(fā)明了 ChatGPT 中的 GP”，這句話說(shuō)起來(lái)也很酷，一點(diǎn)也不夸張。

ULMFit

https://arxiv.org/abs/1801.06146

GPT-1

https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

參考鏈接：

• [1]https://x.com/jeremyphoward/status/1905763446840607164

• [2]https://thundergolfer.com/blog/the-first-llm