跳至內容

GPT-J

本頁使用了標題或全文手工轉換
維基百科,自由的百科全書
GPT-J
EleutherAI標誌
開發者EleutherAI
首次發布2021年6月
原始碼庫github.com/kingoflolz/mesh-transformer-jax
類型大型語言模型、生成式預訓練轉換器
許可協議Apache License 2.0
網站huggingface.co/EleutherAI/gpt-j-6b

GPT-J,又稱GPT-J-6B,是由開放人工智能研究團體EleutherAI開發的大型語言模型。該模型於2021年公開發布,是一個基於Transformer架構的自回歸文本生成模型,主要用於根據輸入提示預測後續文本。名稱中的「6B」表示模型約有60億個可訓練參數。GPT-J使用Ben Wang開發的Mesh Transformer JAX訓練,權重以Apache License 2.0發布,是早期具有公開權重的GPT-3類大型語言模型之一。[1][2]

GPT-J的發布出現在閉源大型語言模型迅速擴張的背景下。OpenAI在2020年發布GPT-3後,沒有公開其完整模型權重,而EleutherAI等開放研究社群試圖復現類似規模和能力的語言模型。GPT-J繼承了GPT-Neo項目的開放路線,進一步擴大模型規模,並使研究人員、開發者和小型團隊能夠直接下載、運行和微調GPT類模型。[3]

背景

[編輯]

GPT-J的開發者來自EleutherAI及其周邊開源社區。EleutherAI最初以復現和開放GPT-3類模型為目標,先後建設了The Pile數據集、GPT-Neo系列模型和GPT-J。與依賴API訪問的商業模型不同,GPT-J提供了模型代碼和預訓練權重,因而在開源大語言模型發展早期具有代表性。[2][3]

小松崎嵐在發布說明中將GPT-J-6B稱為基於JAX的6B參數Transformer語言模型,並指出其零樣本下游任務表現接近GPT-3的6.7B參數模型Curie。該項目使用Google TPU Research Cloud提供的TPU v3-256資源訓練,訓練約持續五周。[4]

架構與訓練

[編輯]

GPT-J是解碼器式自回歸語言模型,核心任務是根據已有文本預測下一個標記。模型有6,053,381,344個參數,包含28層Transformer,每層包含一個自注意力模塊和一個前饋模塊;隱藏維度為4096,前饋層維度為16384,注意力頭數為16,每個注意力頭維度為256,最大上下文長度為2048個標記。模型使用與 GPT-2、GPT-3相同的 BPE 分詞表,詞表實際使用50257個條目,嵌入矩陣大小為50400。[1][2]

GPT-J採用旋轉位置編碼(Rotary Position Embedding,RoPE)。RoPE由蘇劍林等人提出,通過旋轉矩陣編碼絕對位置信息,並在自注意力計算中體現相對位置關係。[5]: 1–2 GPT-J的 RoPE 應用於每個注意力頭的64個維度。模型還將注意力層和前饋層並行放置,以降低通信開銷。[1][4]

GPT-J使用The Pile訓練。The Pile 是EleutherAI構建的英文大規模語料庫,論文稱其規模為825 GiB,由22個子數據集組成,來源包括學術、專業和網絡文本。[6]: 1–2 根據模型卡,GPT-J在 TPU v3-256 pod上訓練了4020億個標記、383,500個步驟,訓練目標為自回歸語言建模,並使用交叉熵損失最大化正確預測下一個標記的概率。[1]

性能

[編輯]

GPT-J發布時被認為是公開權重模型中表現較強的GPT-3類語言模型。小松崎嵐的發布說明稱,GPT-J在多個零樣本下游任務上的表現大致接近GPT-3 Curie。[4]模型卡所列評估表中,GPT-J-6B在LAMBADA準確率、Winogrande、HellaSwag和PIQA等任務上的成績與GPT-36.7B、GPT-3Curie 相近;其中LAMBADA準確率為69.7%,Winogrande為65.3%,HellaSwag為66.1%,PIQA為76.5%。模型卡同時指出,相關評估可能存在訓練數據與測試集污染問題,且不同模型的評估實現和零樣本任務提示方式並不完全相同。[1]

GPT-J的主要能力是從提示語生成英文文本。模型可以作為特徵提取器,也可經微調用於下游任務,但模型卡明確指出,GPT-J未針對商業聊天機械人、體裁寫作等常見應用場景進行專門微調,也沒有像ChatGPT那樣通過基於人類反饋的強化學習優化為遵循人類指令。[1]

應用

[編輯]

GPT-J被廣泛用於研究、實驗、微調和開源應用開發。Hugging Face的Transformers後來加入GPT-J支持,使其可通過AutoModelForCausalLM等接口加載。[7]GPT-J也出現在後續學術研究中。Meta AI Research的Toolformer研究以GPT-J為基礎模型,研究語言模型如何通過少量示例自監督學習調用外部工具,包括問答系統、搜尋引擎、計算器、日曆和翻譯系統。模型可以學習在何時調用工具、調用哪些工具、傳入什麼參數,以及如何把工具返回結果納入後續標記預測。[8]: 1–3 [9]: 286–287 

GPT-J還被文學創作者用於實驗性寫作。英國作家漢娜·席爾瓦(Hannah Silva)在回憶錄《My Child, the Algorithm》中使用GPT-J生成部分文本,並通過斜體區分AI生成內容。席爾瓦將GPT-J的輸出與自己的文字並置,模型既作為寫作素材來源,也作為關於學習、智能和愛的反思對象。[10]: 149–150 

局限

[編輯]

GPT-J不是面向最終用戶的完整產品。模型卡指出,GPT-J-6B不應在缺少微調、監督或內容審核的情況下直接部署到面向人的交互場景中。模型可能生成有害、冒犯性或社會上不可接受的文本,也不應被依賴為事實準確的信息來源。[1]

GPT-J的訓練語料為英文,因此不適合翻譯或生成其他語言文本。與後來的指令微調模型相比,GPT-J更接近基礎語言模型:它主要學習文本續寫分布,而不是穩定回答問題、遵循安全策略或進行對話。模型卡建議在發布輸出前由人工篩選或過濾,以減少不良內容並提高結果質量。[1]

訓練數據與版權爭議

[編輯]

GPT-J使用的The Pile包含Books3子數據集。2023年,《The Atlantic》報道Books3含有大量圖書文本,其中包括多名作家的受版權保護作品,並稱Books3被用於訓練BloombergGPT、EleutherAI的GPT-J以及其他生成式AI程序;報道還稱EleutherAI方面沒有否認Books3被納入GPT-J的訓練數據。[11]《衛報》隨後報道,查蒂·史密斯、斯蒂芬·金、蕾切爾·卡斯克(英語:Rachel Cusk)、埃琳娜·費蘭特等作者的作品出現在Books3中,並指出Books3也被用於訓練GPT-J。[12]

衍生與濫用

[編輯]

GPT-J的開放權重方便研究與微調,也帶來雙重用途問題。2023年,網絡安全研究者和媒體報道了WormGPT等用於網絡犯罪的惡意語言模型。有觀點將WormGPT描述為GPT-J的微調版本,稱其被作為沒有內容過濾的ChatGPT替代品出售,可生成釣魚郵件、惡意腳本和漏洞利用說明。[9]: 153–154 TechCrunch對WormGPT進行報道時也稱,該工具據稱基於EleutherAI於2021年開放的GPT-J,但其具體微調程度和實際能力並不明確。[13]

影響

[編輯]

GPT-J在開源大語言模型史上具有承前啟後的意義。它繼GPT-Neo之後擴大了公開權重GPT類模型的規模,並在LLaMA、Falcon、Mistral、Pythia、GPT-NeoX等後續開放或開放權重模型出現前,為研究者提供了可直接下載和實驗的60億參數級語言模型。InfoQ在2021年的報道中將GPT-J描述為一個六十億參數的開源NLP模型,指出其訓練於The Pile,並在相近規模任務上達到與GPT-36.7B模型相近的表現。[3]

參考資料

[編輯]
  1. ^ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 EleutherAI/gpt-j-6b. Hugging Face. EleutherAI. [2026-07-06]. (原始內容存檔於2023-03-12). 
  2. ^ 2.0 2.1 2.2 Wang, Ben. kingoflolz/mesh-transformer-jax. GitHub. 2021 [2026-07-06]. (原始內容存檔於2023-02-28). 
  3. ^ 3.0 3.1 3.2 Alford, Anthony. EleutherAI Open-Sources Six Billion ParameterGPT-3CloneGPT-J. InfoQ. 2021-07-13 [2026-07-06]. (原始內容存檔於2023-02-10). 
  4. ^ 4.0 4.1 4.2 Komatsuzaki, Aran. GPT-J-6B: 6B JAX-Based Transformer. Aran Komatsuzaki. 2021-06-04 [2026-07-06]. (原始內容存檔於2026-06-02). 
  5. ^ Su, Jianlin; Lu, Yu; Pan, Shengfeng; Murtadha, Ahmed; Wen, Bo; Liu, Yunfeng. RoFormer: Enhanced transformer with Rotary Position Embedding. Neurocomputing. 2024, 568: 127063. doi:10.1016/j.neucom.2023.127063. 
  6. ^ Gao, Leo; Biderman, Stella; Black, Sid; Golding, Laurence; Hoppe, Travis; Foster, Charles; Phang, Jason; He, Horace; Thite, Anish; Nabeshima, Noa; Presser, Shawn; Leahy, Connor. The Pile: An 800GB Dataset of Diverse Text for Language Modeling. 2020. arXiv:2101.00027 可免費查閱 [cs.CL]. 
  7. ^ GPT-J. Hugging Face Transformers Documentation. Hugging Face. [2026-07-06]. (原始內容存檔於2025-05-06). 
  8. ^ Schick, Timo; Dwivedi-Yu, Jane; Dessì, Roberto; Raileanu, Roberta; Lomeli, Maria; Zettlemoyer, Luke; Cancedda, Nicola; Scialom, Thomas. Toolformer: Language Models Can Teach Themselves to Use Tools. Advances in Neural Information Processing Systems 36. 2023. 
  9. ^ 9.0 9.1 Dhamani, Numa; Engler, Maggie. Introduction to Generative AI: Reliable, Responsible, and Real-World Applications 2. Shelter Island: Manning Publications. 2026. ISBN 9781633434882. 
  10. ^ Kahn, Jeremy. Mastering AI: A Survival Guide to Our Superpowered Future. New York: Simon & Schuster. 2024. ISBN 9781668053324. 
  11. ^ Reisner, Alex. Revealed: The Authors Whose Pirated Books Are Powering Generative AI. The Atlantic. 2023-08-19 [2026-07-06]. (原始內容存檔於2024-10-03). 
  12. ^ Creamer, Ella. Zadie Smith and Stephen King books pirated to train AI. The Guardian (London). 2023-08-23: 17 [2026-07-06] –透過Newspapers.com. 
  13. ^ Wiggers, Kyle. There’s no reason to panic over WormGPT. TechCrunch. 2023-08-01 [2026-07-06]. (原始內容存檔於2025-09-25). 

外部連結

[編輯]