GPT-J
此條目的內容疑似使用了大型語言模型撰寫。 (2026年9月10日) |
EleutherAI標誌 | |
| 開發者 | EleutherAI |
|---|---|
| 首次發布 | 2021年6月 |
| 原始碼庫 | github |
| 類型 | 大型語言模型、生成式預訓練轉換器 |
| 許可協議 | Apache License 2.0 |
| 網站 | huggingface |
GPT-J,又稱GPT-J-6B,是由開放人工智能研究團體EleutherAI開發的大型語言模型。該模型於2021年公開發布,是一個基於Transformer架構的自回歸文本生成模型,主要用於根據輸入提示預測後續文本。名稱中的「6B」表示模型約有60億個可訓練參數。GPT-J使用Ben Wang開發的Mesh Transformer JAX訓練,權重以Apache License 2.0發布,是早期具有公開權重的GPT-3類大型語言模型之一。[1][2]
GPT-J的發布出現在閉源大型語言模型迅速擴張的背景下。OpenAI在2020年發布GPT-3後,沒有公開其完整模型權重,而EleutherAI等開放研究社群試圖復現類似規模和能力的語言模型。GPT-J繼承了GPT-Neo項目的開放路線,進一步擴大模型規模,並使研究人員、開發者和小型團隊能夠直接下載、運行和微調GPT類模型。[3]
背景
[編輯]GPT-J的開發者來自EleutherAI及其周邊開源社區。EleutherAI最初以復現和開放GPT-3類模型為目標,先後建設了The Pile數據集、GPT-Neo系列模型和GPT-J。與依賴API訪問的商業模型不同,GPT-J提供了模型代碼和預訓練權重,因而在開源大語言模型發展早期具有代表性。[2][3]
小松崎嵐在發布說明中將GPT-J-6B稱為基於JAX的6B參數Transformer語言模型,並指出其零樣本下游任務表現接近GPT-3的6.7B參數模型Curie。該項目使用Google TPU Research Cloud提供的TPU v3-256資源訓練,訓練約持續五周。[4]
架構與訓練
[編輯]GPT-J是解碼器式自回歸語言模型,核心任務是根據已有文本預測下一個標記。模型有6,053,381,344個參數,包含28層Transformer,每層包含一個自注意力模塊和一個前饋模塊;隱藏維度為4096,前饋層維度為16384,注意力頭數為16,每個注意力頭維度為256,最大上下文長度為2048個標記。模型使用與 GPT-2、GPT-3相同的 BPE 分詞表,詞表實際使用50257個條目,嵌入矩陣大小為50400。[1][2]
GPT-J採用旋轉位置編碼(Rotary Position Embedding,RoPE)。RoPE由蘇劍林等人提出,通過旋轉矩陣編碼絕對位置信息,並在自注意力計算中體現相對位置關係。[5]: 1–2 GPT-J的 RoPE 應用於每個注意力頭的64個維度。模型還將注意力層和前饋層並行放置,以降低通信開銷。[1][4]
GPT-J使用The Pile訓練。The Pile 是EleutherAI構建的英文大規模語料庫,論文稱其規模為825 GiB,由22個子數據集組成,來源包括學術、專業和網絡文本。[6]: 1–2 根據模型卡,GPT-J在 TPU v3-256 pod上訓練了4020億個標記、383,500個步驟,訓練目標為自回歸語言建模,並使用交叉熵損失最大化正確預測下一個標記的概率。[1]
性能
[編輯]GPT-J發布時被認為是公開權重模型中表現較強的GPT-3類語言模型。小松崎嵐的發布說明稱,GPT-J在多個零樣本下游任務上的表現大致接近GPT-3 Curie。[4]模型卡所列評估表中,GPT-J-6B在LAMBADA準確率、Winogrande、HellaSwag和PIQA等任務上的成績與GPT-36.7B、GPT-3Curie 相近;其中LAMBADA準確率為69.7%,Winogrande為65.3%,HellaSwag為66.1%,PIQA為76.5%。模型卡同時指出,相關評估可能存在訓練數據與測試集污染問題,且不同模型的評估實現和零樣本任務提示方式並不完全相同。[1]
GPT-J的主要能力是從提示語生成英文文本。模型可以作為特徵提取器,也可經微調用於下游任務,但模型卡明確指出,GPT-J未針對商業聊天機械人、體裁寫作等常見應用場景進行專門微調,也沒有像ChatGPT那樣通過基於人類反饋的強化學習優化為遵循人類指令。[1]
應用
[編輯]GPT-J被廣泛用於研究、實驗、微調和開源應用開發。Hugging Face的Transformers後來加入GPT-J支持,使其可通過AutoModelForCausalLM等接口加載。[7]GPT-J也出現在後續學術研究中。Meta AI Research的Toolformer研究以GPT-J為基礎模型,研究語言模型如何通過少量示例自監督學習調用外部工具,包括問答系統、搜尋引擎、計算器、日曆和翻譯系統。模型可以學習在何時調用工具、調用哪些工具、傳入什麼參數,以及如何把工具返回結果納入後續標記預測。[8]: 1–3 [9]: 286–287
GPT-J還被文學創作者用於實驗性寫作。英國作家漢娜·席爾瓦(Hannah Silva)在回憶錄《My Child, the Algorithm》中使用GPT-J生成部分文本,並通過斜體區分AI生成內容。席爾瓦將GPT-J的輸出與自己的文字並置,模型既作為寫作素材來源,也作為關於學習、智能和愛的反思對象。[10]: 149–150
局限
[編輯]GPT-J不是面向最終用戶的完整產品。模型卡指出,GPT-J-6B不應在缺少微調、監督或內容審核的情況下直接部署到面向人的交互場景中。模型可能生成有害、冒犯性或社會上不可接受的文本,也不應被依賴為事實準確的信息來源。[1]
GPT-J的訓練語料為英文,因此不適合翻譯或生成其他語言文本。與後來的指令微調模型相比,GPT-J更接近基礎語言模型:它主要學習文本續寫分布,而不是穩定回答問題、遵循安全策略或進行對話。模型卡建議在發布輸出前由人工篩選或過濾,以減少不良內容並提高結果質量。[1]
訓練數據與版權爭議
[編輯]GPT-J使用的The Pile包含Books3子數據集。2023年,《The Atlantic》報道Books3含有大量圖書文本,其中包括多名作家的受版權保護作品,並稱Books3被用於訓練BloombergGPT、EleutherAI的GPT-J以及其他生成式AI程序;報道還稱EleutherAI方面沒有否認Books3被納入GPT-J的訓練數據。[11]《衛報》隨後報道,查蒂·史密斯、斯蒂芬·金、蕾切爾·卡斯克、埃琳娜·費蘭特等作者的作品出現在Books3中,並指出Books3也被用於訓練GPT-J。[12]
衍生與濫用
[編輯]GPT-J的開放權重方便研究與微調,也帶來雙重用途問題。2023年,網絡安全研究者和媒體報道了WormGPT等用於網絡犯罪的惡意語言模型。有觀點將WormGPT描述為GPT-J的微調版本,稱其被作為沒有內容過濾的ChatGPT替代品出售,可生成釣魚郵件、惡意腳本和漏洞利用說明。[9]: 153–154 TechCrunch對WormGPT進行報道時也稱,該工具據稱基於EleutherAI於2021年開放的GPT-J,但其具體微調程度和實際能力並不明確。[13]
影響
[編輯]GPT-J在開源大語言模型史上具有承前啟後的意義。它繼GPT-Neo之後擴大了公開權重GPT類模型的規模,並在LLaMA、Falcon、Mistral、Pythia、GPT-NeoX等後續開放或開放權重模型出現前,為研究者提供了可直接下載和實驗的60億參數級語言模型。InfoQ在2021年的報道中將GPT-J描述為一個六十億參數的開源NLP模型,指出其訓練於The Pile,並在相近規模任務上達到與GPT-36.7B模型相近的表現。[3]
參考資料
[編輯]- ^ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 EleutherAI/gpt-j-6b. Hugging Face. EleutherAI. [2026-07-06]. (原始內容存檔於2023-03-12).
- ^ 2.0 2.1 2.2 Wang, Ben. kingoflolz/mesh-transformer-jax. GitHub. 2021 [2026-07-06]. (原始內容存檔於2023-02-28).
- ^ 3.0 3.1 3.2 Alford, Anthony. EleutherAI Open-Sources Six Billion ParameterGPT-3CloneGPT-J. InfoQ. 2021-07-13 [2026-07-06]. (原始內容存檔於2023-02-10).
- ^ 4.0 4.1 4.2 Komatsuzaki, Aran. GPT-J-6B: 6B JAX-Based Transformer. Aran Komatsuzaki. 2021-06-04 [2026-07-06]. (原始內容存檔於2026-06-02).
- ^ Su, Jianlin; Lu, Yu; Pan, Shengfeng; Murtadha, Ahmed; Wen, Bo; Liu, Yunfeng. RoFormer: Enhanced transformer with Rotary Position Embedding. Neurocomputing. 2024, 568: 127063. doi:10.1016/j.neucom.2023.127063.
- ^ Gao, Leo; Biderman, Stella; Black, Sid; Golding, Laurence; Hoppe, Travis; Foster, Charles; Phang, Jason; He, Horace; Thite, Anish; Nabeshima, Noa; Presser, Shawn; Leahy, Connor. The Pile: An 800GB Dataset of Diverse Text for Language Modeling. 2020. arXiv:2101.00027
[cs.CL].
- ^ GPT-J. Hugging Face Transformers Documentation. Hugging Face. [2026-07-06]. (原始內容存檔於2025-05-06).
- ^ Schick, Timo; Dwivedi-Yu, Jane; Dessì, Roberto; Raileanu, Roberta; Lomeli, Maria; Zettlemoyer, Luke; Cancedda, Nicola; Scialom, Thomas. Toolformer: Language Models Can Teach Themselves to Use Tools. Advances in Neural Information Processing Systems 36. 2023.
- ^ 9.0 9.1 Dhamani, Numa; Engler, Maggie. Introduction to Generative AI: Reliable, Responsible, and Real-World Applications 2. Shelter Island: Manning Publications. 2026. ISBN 9781633434882.
- ^ Kahn, Jeremy. Mastering AI: A Survival Guide to Our Superpowered Future. New York: Simon & Schuster. 2024. ISBN 9781668053324.
- ^ Reisner, Alex. Revealed: The Authors Whose Pirated Books Are Powering Generative AI. The Atlantic. 2023-08-19 [2026-07-06]. (原始內容存檔於2024-10-03).
- ^ Creamer, Ella. Zadie Smith and Stephen King books pirated to train AI. The Guardian (London). 2023-08-23: 17 [2026-07-06] –透過Newspapers.com.
- ^ Wiggers, Kyle. There’s no reason to panic over WormGPT. TechCrunch. 2023-08-01 [2026-07-06]. (原始內容存檔於2025-09-25).