MMLU

大規模多工語言理解（Massive Multitask Language Understanding，MMLU）是一個用於評估大型語言模型能力的流行基準。它啟發了其他幾個版本和衍生基準，例如MMLU-Pro、MMMLU和MMLU-Redux。

概述

MMLU由15,908道選擇題組成，其中1,540道用於選擇和評估模型的最佳設置——溫度、批次處理大小與學習率。這些題目涵蓋57個學科，從高度複雜的STEM領域和國際法，到營養學與宗教。它曾是用於比較大型語言模型能力的最常用基準之一，截至2024年7月下載量超過1億次。

該基準由丹·亨德里克斯和一個研究團隊於2020年9月7日發布。它刻意設計得比當時已有的基準（如通用語言理解評估（GLUE））更具挑戰性，因為模型已開始在較簡單的測試中超越人類。MMLU發布時，大多數現有語言模型的得分接近隨機水平（25%）。表現最好的模型GPT-3 175B取得了43.9%的準確率。MMLU的建立者估計，人類領域專家能達到約89.8%的準確率。到2024年年中，大多數強大的語言模型（如Claude 3.5 Sonnet、GPT-4o和Llama 3.1 405B）都能穩定達到88%。截至2025年，MMLU已部分被更困難的替代基準取代。

局限性

2024年6月5日，專家們發布了一篇論文，詳細說明他們對基準中5,700道題的人工分析，結果顯示其中包含大量基準答案錯誤。例如，「病毒學」子集中有57%的題目被發現存在問題，例如有多個正確答案（4%）、題目表述不清（14%），或答案完全錯誤（33%）。總體而言，他們估計MMLU中約6.5%的題目存在錯誤，這表明可達到的最高分數遠低於100%。數據污染也對這一基準的有效性構成重大威脅；公司可以輕易將題目和答案納入其模型的訓練數據，從而實際上使其失效。

範例

以下範例分別來自「抽象代數」「國際法」和「專業醫學」任務。正確答案以粗體標示：

題目1：

求所有 $c$ ∈ ${\mathbb{Z}}_3$，使得 ${\mathbb{Z}}_3[x]/(x^2+c)$ 是一個域。

(A) 0 ｜ (B) 1 ｜ (C) 2 ｜ (D) 3

題目2：

在當代實踐中，對《公民權利和政治權利國際公約》（ICCPR）中酷刑定義的保留是否可接受？

(A) 如果保留國的立法採用了不同的定義，則該保留是可接受的。
(B) 該保留不可接受，因為它違背了ICCPR的宗旨和目的。
(C) 該保留不可接受，因為ICCPR中酷刑的定義符合習慣國際法。
(D) 該保留可接受，因為根據一般國際法，國家有權對條約作出保留。

題目3：

一名33歲男子因甲狀腺癌接受根治性甲狀腺切除術。手術中，中度出血需要結紮頸部左側的幾條血管。術後血清檢查顯示鈣濃度為7.5 mg/dL，白蛋白濃度為4 g/dL，甲狀旁腺激素濃度為200 pg/mL。下列哪條血管受損導致了該患者的這些表現？

(A) 肋頸干的分支。
(B) 頸外動脈的分支。
(C) 甲狀頸干的分支。
(D) 頸內靜脈的屬支。