MMLU

大规模多任务语言理解（Massive Multitask Language Understanding，MMLU）是一个用于评估大型语言模型能力的流行基准。它启发了其他几个版本和衍生基准，例如MMLU-Pro、MMMLU和MMLU-Redux。

概述

MMLU由15,908道选择题组成，其中1,540道用于选择和评估模型的最佳设置——温度、批处理大小与学习率。这些题目涵盖57个学科，从高度复杂的STEM领域和国际法，到营养学与宗教。它曾是用于比较大型语言模型能力的最常用基准之一，截至2024年7月下载量超过1亿次。

该基准由丹·亨德里克斯和一个研究团队于2020年9月7日发布。它刻意设计得比当时已有的基准（如通用语言理解评估（GLUE））更具挑战性，因为模型已开始在较简单的测试中超越人类。MMLU发布时，大多数现有语言模型的得分接近随机水平（25%）。表现最好的模型GPT-3 175B取得了43.9%的准确率。MMLU的创建者估计，人类领域专家能达到约89.8%的准确率。到2024年年中，大多数强大的语言模型（如Claude 3.5 Sonnet、GPT-4o和Llama 3.1 405B）都能稳定达到88%。截至2025年，MMLU已部分被更困难的替代基准取代。

局限性

2024年6月5日，专家们发布了一篇论文，详细说明他们对基准中5,700道题的人工分析，结果显示其中包含大量基准答案错误。例如，“病毒学”子集中有57%的题目被发现存在问题，例如有多个正确答案（4%）、题目表述不清（14%），或答案完全错误（33%）。总体而言，他们估计MMLU中约6.5%的题目存在错误，这表明可达到的最高分数远低于100%。数据污染也对这一基准的有效性构成重大威胁；公司可以轻易将题目和答案纳入其模型的训练数据，从而实际上使其失效。

示例

以下示例分别来自“抽象代数”“国际法”和“专业医学”任务。正确答案以粗体标示：

题目1：

求所有 $c$ ∈ ${\mathbb{Z}}_3$，使得 ${\mathbb{Z}}_3[x]/(x^2+c)$ 是一个域。

(A) 0 ｜ (B) 1 ｜ (C) 2 ｜ (D) 3

题目2：

在当代实践中，对《公民权利和政治权利国际公约》（ICCPR）中酷刑定义的保留是否可接受？

(A) 如果保留国的立法采用了不同的定义，则该保留是可接受的。
(B) 该保留不可接受，因为它违背了ICCPR的宗旨和目的。
(C) 该保留不可接受，因为ICCPR中酷刑的定义符合习惯国际法。
(D) 该保留可接受，因为根据一般国际法，国家有权对条约作出保留。

题目3：

一名33岁男子因甲状腺癌接受根治性甲状腺切除术。手术中，中度出血需要结扎颈部左侧的几条血管。术后血清检查显示钙浓度为7.5 mg/dL，白蛋白浓度为4 g/dL，甲状旁腺激素浓度为200 pg/mL。下列哪条血管受损导致了该患者的这些表现？

(A) 肋颈干的分支。
(B) 颈外动脉的分支。
(C) 甲状颈干的分支。
(D) 颈内静脉的属支。