LoRA

LoRA（Low-Rank Adaptation，意为低秩适应）是一种用于大型语言模型及其他深度神经网络的参数高效微调技术。这项技术由微软研究人员于2021年提出。相较于传统的全模型微调，LoRA能在极大减少计算资源和可训练参数的前提下，将预训练模型适应至特定任务。

背景

2010年代末至2020年代初，大型语言模型规模不断扩张，带来了巨大的计算挑战。2018年发布的GPT-1包含1.17亿个参数，训练成本不足5万美元。2019年发布的GPT-2包含15亿个参数，训练成本为4万美元。

到了2020年，GPT-3的规模达到1750亿个参数，预估训练成本在50万至460万美元之间。其训练过程约消耗1287兆瓦时电能。2023年发布的GPT-4训练成本超1亿美元，使用2.5万块英伟达A100GPU运行90-100天，耗能约50吉瓦时。2025年8月发布的GPT-5单次训练运行成本便超过5亿美元，总训练成本预估介于12.5亿至25亿美元之间。这种发展形成了技术壁垒：对大多数研究人员和机构而言，通过传统微调将此类模型适应特定任务的成本已高不可攀。

原理

LoRA的运行机制是将权重更新矩阵分解为低秩表示。在微调过程中，LoRA无需更新神经网络中的所有参数，而是冻结预训练模型权重，并在Transformer架构的每一层中注入可训练的秩分解矩阵。该方法基于线性代数，并利用了一项假设：微调过程中的权重更新具有较低的“内在秩”，即这些变化可以用比完整权重矩阵少得多的参数来有效表示。

将LoRA应用于GPT-3时，可训练参数数量减少了约一万倍（从1750亿降至约1800万），训练期间的GPU内存需求降至原先的三分之一（从1.2太字节降至350吉字节）。该技术广泛适用于深度学习模型中的任何稠密层，尽管目前针对大型语言模型的应用研究最为广泛。训练完成后，LoRA适配器权重可与基础模型权重合并，从而在部署期间不会引入额外的推理延迟。

LoRA已广泛应用于训练后工作流，包括与直接偏好优化（DPO）等偏好优化方法相集成。它的参数高效变体（如QLoRA）支持在单块24 GB消费级GPU上微调300亿参数的模型。

应用

LoRA的主要应用是以极低成本创建大型模型的定制版本。通过LoRA训练的适配器权重可合并回原始基础模型中，生成全新的全尺寸专用模型，其成本远低于重新训练整个模型。这使机构能够创建如GPT-3（1750亿参数）等模型的特定领域版本，同时只需承担训练小型适配器（1800万参数）的计算成本，避开了全模型重新训练的高昂开销。合并后，该模型可达到与传统微调相媲美的性能，而所需资源仅为后者的极小一部分。

或者，机构可维护单一基础模型以及多个小型LoRA适配器，每个适配器专用于不同的任务或领域。例如，一个拥有1750亿参数的基础模型可搭配分别用于客户服务、法律分析和医疗应用的1800万参数适配器。相较于维护多个完整的全尺寸微调模型，此方法大幅缩减了存储需求，因为每个适配器所需的存储空间不足完整模型的百分之一。

LoRA还支持动态适配器交换：可以在不重新将整个模型加载进内存的情况下，加载不同的适配器并将其应用于同一基础模型。系统借此能够在特定任务之间高效切换。多个适配器也可以通过合并其权重更新（相互合并或与基础模型合并）组合起来，从而构建具备混合能力的功能模型。

LoRA同样应用于程序修复领域，RepairLLaMA表明，结合特定修复代码表示形式的参数高效微调，其表现优于全参数微调以及GPT-4等通用模型。