LoRA

LoRA（Low-Rank Adaptation，意為低秩適應）是一種用於大型語言模型及其他深度神經網絡的參數高效微調技術。這項技術由微軟研究人員於2021年提出。相較於傳統的全模型微調，LoRA能在極大減少計算資源和可訓練參數的前提下，將預訓練模型適應至特定任務。

背景

2010年代末至2020年代初，大型語言模型規模不斷擴張，帶來了巨大的計算挑戰。2018年發布的GPT-1包含1.17億個參數，訓練成本不足5萬美元。2019年發布的GPT-2包含15億個參數，訓練成本為4萬美元。

到了2020年，GPT-3的規模達到1750億個參數，預估訓練成本在50萬至460萬美元之間。其訓練過程約消耗1287兆瓦時電能。2023年發布的GPT-4訓練成本超1億美元，使用2.5萬塊英偉達A100GPU運行90-100天，耗能約50吉瓦時。2025年8月發布的GPT-5單次訓練運行成本便超過5億美元，總訓練成本預估介於12.5億至25億美元之間。這種發展形成了技術壁壘：對大多數研究人員和機構而言，通過傳統微調將此類模型適應特定任務的成本已高不可攀。

原理

LoRA的運行機制是將權重更新矩陣分解為低秩表示。在微調過程中，LoRA無需更新神經網絡中的所有參數，而是凍結預訓練模型權重，並在Transformer架構的每一層中注入可訓練的秩分解矩陣。該方法基於線性代數，並利用了一項假設：微調過程中的權重更新具有較低的「內在秩」，即這些變化可以用比完整權重矩陣少得多的參數來有效表示。

將LoRA應用於GPT-3時，可訓練參數數量減少了約一萬倍（從1750億降至約1800萬），訓練期間的GPU內存需求降至原先的三分之一（從1.2太位元組降至350吉位元組）。該技術廣泛適用於深度學習模型中的任何稠密層，儘管目前針對大型語言模型的應用研究最為廣泛。訓練完成後，LoRA適配器權重可與基礎模型權重合併，從而在部署期間不會引入額外的推理延遲。

LoRA已廣泛應用於訓練後工作流，包括與直接偏好優化（DPO）等偏好優化方法相集成。它的參數高效變體（如QLoRA）支持在單塊24 GB消費級GPU上微調300億參數的模型。

應用

LoRA的主要應用是以極低成本創建大型模型的定製版本。通過LoRA訓練的適配器權重可合併回原始基礎模型中，生成全新的全尺寸專用模型，其成本遠低於重新訓練整個模型。這使機構能夠創建如GPT-3（1750億參數）等模型的特定領域版本，同時只需承擔訓練小型適配器（1800萬參數）的計算成本，避開了全模型重新訓練的高昂開銷。合併後，該模型可達到與傳統微調相媲美的性能，而所需資源僅為後者的極小一部分。

或者，機構可維護單一基礎模型以及多個小型LoRA適配器，每個適配器專用於不同的任務或領域。例如，一個擁有1750億參數的基礎模型可搭配分別用於客戶服務、法律分析和醫療應用的1800萬參數適配器。相較於維護多個完整的全尺寸微調模型，此方法大幅縮減了存儲需求，因為每個適配器所需的存儲空間不足完整模型的百分之一。

LoRA還支持動態適配器交換：可以在不重新將整個模型加載進內存的情況下，加載不同的適配器並將其應用於同一基礎模型。系統藉此能夠在特定任務之間高效切換。多個適配器也可以通過合併其權重更新（相互合併或與基礎模型合併）組合起來，從而構建具備混合能力的功能模型。

LoRA同樣應用於程序修復領域，RepairLLaMA表明，結合特定修復代碼表示形式的參數高效微調，其表現優於全參數微調以及GPT-4等通用模型。