PagedAttention

PagedAttention是一種用於高效服務大型語言模型（LLM）的注意力演算法，於2023年由Woosuk Kwon及其同事在論文《Efficient Memory Management for Large Language Model Serving with PagedAttention》中提出，^[1]並與vLLM推理引擎一同發布。該方法將自回歸解碼過程中使用的KV快取（英語：Transformer (deep learning)#KV caching）（鍵值快取）以固定大小的塊儲存，並可將這些塊對映到不連續的實體記憶體，借鑑了虛擬記憶體、分頁與作業系統設計中的思想^[2]^[3]。

背景

在Transformer推理中，鍵值快取會隨着序列長度與並行請求數量而增長。Kwon等人指出，此前的服務系統通常預先保留連續的快取區域，因而會造成預留空間、內部碎片與外部碎片。在他們的實驗中，論文報告此前系統的有效主記憶體利用率最低可降至20.4%^[2]。

描述

PagedAttention將每個序列的快取劃分為固定大小的「KV塊」（KV block）。請求的快取表示為一系列邏輯塊，而塊表（block table）將這些邏輯塊對映到物理GPU主記憶體塊。這樣一來，相鄰的邏輯塊無需在實體記憶體中連續，並且可以在生成過程中按需分配新塊^[2]。

該設計還使相關解碼路徑之間更容易共用快取狀態。在vLLM中，物理塊可以被參照計數並在請求或分支之間共用，當共用塊需要被修改時使用塊粒度的寫時複製。原論文將該設計應用於並列採樣、束搜尋（英語：Beam search）以及共用字首的提示詞^[2]。

數學表述

對於因果自注意力中的查詢詞元 $i$ ，標準注意力輸出可寫作 $a_{i j} = \frac{\exp (𝐪_{i}^{⊤} 𝐤_{j} / \sqrt{d})}{\sum_{t = 1}^{i} \exp (𝐪_{i}^{⊤} 𝐤_{t} / \sqrt{d})}, 𝐨_{i} = \sum_{j = 1}^{i} a_{i j} 𝐯_{j}$ 其中 $𝐪_{i}$ 、 $𝐤_{j}$ 、 $𝐯_{j}$ 分別為查詢、鍵與值向量， $d$ 為注意力維度^[2]。

若將快取劃分為大小為 $B$ 的塊，則鍵塊與值塊可寫作 $𝐊_{j} = (𝐤_{(j - 1) B + 1}, \dots, 𝐤_{j B}), 𝐕_{j} = (𝐯_{(j - 1) B + 1}, \dots, 𝐯_{j B})$ PagedAttention隨後按塊進行計算： $𝐀_{i j} = \frac{\exp (𝐪_{i}^{⊤} 𝐊_{j} / \sqrt{d})}{\sum_{t = 1}^{⌈ i / B ⌉} \exp (𝐪_{i}^{⊤} 𝐊_{t} / \sqrt{d})}, 𝐨_{i} = \sum_{j = 1}^{⌈ i / B ⌉} 𝐕_{j} 𝐀_{i j}^{⊤}$ 其中 $𝐀_{i j}$ 是第 $j$ 個KV塊的注意力分數向量。在Kwon等人給出的表述中，該公式在保持因果注意力計算的同時，允許鍵塊與值塊位於不連續的實體記憶體中^[2]。

效能與應用

vLLM論文報告稱，在其評測的工作負載上，使用PagedAttention及其相關主記憶體管理設計可將服務吞吐量較FasterTransformer、Orca等對比基線提升2–4倍，同時保持模型輸出不變。在OPT-13B配合Alpaca軌跡的實驗中，論文還報告通過KV塊共用，並列採樣節省主記憶體6.1–9.8%，束搜尋節省37.6–55.2%^[2]。

2024年一篇關於LLM服務系統的綜述將PagedAttention描述為已成為LLM服務架構中的行業規範，並列舉了TGI、vLLM與TensorRT-LLM中的支援^[3]。

局限與替代方案

後續工作指出了該方法的權衡取捨。2025年的vAttention論文認為，PagedAttention要求重寫注意力內核以支援分頁，增加了軟件複雜度、可移植性問題、冗餘與執行開銷，因此提出一種主記憶體管理器，使快取保持虛擬記憶體連續，同時依賴按需分頁進行物理分配^[4]。

vAttention

與PagedAttention不同，vAttention並不引入不同的注意力規則，而是保留標準注意力計算 $Attention (q_{i}, K, V) = softmax (\frac{q_{i} K^{⊤}}{s c a l e}) V .$ 在Prabhu等人的記號中，一個請求迄今所見到的鍵與值張量為 $K, V \in ℝ^{L^{'} \times (H \times D)}$ ，其中 $L^{'}$ 為迄今所見上下文長度， $H$ 為某個工作器上的KV頭數量， $D$ 為每個KV頭的維度^[4]。

在PagedAttention之前的系統中，工作器每層的K快取（或V快取）通常分配為形狀如下的4D張量 $[B, L, H, D],$ 其中 $B$ 為批次大小， $L$ 為模型支援的最大上下文長度^[4]。

vAttention保留這種連續的虛擬記憶體視圖，同時將實體記憶體分配推遲到執行時。服務架構為每層維護獨立的K、V張量，因此vAttention在每個工作器上預留 $2 N$ 個虛擬記憶體緩衝區，其中 $N$ 為該工作器管理的層數^[4]。

單個虛擬記憶體緩衝區的最大尺寸為 $B S = B \times S,$ 其中 $S$ 為單個請求在該工作器上每層K快取（或V快取）的最大尺寸。論文定義 $S = L \times H \times D \times P,$ 其中 $P$ 為儲存一個元素所需的位元組數^[4]。

在該表述中，vAttention將KV快取在虛擬記憶體中保持連續，並依賴按需分頁進行物理分配，而無需修改注意力內核以在非連續的KV快取塊上運算^[4]。

參見

AlphaDev（英語：AlphaDev）與AlphaEvolve（英語：AlphaEvolve）——Google DeepMind用於發現與最佳化電腦科學演算法的人工智能系統
注意力機制
束搜尋（英語：Beam search）
快取替換策略（英語：Cache replacement policies）
人工智能演算法列表（英語：List of artificial intelligence algorithms）

參考文獻

^ Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. 2023-09-12. arXiv:2309.06180  [cs.LG].
^ ^2.0 ^2.1 ^2.2 ^2.3 ^2.4 ^2.5 ^2.6 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles. Association for Computing Machinery: 611–626. 2023. arXiv:2309.06180 . doi:10.1145/3600006.3613165 （英語）.
^ ^3.0 ^3.1 Li, Baolin; Jiang, Yankai; Gadepally, Vijay; Tiwari, Devesh. LLM Inference Serving: Survey of Recent Advances and Opportunities. 2024-07-17. arXiv:2407.12391  [cs.DC].
^ ^4.0 ^4.1 ^4.2 ^4.3 ^4.4 ^4.5 Prabhu, Ramya; Nayak, Ajay; Mohan, Jayashree; Ramjee, Ramachandran; Panwar, Ashish. vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention. Proceedings of the 30th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 1. Association for Computing Machinery: 1133–1150. 2025. doi:10.1145/3669940.3707256  （英語）.

[kwon-abs-1] Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. 2023-09-12. arXiv:2309.06180  [cs.LG].

[kwon2023-2] 2.0 ^2.1 ^2.2 ^2.3 ^2.4 ^2.5 ^2.6 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles. Association for Computing Machinery: 611–626. 2023. arXiv:2309.06180 . doi:10.1145/3600006.3613165 （英語）.

[li2024-3] 3.0 ^3.1 Li, Baolin; Jiang, Yankai; Gadepally, Vijay; Tiwari, Devesh. LLM Inference Serving: Survey of Recent Advances and Opportunities. 2024-07-17. arXiv:2407.12391  [cs.DC].

[prabhu2025-4] 4.0 ^4.1 ^4.2 ^4.3 ^4.4 ^4.5 Prabhu, Ramya; Nayak, Ajay; Mohan, Jayashree; Ramjee, Ramachandran; Panwar, Ashish. vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention. Proceedings of the 30th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 1. Association for Computing Machinery: 1133–1150. 2025. doi:10.1145/3669940.3707256  （英語）.

[1]

[2]

[3]

[4]

閱論編大型語言模型（LLM）
LLM列表 AI公司（英語：List of artificial intelligence companies）評測基準（英語：Language model benchmark）聊天機械人列表基礎模型生成式AI
概念	語言模型 NLP NLG 計算語言學基礎模型小型語言模型推理模型 GPT Transformer 注意力 KV快取（英語：Transformer (deep learning)#KV caching）上下文窗口分詞詞嵌入參數超參數自回歸混合專家（MoE）推理（英語：Inference (machine learning)）模型壓縮知識蒸餾推測解碼 PagedAttention 神經網絡縮放定律多模態開放權重
訓練、提示詞與對齊	自監督學習監督學習微調指令微調 RLHF 憲法AI（英語：Constitutional AI） AI對齊 AI安全機制可解釋性提示工程上下文學習（英語：In-context learning）思維鏈 RAG 提示注入對抗機器學習（英語：Adversarial machine learning）幻覺隨機鸚鵡故障標記（英語：Glitch token）生成引擎最佳化（英語：Generative engine optimization）
模型	Apertus AI BERT BLOOM Chinchilla Claude DBRX Gemini Gemma GloVe（英語：GloVe） GLM GPT GPT-J HKGAI V1 盤古 Hy 火山引擎 IBM Granite Jais（英語：Jais (language model)） LaMDA Llama MiMo Minerva（英語：Minerva (model)） Mistral 與 Mixtral Muse Spark Muse Glimmer Nemotron（英語：Nemotron） PaLM Phi（英語：Phi (language model)） Qwen Seq2Seq T5（英語：T5 (language model)） Vicuna（英語：Vicuna LLM） Word2vec XLNet（英語：XLNet）
聊天機械人與助手	Amazon Q ChatGPT Character.ai Claude DeepSeek 豆包文心一言騰訊元寶智譜清言 Google Gemini Grok Kimi Lumo Microsoft Copilot Meta AI Perplexity Sparrow（英語：Sparrow (chatbot)） You.com 港話通
智能體、編程與應用	AI智能體智能體 AutoGPT Claude Code Codex CrewAI（英語：CrewAI） DeepSeek Harness LangChain Manus OpenClaw ima CodeBuddy WorkBuddy 模型上下文協定 Agent2Agent OpenAI Codex ZCode 氛圍編程代碼生成問答機器翻譯文字摘要（英語：Text summarization）聊天機械人虛擬助理高等教育中的LLM（英語：LLMs in higher education）
軟件	PyTorch TensorFlow Hugging Face 推理引擎（英語：Inference engine） llama.cpp LM Studio Ollama SGLang（英語：SGLang） TensorRT-LLM（英語：TensorRT#TensorRT-LLM） vLLM ONNX OpenVINO 向量數據庫 ChromaDB（英語：ChromaDB）深度學習軟件（英語：Comparison of deep learning software）開源AI軟件（英語：Lists of open-source artificial intelligence software）
硬件與基礎設施	AI數據中心（英語：AI data center）人工智能加速器 GPU CUDA TPU 高頻寬記憶體
基準、評測與檢測	語言模型基準（英語：Language model benchmark） MMLU 人類的最後考試 LMArena LLM-as-a-Judge 困惑度指標 GPTZero AI內容檢測（英語：Artificial intelligence content detection） Undetectable.ai（英語：Undetectable.ai）
數據集與數據	數據集語料庫 Common Crawl（英語：Common Crawl） The Pile（英語：The Pile (dataset)）網絡爬蟲合成數據（英語：Synthetic data）訓練/驗證/測試集
組織	AI21 Labs 阿里巴巴 Anthropic 百度 Cohere（英語：Cohere）深度求索 EleutherAI Google DeepMind Hugging Face Meta AI Microsoft AI（英語：Microsoft AI） Mistral AI MiniMax 月之暗面階躍星辰 Nvidia OpenAI Sarvam AI（英語：Sarvam AI）技術創新研究所（英語：Technology Innovation Institute） Thinking Machines Lab（英語：Thinking Machines Lab） xAI
人物	山姆·奧特曼達里奧·阿莫代伊約書亞·本希奧 Aidan Gomez（英語：Aidan Gomez）傑米斯·哈薩比斯傑弗里·辛頓安德烈·卡帕西揚·勒丘恩梁珀西（英語：Percy Liang）梁文鋒克里斯托弗·曼寧（英語：Christopher D. Manning） Arthur Mensch（英語：Arthur Mensch）米拉·穆拉蒂 Alec Radford（英語：Alec Radford）諾姆·沙澤爾伊利亞·蘇茨克弗阿希什·瓦斯瓦尼（英語：Ashish Vaswani）吳恩達
社會、經濟與治理	主權AI AI熱潮 AI泡沫 AI垃圾內容（英語：AI slop）擬人化（英語：AI anthropomorphism）軍備競賽聊天機械人精神病競爭（英語：Competition in artificial intelligence）版權（英語：Artificial intelligence and copyright）死亡（英語：Deaths linked to chatbots）依賴（英語：Generative artificial intelligence dependency）環境（英語：Environmental impact of artificial intelligence）監管倫理生存風險教育（英語：Artificial intelligence in education）醫療職場（英語：Workplace impact of artificial intelligence）
分類