vLLM

vLLM
原作者	加利福尼亞大學柏克萊分校Sky Computing實驗室
開發者	vLLM貢獻者
首次發布	2023年
目前版本	v0.27.1（2026年8月11日）
原始碼庫	github.com/vllm-project/vllm
程式語言	Python、CUDA、C++、Rust
類型	大型語言模型推理引擎
許可協定	Apache License 2.0
網站	vllm.ai

vLLM是一個用於大型語言模型及相關多模態模型的推理與部署服務的開源軟件框架。該專案最初由加利福尼亞大學柏克萊分校的Sky Computing實驗室開發^[1]，其核心是PagedAttention——一種面向Transformer模型鍵值（KV）快取的主記憶體管理方法，並支援連續批次處理、分散式推理、量化以及相容OpenAI的應用程式介面^[2]^[3]^[4]。

歷史

vLLM由柏克萊加大Sky Computing實驗室的研究人員於2023年推出^[3]^[2]。其核心思想在2023年論文《Efficient Memory Management for Large Language Model Serving with PagedAttention》中闡述，該論文將系統描述為一個面向大型語言模型的高吞吐、主記憶體高效的服務引擎^[3]^[5]。據專案維護者稱，vLLM中的「v」最初指「virtual」（虛擬），靈感來自虛擬記憶體^[6]。 PyTorch計畫頁面稱，加利福尼亞大學柏克萊分校於2024年7月將vLLM貢獻給Linux基金會^[7]^[4]。2025年，PyTorch基金會宣布vLLM成為基金會寄存的專案。 2026年1月，TechCrunch報道稱，vLLM的開發者創辦了初創公司Inferact，以將該專案商業化，並籌集了1.5億美元的種子資金^[8]。

架構

據其2023年論文所述，vLLM的設計目標是通過減少Transformer模型推理期間所使用的鍵值快取中的主記憶體浪費，提高大型語言模型服務的效率^[3]。論文提出了PagedAttention——一個受作業系統虛擬記憶體與分頁技術啟發的演算法，並描述vLLM採用塊級主記憶體管理與請求排程來提高吞吐量，同時保持相近的延遲^[3]。專案文件與倉庫描述了連續批次處理、分塊預填充、推測解碼、字首快取、量化以及多種形式的分散式推理支援^[2]^[4]。PyTorch將vLLM描述為一款高吞吐、主記憶體高效的推理與服務引擎，支援多種硬件後端，包括NVIDIA與AMD 圖形處理器、Google TPU、AWS Trainium以及英特爾處理器^[7]^[4]。

參見

Ollama
SGLang（英語：SGLang）
TensorRT（英語：TensorRT）（含 TensorRT-LLM）
llama.cpp
OpenVINO
開放神經網絡交換
大型語言模型列表
深度學習軟件比較（英語：Comparison of deep learning software）
機器學習軟件比較（英語：Comparison of machine learning software）

參考資料

^ vLLM - A High-Throughput and Memory-Efficient Inference and Serving Engine for LLMs. UC Berkeley, Sky Computing Lab （英語）.
^ ^2.0 ^2.1 ^2.2 GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs. GitHub. GitHub, Inc. [2026-04-22] （英語）.
^ ^3.0 ^3.1 ^3.2 ^3.3 ^3.4 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles. 2023 [2026-04-22] （英語）.
^ ^4.0 ^4.1 ^4.2 ^4.3 vLLM. PyTorch. PyTorch Foundation. [2026-04-22] （英語）.
^ Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. 2023-09-12. arXiv:2309.06180  [cs.LG] （英語）.
^ vLLM full name. GitHub. GitHub, Inc. 2023-08-23 [2026-04-22] （英語）.
^ ^7.0 ^7.1 PyTorch Foundation Welcomes vLLM as a Hosted Project. PyTorch. PyTorch Foundation. 2025-05-07 [2026-04-22] （英語）.
^ Temkin, Marina. Inference startup Inferact lands $150M to commercialize vLLM. TechCrunch. 2026-01-22 [2026-04-22] （英語）.

外部連結

[1] vLLM - A High-Throughput and Memory-Efficient Inference and Serving Engine for LLMs. UC Berkeley, Sky Computing Lab （英語）.

[github-2] 2.0 ^2.1 ^2.2 GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs. GitHub. GitHub, Inc. [2026-04-22] （英語）.

[paper-3] 3.0 ^3.1 ^3.2 ^3.3 ^3.4 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles. 2023 [2026-04-22] （英語）.

[pytorch-project-4] 4.0 ^4.1 ^4.2 ^4.3 vLLM. PyTorch. PyTorch Foundation. [2026-04-22] （英語）.

[5] Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. 2023-09-12. arXiv:2309.06180  [cs.LG] （英語）.

[6] vLLM full name. GitHub. GitHub, Inc. 2023-08-23 [2026-04-22] （英語）.

[pytorch-hosted-7] 7.0 ^7.1 PyTorch Foundation Welcomes vLLM as a Hosted Project. PyTorch. PyTorch Foundation. 2025-05-07 [2026-04-22] （英語）.

[techcrunch-8] Temkin, Marina. Inference startup Inferact lands $150M to commercialize vLLM. TechCrunch. 2026-01-22 [2026-04-22] （英語）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

閱論編大型語言模型（LLM）
LLM列表 AI公司（英語：List of artificial intelligence companies）評測基準（英語：Language model benchmark）聊天機械人列表基礎模型生成式AI
概念	語言模型 NLP NLG 計算語言學基礎模型小型語言模型推理模型 GPT Transformer 注意力 KV快取（英語：Transformer (deep learning)#KV caching）上下文窗口分詞詞嵌入參數超參數自回歸混合專家（MoE）推理（英語：Inference (machine learning)）模型壓縮知識蒸餾推測解碼 PagedAttention 神經網絡縮放定律多模態開放權重
訓練、提示詞與對齊	自監督學習監督學習微調指令微調 RLHF 憲法AI（英語：Constitutional AI） AI對齊 AI安全機制可解釋性提示工程上下文學習（英語：In-context learning）思維鏈 RAG 提示注入對抗機器學習（英語：Adversarial machine learning）幻覺隨機鸚鵡故障標記（英語：Glitch token）生成引擎最佳化（英語：Generative engine optimization）
模型	Apertus AI BERT BLOOM Chinchilla Claude DBRX Gemini Gemma GloVe（英語：GloVe） GLM GPT GPT-J HKGAI V1 盤古 Hy 火山引擎 IBM Granite Jais（英語：Jais (language model)） LaMDA Llama MiMo Minerva（英語：Minerva (model)） Mistral 與 Mixtral Muse Spark Muse Glimmer Nemotron（英語：Nemotron） PaLM Phi（英語：Phi (language model)） Qwen Seq2Seq T5（英語：T5 (language model)） Vicuna（英語：Vicuna LLM） Word2vec XLNet（英語：XLNet）
聊天機械人與助手	Amazon Q ChatGPT Character.ai Claude DeepSeek 豆包文心一言騰訊元寶智譜清言 Google Gemini Grok Kimi Lumo Microsoft Copilot Meta AI Perplexity Sparrow（英語：Sparrow (chatbot)） You.com 港話通
智能體、編程與應用	AI智能體智能體 AutoGPT Claude Code Codex CrewAI（英語：CrewAI） DeepSeek Harness LangChain Manus OpenClaw ima CodeBuddy WorkBuddy 模型上下文協定 Agent2Agent OpenAI Codex ZCode 氛圍編程代碼生成問答機器翻譯文字摘要（英語：Text summarization）聊天機械人虛擬助理高等教育中的LLM（英語：LLMs in higher education）
軟件	PyTorch TensorFlow Hugging Face 推理引擎（英語：Inference engine） llama.cpp LM Studio Ollama SGLang（英語：SGLang） TensorRT-LLM（英語：TensorRT#TensorRT-LLM） vLLM ONNX OpenVINO 向量數據庫 ChromaDB（英語：ChromaDB）深度學習軟件（英語：Comparison of deep learning software）開源AI軟件（英語：Lists of open-source artificial intelligence software）
硬件與基礎設施	AI數據中心（英語：AI data center）人工智能加速器 GPU CUDA TPU 高頻寬記憶體
基準、評測與檢測	語言模型基準（英語：Language model benchmark） MMLU 人類的最後考試 LMArena LLM-as-a-Judge 困惑度指標 GPTZero AI內容檢測（英語：Artificial intelligence content detection） Undetectable.ai（英語：Undetectable.ai）
數據集與數據	數據集語料庫 Common Crawl（英語：Common Crawl） The Pile（英語：The Pile (dataset)）網絡爬蟲合成數據（英語：Synthetic data）訓練/驗證/測試集
組織	AI21 Labs 阿里巴巴 Anthropic 百度 Cohere（英語：Cohere）深度求索 EleutherAI Google DeepMind Hugging Face Meta AI Microsoft AI（英語：Microsoft AI） Mistral AI MiniMax 月之暗面階躍星辰 Nvidia OpenAI Sarvam AI（英語：Sarvam AI）技術創新研究所（英語：Technology Innovation Institute） Thinking Machines Lab（英語：Thinking Machines Lab） xAI
人物	山姆·奧特曼達里奧·阿莫代伊約書亞·本希奧 Aidan Gomez（英語：Aidan Gomez）傑米斯·哈薩比斯傑弗里·辛頓安德烈·卡帕西揚·勒丘恩梁珀西（英語：Percy Liang）梁文鋒克里斯托弗·曼寧（英語：Christopher D. Manning） Arthur Mensch（英語：Arthur Mensch）米拉·穆拉蒂 Alec Radford（英語：Alec Radford）諾姆·沙澤爾伊利亞·蘇茨克弗阿希什·瓦斯瓦尼（英語：Ashish Vaswani）吳恩達
社會、經濟與治理	主權AI AI熱潮 AI泡沫 AI垃圾內容（英語：AI slop）擬人化（英語：AI anthropomorphism）軍備競賽聊天機械人精神病競爭（英語：Competition in artificial intelligence）版權（英語：Artificial intelligence and copyright）死亡（英語：Deaths linked to chatbots）依賴（英語：Generative artificial intelligence dependency）環境（英語：Environmental impact of artificial intelligence）監管倫理生存風險教育（英語：Artificial intelligence in education）醫療職場（英語：Workplace impact of artificial intelligence）
分類