vLLM
| 原作者 | 加利福尼亞大學柏克萊分校Sky Computing實驗室 |
|---|---|
| 開發者 | vLLM貢獻者 |
| 首次發布 | 2023年 |
| 當前版本 | v0.27.1(2026年8月11日) |
| 源代碼庫 | github |
| 編程語言 | Python、CUDA、C++、Rust |
| 類型 | 大型語言模型推理引擎 |
| 許可協議 | Apache License 2.0 |
| 網站 | vllm |
vLLM是一個用於大型語言模型及相關多模態模型的推理與部署服務的開源軟件框架。該項目最初由加利福尼亞大學柏克萊分校的Sky Computing實驗室開發[1],其核心是PagedAttention——一種面向Transformer模型鍵值(KV)緩存的內存管理方法,並支持連續批處理、分布式推理、量化以及兼容OpenAI的應用程序接口[2][3][4]。
歷史
[編輯]vLLM由柏克萊加大Sky Computing實驗室的研究人員於2023年推出[3][2]。其核心思想在2023年論文《Efficient Memory Management for Large Language Model Serving with PagedAttention》中闡述,該論文將系統描述為一個面向大型語言模型的高吞吐、內存高效的服務引擎[3][5]。 據項目維護者稱,vLLM中的「v」最初指「virtual」(虛擬),靈感來自虛擬內存[6]。 PyTorch項目頁面稱,加利福尼亞大學柏克萊分校於2024年7月將vLLM貢獻給Linux基金會[7][4]。2025年,PyTorch基金會宣布vLLM成為基金會託管的項目。 2026年1月,TechCrunch報道稱,vLLM的開發者創辦了初創公司Inferact,以將該項目商業化,並籌集了1.5億美元的種子資金[8]。
架構
[編輯]據其2023年論文所述,vLLM的設計目標是通過減少Transformer模型推理期間所使用的鍵值緩存中的內存浪費,提高大型語言模型服務的效率[3]。論文提出了PagedAttention——一個受操作系統虛擬內存與分頁技術啟發的算法,並描述vLLM採用塊級內存管理與請求調度來提高吞吐量,同時保持相近的延遲[3]。 項目文檔與倉庫描述了連續批處理、分塊預填充、推測解碼、前綴緩存、量化以及多種形式的分布式推理支持[2][4]。PyTorch將vLLM描述為一款高吞吐、內存高效的推理與服務引擎,支持多種硬件後端,包括NVIDIA與AMD圖形處理器、Google TPU、AWS Trainium以及英特爾處理器[7][4]。
參見
[編輯]參考資料
[編輯]- ^ vLLM - A High-Throughput and Memory-Efficient Inference and Serving Engine for LLMs. UC Berkeley, Sky Computing Lab (英語).
- ^ 2.0 2.1 2.2 GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs. GitHub. GitHub, Inc. [2026-04-22] (英語).
- ^ 3.0 3.1 3.2 3.3 3.4 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles. 2023 [2026-04-22] (英語).
- ^ 4.0 4.1 4.2 4.3 vLLM. PyTorch. PyTorch Foundation. [2026-04-22] (英語).
- ^ Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion. Efficient Memory Management for Large Language Model Serving with PagedAttention. 2023-09-12. arXiv:2309.06180
[cs.LG] (英語).
- ^ vLLM full name. GitHub. GitHub, Inc. 2023-08-23 [2026-04-22] (英語).
- ^ 7.0 7.1 PyTorch Foundation Welcomes vLLM as a Hosted Project. PyTorch. PyTorch Foundation. 2025-05-07 [2026-04-22] (英語).
- ^ Temkin, Marina. Inference startup Inferact lands $150M to commercialize vLLM. TechCrunch. 2026-01-22 [2026-04-22] (英語).