vLLM

vLLM

原作者	加利福尼亞大學柏克萊分校Sky Computing实验室
開發者	vLLM贡献者
首次发布	2023年
当前版本	v0.27.1（2026年8月11日）
源代码库	github.com/vllm-project/vllm
编程语言	Python、CUDA、C++、Rust
类型	大型语言模型推理引擎
许可协议	Apache License 2.0
网站	vllm.ai

vLLM是一个用于大型语言模型及相关多模态模型的推理与部署服务的开源软件框架。该项目最初由加利福尼亞大學柏克萊分校的Sky Computing实验室开发，其核心是PagedAttention——一种面向Transformer模型键值（KV）缓存的内存管理方法，并支持连续批处理、分布式推理、量化以及兼容OpenAI的应用程序接口。

历史

vLLM由柏克萊加大Sky Computing实验室的研究人员于2023年推出。其核心思想在2023年论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》中阐述，该论文将系统描述为一个面向大型语言模型的高吞吐、内存高效的服务引擎。 据项目维护者称，vLLM中的“v”最初指“virtual”（虚拟），灵感来自虚拟内存。 PyTorch项目页面称，加利福尼亞大學柏克萊分校于2024年7月将vLLM贡献给Linux基金会。2025年，PyTorch基金会宣布vLLM成为基金会托管的项目。 2026年1月，TechCrunch报道称，vLLM的开发者创办了初创公司Inferact，以将该项目商业化，并筹集了1.5亿美元的种子资金。

架构

据其2023年论文所述，vLLM的设计目标是通过减少Transformer模型推理期间所使用的键值缓存中的内存浪费，提高大型语言模型服务的效率。论文提出了PagedAttention——一个受操作系统虚拟内存与分页技术启发的算法，并描述vLLM采用块级内存管理与请求调度来提高吞吐量，同时保持相近的延迟。 项目文档与仓库描述了连续批处理、分块预填充、推测解码、前缀缓存、量化以及多种形式的分布式推理支持。PyTorch将vLLM描述为一款高吞吐、内存高效的推理与服务引擎，支持多种硬件后端，包括NVIDIA与AMD图形处理器、Google TPU、AWS Trainium以及英特尔处理器。

参见

• Ollama
• SGLang
• TensorRT（含 TensorRT-LLM）
• llama.cpp
• OpenVINO
• 开放神经网络交换
• 大型语言模型列表
• 深度学习软件比较
• 机器学习软件比较

外部链接

• vLLM on NVIDIA NGC
• vLLM项目页面（PyTorch）