vLLM

一、官方网址

vLLM 官方仓库：https://github.com/vllm-project/vllm

vLLM 源自 UC Berkeley，以创新的 PagedAttention 显存管理技术著称，是开源 LLM 推理加速的标杆项目。

二、核心功能

1. PagedAttention 技术
   借鉴操作系统分页思想管理显存，大幅减少 KV Cache 浪费，吞吐量提升数倍。
2. 连续批处理
   动态合并请求进行批处理，GPU 利用率接近打满，并发性能卓越。
3. OpenAI 兼容服务
   一行命令启动兼容 OpenAI 的 API 服务，应用接入零改造。
4. 广泛模型支持
   支持 Llama、Qwen、DeepSeek 等主流模型及多模态模型。
5. 量化与分布式
   支持 GPTQ、AWQ 等量化方案与张量并行多卡推理。

三、适用场景

1. 企业级模型服务
   为内部应用提供高并发、低延迟的大模型推理接口。
2. SaaS 产品后端
   面向 C 端用户的 AI 产品自建推理集群，控制成本。
3. 批量离线推理
   大规模数据标注、内容生成等离线任务高速处理。

四、使用优势

1. 推理性能天花板
   同等硬件下吞吐量显著领先原生 Transformers 部署方式。
2. 生产级稳定性
   被众多头部企业用于线上服务，久经考验。
3. 部署简单
   Docker 镜像与 pip 安装均一行命令即可完成。

五、注意事项

1. 开源协议
   采用 Apache 2.0 协议，商用友好。
2. 硬件要求
   需要 NVIDIA GPU，显存需大于模型权重占用。
3. 资源独占
   默认会占满整块显卡显存，多服务共存需调整显存比例参数。