返回工具箱

vLLM

高吞吐 LLM 推理引擎

vLLM 是高性能的 LLM 推理与服务引擎，PagedAttention 大幅提升吞吐，适合生产部署。

分类: 推理与部署
语言: Python
许可: Apache-2.0
Star: 60000

安装

python

pip install vllm

版本

0.31v0.31.010 月 5 日
- v0.31.010 月 5 日
0.30v0.30.09 月 22 日
- v0.30.09 月 22 日
0.29v0.29.09 月 9 日
- v0.29.09 月 9 日
0.28v0.28.08 月 26 日
- v0.28.08 月 26 日
0.27v0.27.18 月 11 日2 版 ▾
- v0.27.18 月 11 日
- v0.27.08 月 10 日
0.26v0.26.07 月 27 日
- v0.26.07 月 27 日
0.25v0.25.17 月 14 日2 版 ▾
- v0.25.17 月 14 日
- v0.25.07 月 11 日
0.24v0.24.06 月 29 日
- v0.24.06 月 29 日
0.23v0.23.06 月 15 日
- v0.23.06 月 15 日
0.22v0.22.16 月 5 日2 版 ▾
- v0.22.16 月 5 日
- v0.22.05 月 29 日
0.21v0.21.05 月 15 日
- v0.21.05 月 15 日
0.20v0.20.25 月 10 日3 版 ▾
- v0.20.25 月 10 日
- v0.20.15 月 4 日
- v0.20.04 月 27 日
0.19v0.19.14 月 18 日2 版 ▾
- v0.19.14 月 18 日
- v0.19.04 月 3 日
0.18v0.18.13 月 31 日2 版 ▾
- v0.18.13 月 31 日
- v0.18.03 月 20 日
0.17v0.17.13 月 11 日2 版 ▾
- v0.17.13 月 11 日
- v0.17.03 月 7 日
0.16v0.16.02 月 25 日
- v0.16.02 月 25 日
0.15v0.15.12 月 4 日2 版 ▾
- v0.15.12 月 4 日
- v0.15.01 月 29 日
0.14v0.14.11 月 24 日2 版 ▾
- v0.14.11 月 24 日
- v0.14.01 月 20 日
0.13v0.13.02025 年 12 月
- v0.13.02025 年 12 月
0.12v0.12.02025 年 12 月
- v0.12.02025 年 12 月

inference
serving
llm