GitHub· vllm-project·· 16 天前AI 评分22
vLLM：面向 LLM 的高吞吐、内存高效推理与服务引擎
vllm-project/vllm — A high-throughput and memory-efficient inference and serving engine for LLMs
AI 导读
vLLM 是一个面向 LLM 的高吞吐、内存高效推理与服务引擎。该项目在 GitHub 开源，主打推理与服务场景下的吞吐量与显存效率优化。
来源：GitHub · github.com