Ubicloud 用 vLLM 约束解码修复工具调用准确率
热点事件持续更新
Ubicloud 用 vLLM 约束解码修复工具调用准确率
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Ubicloud 称，其通过启用 vLLM 的约束解码功能，把工具调用符合预期 schema 的准确率从 92% 提升到 100%。此前用 vLLM 0.28 部署 Kimi K2.6 时，每 25 次工具调用约有 2 次不符合 schema，这会污染上下文窗口并增加重试成本，对多轮智能体负载影响更大。 Ubicloud 先维护自己的 vLLM 分支，后启用该功能。据其说法，启用后使用较新的 Kimi 和 DeepSeek 模型可达到 100% 的 schema 准确率。vLLM 0.31 随后新增服务端 flag，用户可在自己的部署中开启工具调用严格模式。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 20:59
vLLM 如何修复工具调用准确率问题报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- Hacker NewsvLLM 如何修复工具调用准确率问题
vLLM 0.31 新增服务端 flag 支持约束解码，可将 Kimi、DeepSeek 新模型的工具调用 schema 准确率提升至 100%。此前用 vLLM 0.28 部署 Kimi K2.6 时，仅 92% 的工具调用符合预期 schema，即每 25 次调用有 2 次失败。schema 不准确会污染上下文窗口并增加重试成本，对多轮智能体负载影响尤甚。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。