arXiv cs.AI· Daniel Matos, Lu Liu, Yanfeng Zhang·· 3 天前AI 评分28
多轮 LLM 路由中的 Handoff Curves:初始选择、后续交接与监督目标
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
AI 导读
研究比较多轮 LLM 任务中初始模型选择与后续交接对成功率和成本的影响,数据集包含三个 Qwen 模型在 BFCL、MultiWOZ 和 τ-retail 上的 34,204 次完整执行。
正文 · AI 翻译
摘要:我们研究了初始模型选择、后续交接以及训练目标如何影响跨多轮 LLM 任务的成功率和成本。我们使用交接曲线比较了多种路由器架构,交接曲线记录了任务成功率和成本随交接步骤变化的情况。我们的数据集包含三个 Qwen 模型在 BFCL、MultiWOZ 和 $\tau$-retail 上的 34,204 次完整执行,为路由决策提供了离线监督。在我们的主要比较中,以 Qwen3.5 35B-A3B 作为起始模型,允许后续交接在 BFCL 或 MultiWOZ 上并未比初始选择带来效用提升,并且在 BFCL 上在一系列成本权重下增加了成本。改变监督目标提升了路由器在我们的数据集和 TwinRouterBench 上的性能。在我们的数据集上,用单调拟合替换有噪声的训练成功曲线,在报告的操作点上以相同成本将成功率提高了 0.2 到 4.1 个百分点。在 TwinRouterBench 上,我们构建了描述剩余工作和后续困难步骤所需模型能力的目标。与在基准的逐步标签上训练相比,这些目标在完整静态库上将轨迹通过分数提高了 7.8 个百分点,成本节省提高了 6.3 个百分点。使用这些目标训练的路由器在实时部署中解决了 100 个实例中的 79 个,每个实例的路由器成本为 0.59 美元。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.15993 [cs.AI] |
| (或 arXiv:2610.15993v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.15993 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Daniel Matos [查看电子邮件]
[v1]
2026年10月11日星期日 23:45:23 UTC(131 KB)
来源:arXiv cs.AI · arxiv.org