IBM Research 的 ALTK-Evolve 用学习式准则登顶 τ²-bench 客服榜单
IBM Research 发布 ALTK-Evolve 方法，用 GPT-4.1 从智能体自身训练轨迹中蒸馏行为准则并追加到系统提示词，不更新权重，使零售场景 Pass^4 从 57.5% 升至 67.5%，在 2026 年 10 月 12 日的 τ²-bench 榜单快照中超过所有零售条目。
Hugging Face 社区博客·2026-10-20 23:19· 24 分钟前AI 评分62
ALTK-Evolve：如何在不使用前沿模型的情况下，凭借学习到的记忆在客户服务任务的 τ²-bench 排行榜上登顶
AI 导读
IBM Research 发布 ALTK-Evolve 方法，用 GPT-4.1 从 Agent 自身训练轨迹中蒸馏行为准则追加到提示词，不更新权重，使零售场景 Pass^4 从 57.5% 升至 67.5%，在 2026 年 10 月 12 日的 τ²-bench 榜单快照中超过所有零售条目。
正文 · 原文
ALTK-Evolve 使用 GPT-4.1 学习并应用一套行为准则，在客户服务 Agent 基准 τ²-bench 上超越了所有零售条目——且无需更新模型权重。
学习到的记忆让一个基于 GPT-4.1 的基础 ReAct Agent 登顶
使用 GPT-4.1 这一较旧的、非推理模型，一个基础的客户服务 Agent 在 τ²-bench 零售场景上达到 67.5% 的 Pass^4——这意味着它在 67.5% 的任务上，在全部四次独立尝试中均成功解决了任务。其得分高于我们 2026 年 10 月 12 日排行榜快照中的所有零售条目。它运行在基准自带的 ReAct 脚手架上，仅将学习到的准则追加到其系统提示词中。
ALTK-Evolve 使用 GPT-4.1 构建这套行为准则。它分析 Agent 在训练任务上的尝试，并利用该模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后，这些准则会被添加到 Agent 的提示词中，用于后续对话。同一个模型既负责准则提取，也驱动 Agent 本身；无需更新权重，也无需人工标注。
我们之前的工作已在编码 Agent 上展示了这一方法。在这里，我们在客户服务场景中进行测试，该场景要求成功遵循领域政策、理解客户请求并执行正确的工具操作。
τ²-bench 测试受政策约束的客户服务
τ²-bench（来自 Sierra）衡量 Agent 在真实约束下处理客户服务对话的能力。每个任务将 Agent 与一个由 LLM 模拟的客户配对，该客户有明确目标，任务还提供一组领域工具（查询订单、发起退款、改签航班）以及一份 Agent 必须遵循的书面政策文档。Agent 必须问出正确的细节、遵守政策，并采取正确的——往往不可逆的——操作；只有当最终数据库状态与预期结果匹配时，任务才算解决，这是一种严格的二元奖励。我们使用其两个客户服务领域：零售和航空。
我们运行 τ²-bench 自带的基础 ReAct Agent 实现，采用两阶段 THINK → ACT 循环，使用 gpt-4.1 作为 Agent 模型，gpt-5.5 作为客户模拟器模型；每个任务 4 次试验。我们唯一的改动是在系统提示词后追加一段学习到的准则——其他一切（政策、工具、脚手架）均为 τ²-bench 原版。具体而言，学习到的准则以纯 markdown 列表形式附加在领域政策之后：
You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.
<policy>
# Retail agent policy
As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>
## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…
我们使用 gpt-4.1（与驱动 Agent 相同的模型）从 Agent 在 τ²-bench 训练任务上的轨迹中提取准则，然后将其原样应用于留出的测试集。
准则提升了能力与可靠性
在之前的文章中，我们讨论了不同模型/任务需要不同剂量的引导。基于这一思路，我们还评估了向模型提供不同数量的准则。
每条准则都带有一个支持度计数——即它被提取自的不同训练任务的数量，因此支持度越高，意味着该规则在更多任务上具有泛化性，而非一次性的。我们比较了三种配置：baseline（无准则）、sup3（仅保留支持度 ≥ 3 的准则——一个小型、高置信度的核心集），以及lossless（保留合并后留存的所有准则，即支持度 ≥ 1）。
表 1. 准则配置及各领域保留的准则数量。
| 变体 | 上下文中包含的准则 | 零售 | 航空 |
|---|---|---|---|
| baseline | 无准则 | 0 | 0 |
| sup3 | 支持度 n ≥ 3（高支持度核心集） |
31 | 14 |
| lossless | 所有准则 | 292 | 101 |
我们追踪的指标。每个任务尝试4 次，我们从两个角度解读这些试验：
- 平均准确率——4 次试验的平均成功率。这是能力轴：智能体做对的频率有多高？
- Pass^4——在全部 4 次试验中均通过的任务百分比。这沿可靠性轴衡量，也是 τ²-bench 排行榜报告的指标。它在此处很重要，因为一个客服智能体即使 4 次中有 3 次成功处理退款，仍会让四分之一的真实客户失望——Pass^4 问的是你能否每一次都信任该智能体，而不仅仅是平均而言。
图 1. 使用 gpt-4.1 的智能体在留出的零售和航空任务上、每任务四次试验的平均准确率和 Pass^4。
智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。
表 2. 使用 gpt-4.1 的智能体在留出任务上、每任务四次试验的性能。括号内为相对 baseline 的百分点变化。
| 领域（测试任务） | 配置 | 平均准确率 | Pass^4 |
|---|---|---|---|
| 零售（40） | baseline | 78.1% | 57.5% |
| sup3 | 78.8% (+0.7) | 60.0% (+2.5) | |
| lossless | 82.5% (+4.4) | 67.5% (+10.0) | |
| 航空（20） | baseline | 57.5% | 35.0% |
| sup3 | 60.0% (+2.5) | 45.0% (+10.0) | |
| lossless | 65.0% (+7.5) | 40.0% (+5.0) |
两个领域的平均准确率均上升——零售+4.4 个百分点（78.1 → 82.5），航空+7.5 个百分点（57.5 → 65.0）。可靠性提升更大：严格的 Pass^4 在零售上升+10 个百分点（57.5 → 67.5），在航空上升+10 个百分点（35.0 → 45.0）。这些提升来自更明智的决策，而非更长的对话——我们在下文的更好的性能消耗更多 token，而非更多轮次中直接考察了对话长度。
最佳引导量取决于领域
两个领域在多少引导能带来回报上存在分歧。在零售中，每个指标都是越多越好——小型 sup3 核心集在准确率上仅略胜 baseline，你需要完整的 lossless 集才能实现真正的跃升。在航空中，情况在可靠性端发生反转：lossless 在准确率上领先（65% 对 60%），但紧凑的 sup3 核心集（14 条准则）更可靠，将 Pass^4 提升至 45%，而 lossless 为 40%。这呼应了此前的发现——引导是一个旋钮，而非常量——支持度计数是一个值得按领域调优的旋钮，而非一个硬编码的值。
更好的性能消耗更多 token，而非更多轮次
指南并非免费，但成本落在你预期的地方——在提示输入 token 上，而不是在更长、更冗长的对话中：
图 2. 在完整基础划分上，按领域和指南配置统计的每次对话总 LLM 成本。
表 3. 在完整基础划分上，四次试验中每次对话的总 LLM 成本（智能体和用户模拟器）。越低越好。
| 领域 | 配置 | 每次对话成本 | 对比基线 |
|---|---|---|---|
| 零售 | 基线 | $0.084 | — |
| sup3 | $0.095 | +12% | |
| 无损 | $0.139 | +65% | |
| 航空 | 基线 | $0.081 | — |
| sup3 | $0.097 | +19% | |
| 无损 | $0.107 | +32% |
智能体是通过说得更久来达到这一点的吗？为了干净地回答这个问题，我们进行同类对比：在基线和指南变体两者下都解决的任务运行——相同的场景和种子，一个真正的“同一任务，正确完成”集合——并统计双方的助手轮次。
表 4. 在测试划分上，两种设置下都解决的匹配运行的每次对话助手轮次，汇总四次试验。
| 领域 | 共享集 | 两者下都解决（n） | 基线轮次 | +指南 | Δ |
|---|---|---|---|---|---|
| 零售 | 基线 ∩ sup3 | 108 | 10.40 | 10.35 | −0.05 |
| 基线 ∩ 无损 | 111 | 10.59 | 10.16 | −0.43 | |
| 航空 | 基线 ∩ sup3 | 38 | 8.97 | 8.53 | −0.45 |
| 基线 ∩ 无损 | 40 | 9.15 | 8.82 | −0.33 |
智能体并没有说得更久——在共享集上，指南使对话略微更短：无损在两个领域都削减了约 0.3–0.4 轮（零售 10.59 → 10.16，航空 9.15 → 8.82），且没有任何变体使其变长。这意义超出成本：每一轮都是一次顺序 LLM 往返，因此更少的轮次意味着更低的端到端延迟——对客户而言更快的完成时间，而不仅仅是更便宜。唯一真正的代价在输入侧——每次 LLM 调用都携带更大的系统提示：零售的 292 条指南提示将每次对话成本从约 $0.084 推高到约 $0.139，而航空较小的策略手册则更便宜。在生产环境中，即使这部分也 largely 可通过提示缓存回收，因为指南块在每次调用中都是相同的。
因此这种权衡是有利的：以略高的输入成本（实践中大部分被缓存掉）为代价，智能体同时实现了更高的准确性、更高的可靠性以及更低的完成时间——这不是通常的质量换延迟权衡，而是三者同时朝正确方向移动。
学习到的指南也能改进使用前沿模型的智能体
到目前为止，我们使用了一个较旧的、非推理模型——gpt-4.1。一个合理的反对意见是，学习到的指南对使用前沿模型的智能体可能帮助不大：也许它们只是修补较弱模型的缺口。因此我们直接测试了这一点——我们使用gpt-5.5 同时用于智能体和指南提取，在相同的 τ²-bench ReAct 脚手架上重新运行了航空，并从智能体自身的运行中重新挖掘指南。有一个细节随模型而变化：此设置中提取的指南均未达到支持度 ≥ 3（最高为支持度 2），因此这里的高支持度核心是 sup2 而非 sup3。
表 5. gpt-5.5 智能体在留出航空任务上的性能，每个任务四次试验。
航空 · gpt-5.5（20 个留出测试任务） |
准确性 | Pass^4 |
|---|---|---|
| 基线（0 条指南） | 72.5% | 55.0% |
| sup2（103 条指南） | 80.0% (+7.5) | 70.0% (+15.0) |
| 无损（146 条指南） | 82.5% (+10.0) | 70.0% (+15.0) |
学习到的指南也能改善这一设置。在相同的留出测试任务上，将它们追加到提示中可提升 准确率 +10 分（72.5 → 82.5），并将严格的 Pass^4 提升 +15 分（55.0 → 70.0）——在这些相同任务上，这比我们观察到的 gpt-4.1 带来的可靠性提升更大（+10 分），而且起点高得多。在模型周围学习指南，即使智能体从更强的基线出发，也能使其得到改善。而且，当基线的可靠性在多次重跑之间波动时，无损配置能够精确复现——它带来的提升是可靠的，而非侥幸。
ALTK-Evolve 在排行榜对比中位居榜首
按照 τ²-bench 的要求，提交内容在完整基础划分（训练集 ∪ 测试集）上评分，并以 Pass^4 报告。由于这覆盖了完整任务集而非留出测试划分，这些数字与上文报告的测试任务数字不同。实际效果正体现在这里——提示级记忆将使用各基础模型的智能体带入或超越当前前沿公司水平：
- 零售：第 1 名。在基础划分上，使用学习指南的智能体达到 Pass^4 = 67.5%，领先于所有前沿模型，并且领先于 RAFT-30B-A3B（61.4%），后者是一个在合成 τ²-bench 零售数据上微调的模型。使用现成
gpt-4.1和追加到提示中的操作手册，它比该微调系统高出 +6.1 分。 - 航空：使用
gpt-5.5时第 1 名，使用gpt-4.1时第 8 名 与已发布的榜单相比，紧凑的 sup3 core 使使用gpt-4.1的智能体达到 Pass^4 = 44%——第 8 名，击败 GPT-5.2（无推理），并几乎追平 Claude Sonnet 4.5。换用更强的基座后，同样的方法直接登顶：使用gpt-5.5的智能体达到 82.0%，超过所有前沿条目（66–72%）。
图 3. ALTK-Evolve 运行与 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 对比。
两个领域传达的信息相同：在模型周围学习指南在不同基础模型上都有效——在零售领域将使用较旧、非推理模型的智能体带入前沿水平，在航空领域将使用前沿模型的智能体带到榜首。
智能体无需更新权重即可改进
在基准上微调模型成本高昂、脆弱，且无法迁移到下一个领域。在这里，ALTK-Evolve 在两个领域中都改善了现成模型上的现成智能体——并在零售领域追平或击败微调系统——仅使用从智能体自身运行中提取的提示级指南，自动完成，无需人工标注，也没有任何测试集泄漏。
链接：
- Prior posts
- ALTK-Evolve 库 — https://github.com/AgentToolkit/altk-evolve
- τ²-bench — https://github.com/sierra-research/tau2-bench
- 零售排行榜提交 — τ²-bench PR #542
- 航空排行榜提交 - τ²-bench PR #551
来源：Hugging Face 社区博客 · huggingface.co
来源：RadarAI · aihot.news