arXiv cs.AI· O. Ozan Koyluoglu·· 6 天前AI 评分31
HSAD：用失败经验蒸馏结构化建议，为执行器智能体导航
Hindsight Structured Advice Distillation: Steering Executor Agents with Advisors Trained on Their Failures and Task Characteristics
AI 导读
研究者提出后见之明结构化建议蒸馏（HSAD）：让小型顾问模型读取输入并生成结构化建议，追加到冻结执行器智能体的提示词中，顾问通过分析执行器失败轨迹并由教师模型示范建议来监督微调。
正文 · AI 翻译
摘要：语言模型智能体被用于金融研究、医疗和法律等专业工作。这类智能体往往足以胜任某项任务，却仍会遗漏其细节。例如在金融领域，这些细节包括某个数字出自哪份申报文件，或一家公司如何披露某项指标。重新训练智能体以学习这些细节成本高昂，而且当智能体是封闭或共享系统时往往不可能。把缺失的专门知识写入智能体的提示词，会使提示词变得冗长，且对每个输入都完全相同，尽管不同输入需要不同的指导。我们提出学习生成这种指导，而非直接写入。一个小型顾问模型读取每个输入并写出结构化建议，将其附加到冻结执行器的提示词之后。该顾问采用事后视角进行训练，沿用了带特权信息的蒸馏研究。在一个带有分级答案的训练池上，我们分析执行器的失败，在多种策略下运行它，以查看哪种策略在每个输入上奏效，并让一个能看到分级和轨迹的教师写出本会有帮助的建议。随后，顾问通过监督微调，学习仅从输入写出该建议。由于学生是一个独立的小型模型而非执行器，训练成本低且增加的延迟很小。我们将此方法称为事后结构化建议蒸馏（HSAD）。在 FrontierFinance 这一由专家撰写的金融研究查询公开基准上，一个 8B 顾问将 Samaya 专有研究智能体的合格率从 52.9% 提升至 56.6%，该智能体本就位居该基准排行榜首位。这超过了该智能体自身的高投入配置，且每次查询成本降低 37%。我们研究了所提方法的泛化能力，尤其表明 HSAD 在 WebShop、BIRD text-to-SQL 和 ExpertLongBench 上也改善了结果。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13000 [cs.AI] |
| （或 arXiv:2610.13000v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13000 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Onur Ozan Koyluoglu [查看邮箱]
[v1]
2026年10月9日星期五 05:03:50 UTC（89 KB）
来源：arXiv cs.AI · arxiv.org