arXiv cs.CL· Jian Mu, Ruibo Shen, Yao Shu·· 12 小时前AI 评分48
你的策略暗藏一套 Harness：智能体接口的决策几何
Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces
AI 导读
研究揭示语言模型智能体的策略会携带其训练 harness 的偏好，在 KL 正则化控制下最优策略的 log odds 可还原 harness 对各动作的偏好强度。
正文 · AI 翻译
摘要：语言模型智能体通过一套 harness（即向模型呈现任务并执行其输出的提示、工具与控制逻辑）进行后训练与部署。harness 往往会被修改，并依据一个已训练好的模型在其下的表现来评判，这假定模型在某一 harness 下学到的东西能延续到下一个 harness。我们追问：策略从 harness 中学到了什么，以及当 harness 改变时什么会保留下来。在 KL 正则化控制下，我们证明最优策略的对数几率反映了其 harness 对每个动作相对于其他动作的偏好强度，因此训练后的策略携带了其 harness 的偏好。于是部署回报等于 harness 的上限（即它所能提供的最佳回报）减去策略的失配（即因其自身次优决策而损失的回报）。训练只改变失配，而更换 harness 会同时移动这两项。因此，用固定模型比较不同 harness，会把每个 harness 所提供的东西与该模型对其利用的好坏混在一起。在 MiniWoB++ 中，后训练使模型的偏好变得特定于其训练 harness。颠倒观测字段的顺序不会改变任何最优决策，却使训练后模型的成功率从 85.0% 降至 19.2%。反过来，每一个被固定模型比较所拒绝、但提高了上限的新 harness，在对其进一步训练后都优于原始智能体，且事先测得的上下限与失配可以预测这些增益。对于 Terminal-Bench Lite 上的编码智能体 harness，用更强的模型作为最优值的替代来估计的上限减失配能够复现准确率排名，而单独任一项则不能。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37255 [cs.LG] |
| （或 arXiv:2610.37255v1 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.37255 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jian Mu [查看邮箱]
[v1]
2026年10月27日 星期二 13:52:25 UTC（324 KB）
来源：arXiv cs.CL · arxiv.org