arXiv cs.CL· Shota Fujikawa, Takuya Tamura, Kosuke Akimoto, Daichi Haraguchi, Masafumi Oyamada·· 12 小时前AI 评分34
Agent Behavior Maps:无需运行智能体,用行为坐标定位 LLM 智能体
Agent Behavior Maps: Locating Agents by What They Would Do, Without Running Them
AI 导读
研究者提出 Agent Behavior Maps,用共享参考轨迹上的中心化动作对数似然来表征 LLM 与 harness 组合,无需对目标智能体做新的环境 rollout。在八个交叉评分模型上,坐标距离与直接测得的轨迹 KL 在排序上一致;覆盖 100 个 LLM 和四个环境,ALFWorld 坐标可支持性能预测并识别行为相似性,且在控制成功率和模型规模后仍成立。
正文 · AI 翻译
摘要:成功率相近的 LLM 智能体可能遵循不同的动作序列。Agent Behavior Map 通过在共享参考轨迹上使用中心化动作对数似然来表示 LLM-harness 组合,无需从目标智能体进行新的环境 rollout。我们在明确假设下推导了将平方坐标距离与轨迹 KL 相关联的误差界,并且在八个交叉评分模型中,这些距离按秩次与直接测量的轨迹 KL 一致。在 100 个 LLM 和四个环境中,基于 ALFWorld 的坐标支持性能预测并识别行为相似性。在 ALFWorld 中,这些相似性在控制成功率和模型规模后仍然存在,包括跨模型家族。作为扩展,harness 组件位移近似可组合,其准确性因组件和环境而异。
| 评论: | 23 页,5 张图,12 张表。审稿中 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.30014 [cs.LG] |
| (或 arXiv:2610.30014v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.30014 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Takuya Tamura [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 16:44:02 UTC(324 KB)
来源:arXiv cs.CL · arxiv.org