arXiv cs.CL· Wei Guo, Yuanjian Xu, Jianing Hao, Yongyao Duan, Ran Chen, Zhong Li, Guang Zhang·· 12 小时前AI 评分38
如何弥合 LLM 基础能力与智能体能力之间的鸿沟
Bridging Foundational and Agentic Capabilities of LLMs
AI 导读
研究者提出一个操作级测量框架，用能力基准构建基础画像、用交互轨迹构建操作画像，并将"能力实现差距"定义为实际操作表现相对基础能力预测的偏离。在 τ²-Bench 上对 15 个模型服务的实验显示，基础画像只能部分预测智能体操作，画像相近的模型在执行上可能差异显著，且差距在不同任务子集上保持一致；操作画像能补充信息并显著提升任务得分预测。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地作为智能体部署，但其基础能力如何转化为智能体能力仍不明确。端到端得分无法解决究竟是基准能力低还是部署薄弱导致失败的问题，限制了可操作的诊断。我们通过操作级测量框架连接基础能力与智能体能力。我们用源自能力基准的基础画像和源自交互轨迹的操作画像来表示每个模型，并将能力实现差距定义为观测到的操作性能与基于基础能力的预测之间的偏差。在 $\tau^2$-Bench 中对十五个模型服务的实验表明，基础画像只能部分预测智能体操作。具有可比画像的模型在执行上可能差异很大，而这些差距在不同任务子集上保持一致。操作画像增加了信息，并显著改善了任务得分预测。该框架在操作层面定位执行偏差，为模型开发和智能体评估提供依据。我们将发布代码和分析产物。
| 主题： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.29751 [cs.CL] |
| （或 arXiv:2610.29751v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29751 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Guo [查看邮箱]
[v1]
2026年10月21日 星期三 13:50:43 UTC（783 KB）
来源：arXiv cs.CL · arxiv.org