arXiv cs.AI· Wei Chen, Peilun Zhou, Zhaoyu Hu, Jiajun Chai, Derong Xu, Zhongni Hou, Yufei Zhang, Guojun Yin, Wei Lin, Zhi Zheng, Tong Xu·· 13 小时前AI 评分40
ATLAS：美团小团工具调用智能体的双时间尺度诊断评估框架
ATLAS: Dual-Horizon Diagnostic Evaluation for Tool-Use Agents in Meituan Xiaotua
AI 导读
美团提出 ATLAS 双时间尺度诊断评估框架，用于工业级工具调用智能体：轮内评估沿思考、反思、工具与技能执行、回复生成追踪执行失败，跨轮评估则诊断多生命周期中用户意图、约束与纠正的维护问题。该框架已在百万级 DAU 的本地生活助手美团小团落地，14 天在线 A/B 测试（每组近 200 万用户）显示答案阅读率提升 2.84%、支付订单量提升 6.13%，并已全量上线。
正文 · AI 翻译
作者：Wei Chen、Peilun Zhou、Zhaoyu Hu、Jiajun Chai、Derong Xu、Zhongni Hou、Yufei Zhang、Guojun Yin、Wei Lin、Zhi Zheng、Tong Xu
摘要：基于大语言模型的助手在网页级服务平台中，正越来越多地通过多步规划和工具使用来满足本地服务需求。在动态业务条件和不断变化的用户需求下，结果层面的评估难以提供充分证据来说明执行在何处失败，或服务在持续交互中如何发生漂移。我们提出 ATLAS，一个面向工业级工具使用智能体的双时间跨度诊断评估框架。轮内评估使用跨思考与反思、工具与技能执行以及响应生成的轨迹级信号，以识别执行失败和未满足的能力需求。跨轮评估使用跨越多个生命周期的用户级信号，以诊断在维持或更新用户意图、约束和纠正方面的失败。细粒度信号使用基于规则的检查和带明确证据范围与决策边界的 LLM 判断。为支持生产规模下的可靠诊断，LLM 评判器依据业务日志中动态维护的参考进行校准，并将选定的评判器蒸馏为紧凑的诊断模型。由此得到的诊断画像帮助开发者归因失败、优先安排针对性干预并重新评估改进效果。ATLAS 应用于美团小团——一个百万级日活的本地服务助手——在经校准的评判器和蒸馏模型上实现了高诊断保真度。盲测人工审计和一项每组近两百万用户的 14 天在线 A/B 测试证实，ATLAS 引导的智能体提升了推荐相关性、事实可靠性、用户参与度（答案阅读率 +2.84%）和订单量（已支付订单 +6.13%），并最终实现全面生产部署。
| 评论： | 19 页；项目主页为 此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.30685 [cs.AI] |
| （或 arXiv:2608.30685v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.30685 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wei Chen [查看邮箱]
[v1]
2026 年 8 月 31 日星期一 12:25:24 UTC（7,470 KB）
[v2]
2026 年 10 月 29 日星期四 08:57:19 UTC（1,961 KB）
来源：arXiv cs.AI · arxiv.org