arXiv cs.CL· Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing, Jingqi Tong, Hao Xu, Qi Zhang, Xuanjing Huang·· 10 天前AI 评分26
LiveMACE：在动态市场中过程感知评估 LLM 智能体能力
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
AI 导读
研究者推出 LiveMACEBench，一个以实时金融市场为自然演化测试床、面向持久 LLM 智能体的过程感知基准，让五个前沿 LLM 在匹配的 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 配置下连续运行。
正文 · AI 翻译
作者：Jun Zhao、Leiming Fu、Yanbo Wen、Yiding Wang、Xuantong Liu、Yang Shu、Yuyang Lu、Xuanran Xing、Jingqi Tong、Hao Xu、Qi Zhang、Xuanjing Huang
摘要：仅凭结果来评估智能体，可能会掩盖产生这些结果的能力。这一问题在动态变化的环境中尤为突出，因为结果反映的是智能体行为与不断变化的外部条件之间的闭环交互。我们提出 LiveMACEBench，这是一个过程感知的基准测试，利用实时金融市场作为自然演化的测试平台，用于评估持久性 LLM 智能体。五个前沿 LLM 在匹配的工具使用、持久记忆、规则遵循和多智能体协作配置下，沿连续轨迹运行。我们通过已实现的结果以及从完整决策轨迹中得出的机制特定诊断指标对它们进行评估。在为期 30 天的实时评估中，我们发现存在显著的结果—能力差距：已实现收益往往与能力特定测量结果不一致，而相似的结果可能源自截然不同的机制使用模式。轨迹级诊断进一步揭示了各项能力上的不同瓶颈，表明机制可及性、有效机制使用和下游性能并非可互换的智能体能力衡量标准。LiveMACEBench 使这一区分变得可测量，将实时市场从性能排行榜转变为智能体能力的诊断环境
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09872 [cs.AI] |
| （或 arXiv:2610.09872v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09872 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jun Zhao [查看电子邮件]
[v1]
2026年10月7日星期三 11:33:21 UTC（6,239 KB）
来源：arXiv cs.CL · arxiv.org