arXiv cs.CL· Zhivar Sourati, Marianne Menglin Liu, Zheng Wang, Rongguang Wang, Sai Ashish Somayajula, Tao Sheng, Kyu J. Han, Sujith Ravi, Dan Roth·· 2 天前AI 评分26
相同上下文，不同智能体：数据智能体中语义层、编排与压缩的行为研究
Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents
AI 导读
研究在五个 benchmark 的 1,514 个长周期任务上，用七款 LLM 分析语义层、编排、压缩三种上下文工程技术单独及组合的效果。无这些技术的数据智能体分为调查者、过早作答者和提前放弃者三类行为组，每种技术只有匹配对应行为组才能转化为准确率提升；对调查者反而有害，编排会使其过度自信并损失 5 个百分点。
正文 · AI 翻译
摘要：对异构数据进行问答意味着要结合来自文件、数据库、文档和网络的证据。数据智能体将这一过程自动化，但其成功取决于上下文。三种上下文工程（CET）技术通过塑造上下文来提供帮助：语义层描述数据，编排在智能体之间分配工作，压缩则精简交互历史。现有研究仅单独验证了每种 CET，尚未揭示智能体行为如何影响其效果。我们对这三种 CET 进行了全面分析，既单独考察也组合考察，使用七个大型语言模型（LLM），在来自五个基准的 1,514 个长时程任务上，覆盖行为、准确率和成本。我们发现，没有 CET 的数据智能体会形成三种行为分组：调查者、未检查数据就作答的过早作答者，以及放弃的提前停止者。每种 CET 都能带来其已知的益处，从更多调查到更小的提示，但只有与其匹配的行为分组才能将这种益处转化为准确率，例如编排下的过早作答者。对于调查者，同样的 CET 反而可能有害：语义层使他们不再查看，编排使他们过度自信，损失 5 个百分点，而压缩使他们重复步骤。组合 CET 带来的收益和损失都小于各自之和。我们据此得出了根据智能体行为、任务需求和准确率-成本权衡来选择 CET 的指导。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20959 [cs.CL] |
| （或 arXiv:2610.20959v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20959 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhivar Sourati [查看电子邮件]
[v1]
2026年10月14日星期三 21:29:59 UTC（1,195 KB）
来源：arXiv cs.CL · arxiv.org