跳到正文
arXiv cs.CL· Tung Thanh Hoang·· 11 小时前AI 评分58

论文:工具型智能体的数据保真度随表格规模崩塌,而非对话轮数

Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent

AI 导读

一项在生产级差旅智能体上的对照实验显示,把工具返回的结构化记录直接放进规划器上下文并在每轮重新输出(SYNTHESIS),24 段对话中仅 45.7% 的轮次完全正确,而把记录留在会话状态、经确定性过滤后通过类型化旁路通道交付(BYPASS)达到 92.3%,配对差距 +46.6pp。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:当多轮智能体将工具的结构化记录送入模型上下文并在每一轮重新输出时,每一轮都可能破坏工具原本正确计算的数据。我们在一个生产环境的奖项旅行智能体中对此进行了测量:两种架构使用完全相同的冻结载荷、谱系匹配的提示和采样,仅在交付架构上不同。SYNTHESIS 将完整记录集送入规划器的上下文,并在模型内部回答后续问题;BYPASS(已部署系统)将记录保存在会话状态中,将后续问题转换为确定性过滤器的参数,并通过类型化侧信道交付行。在 24 段对话中(每种条件 339 个评分轮次),BYPASS 有 92.3% 的轮次完全正确,SYNTHESIS 为 45.7%(配对差距 +46.6 个百分点 [+35.7, +57.1])。按捕获日期改变交付表的大小,SYNTHESIS 从 10 行或更少时的近乎完美,下降到超过约 74 行时的 8% 或更低。在内容受控的前缀阶梯上,崩溃阈值按模型能力排序,从不到 10 行(GPT-4o-mini)到约 198 行或更多(Gemini 2.5 Pro),而 BYPASS 在所有四个模型上都保持大小无关的平稳。这种崩溃代价高昂:超过 100 行时,几乎没有 SYNTHESIS 答案正确,每个正确答案的成本约为 BYPASS 平稳的 \$0.012 的 200 倍。从业者一致采用类型化侧信道交付是为了渲染,而非正确性;我们表明,这在不知不觉中也是一个正确性决策。
评论: EMNLP 2026 第二届智能体语言模型研究研讨会(REALM)的非存档论文。21 页,5 幅图
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.00442 [cs.CL]
  (或 arXiv:2611.00442v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.00442

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tung Hoang [查看电子邮件]
[v1] 2026 年 10 月 30 日星期五 22:50:32 UTC(142 KB)

来源:arXiv cs.CL · arxiv.org