arXiv cs.CL· Danny Kim, Fernando Koch·· 10 小时前AI 评分31
AI 智能体究竟需要多少对话历史？BEAM 基准上的 token 预算与得分权衡研究
How Much Conversation History Does an AI Agent Need?
AI 导读
研究在 1,100 道 BEAM 问题上固定检索排序与 reader，测试五种 passage 预算，发现平均得分随预算增大而上升，但高预算区间每增加一个 token 的得分增益递减。在带明确对话状态目标的受控任务中，保留用户消息时 Qwen 更常匹配完整状态，但当答案依赖对早前提议的引用时其完整状态匹配率下降；Mistral 在各保留条件下结果接近下限。评分审计未能确定 BEAM 答案的正确性。
正文 · AI 翻译
摘要：使用更少的对话历史会如何改变 reader-token 的使用量和基准分数？我们在 1,100 个 BEAM 问题上考察了这个问题。我们在五个固定的段落预算下保持检索排序和 reader 不变，平均分配分数随着段落预算的增加而上升。在上限测试预算下，每增加一个 token 带来的分数增益变小。可回答的问题通常在有更多上下文时获得更高的分数。合并的弃权分数有时随着段落预算的缩小而上升。我们还在一个具有明确对话状态目标的受控任务中测试了消息保留，并将保留的用户消息与 token 匹配的近期性进行了比较。当保留用户消息时，Qwen 在直接需求上更频繁地匹配完整状态。当答案依赖于对先前提议的引用时，其完整状态匹配率下降。Mistral 在各项保留条件下产生的结果接近下限。评分审计使 BEAM 答案的正确性仍未得到解决。这些实验描述了所测试的记忆预算对 token 和分数的影响。可靠的预算选择取决于保留每个问题所需的证据，并验证用于评估答案质量的度量。
| 评论： | 10 页，6 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.09662 [cs.CL] |
| （或 arXiv:2611.09662v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09662 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fernando Koch [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 16:09:04 UTC（165 KB）
来源：arXiv cs.CL · arxiv.org