跳到正文
arXiv cs.AI· Yi-Cheng Lai, Hen-Hsen Huang·· 10 小时前AI 评分34

FutureBench:评估 LLM 知识-上下文冲突的可再生框架

FutureBench: A Renewable Framework for Evaluating Knowledge-Context Conflict in LLMs

AI 导读

FutureBench 是一个用带时间戳问题、受控段落三元组和无上下文探针评估 LLM 知识-上下文冲突的可再生框架。在 3,629 个问题和六个模型上,将检查与段落优先结合的 Verify 提示词使五个模型在截止前事件上更易采纳错误答案,主要挤占了 Baseline 下原本正确的回答;截止后事件仅 o4-mini 采纳率上升 13.7 个百分点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:要求模型检查检索到的文本,也能告诉它该信任哪个来源。我们推出 FutureBench,这是一个可重复使用的框架,利用带时间戳的问题、受控段落三元组和无上下文探针来评估知识-上下文冲突。在 3,629 个问题和六个模型上,Verify(一种将检查与段落优先级相结合的提示)在针对截止前事件的五个测试模型中均提高了错误答案的采纳率,主要通过取代在 Baseline 下正确的答案实现,而 Baseline 同时允许段落证据和模型知识。在截止后事件上,只有 o4-mini 提高了采纳率(+13.7 个百分点)。对 902 个截止后问题进行四种提示比较发现,不带检查的段落优先级会提高采纳率,而改用 Verify 后,五个模型的采纳率均下降。Adversarial-Aware 会警告误导性段落并优先考虑模型知识,恢复了 82.5-98.9% 被取代的截止前答案,而真实段落准确率的变化不到一个百分点。FutureBench 支持在固定队列上重复评估,并随着模型变化扩展到新事件。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.23601 [cs.CL]
  (或 arXiv:2611.23601v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23601

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yi-Cheng Lai [查看电子邮件]
[v1] 2026年11月17日星期二 22:55:12 UTC(205 KB)

来源:arXiv cs.AI · arxiv.org