跳到正文
热点事件持续更新

FutureBench:评估LLM知识-上下文冲突的新框架

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Yi-Cheng Lai 与 Hen-Hsen Huang 提出 FutureBench,一个用带时间戳问题、受控段落三元组和无上下文探针评估大模型知识-上下文冲突的可再生框架。 在 3,629 个问题和六个模型上,将检查与段落优先结合的 Verify 提示词使五个模型在截止前事件上更易采纳错误答案,主要挤占了 Baseline 下原本正确的回答;截止后事件仅 o4-mini 采纳率上升 13.7 个百分点。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    FutureBench:评估 LLM 知识-上下文冲突的可再生框架

    FutureBench 是一个用带时间戳问题、受控段落三元组和无上下文探针评估 LLM 知识-上下文冲突的可再生框架。在 3,629 个问题和六个模型上,将检查与段落优先结合的 Verify 提示词使五个模型在截止前事件上更易采纳错误答案,主要挤占了 Baseline 下原本正确的回答;截止后事件仅 o4-mini 采纳率上升 13.7 个百分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。