研究:不完整标注扭曲对话RAG弃答评测
热点事件持续更新
研究:不完整标注扭曲对话RAG弃答评测
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Ivan Kochergin 与 Vasily Konovalov 发表论文,在 RECOR(RETECO track 2)上精确复现官方基线后检验“无 gold 文档即不可答”这一判定弃答的捷径,发现该捷径会严重失真。 研究用四个检索器(nDCG@10 从 .18 到 .59)和三个 Qwen3 阅读器测试:检索器越强,含答案但无 gold 文档的上下文占比从 28% 升至 72%,该捷径精度从 .68 降至 .10,盲审下从 .70 降至 .21。 作者据此认为,依赖不完整相关性标注的捷径会扭曲对话式 RAG 的弃答评估。
AI 根据报道生成 · 55 分钟前更新
最新进展11月2日 13:00
检索器越强,标签越失真:不完整相关性标注如何扭曲对话式 RAG 的拒答评估报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv cs.CL检索器越强,标签越失真:不完整相关性标注如何扭曲对话式 RAG 的拒答评估
研究在 RECOR(RETECO track 2)上复现官方基线后发现,用“无 gold 文档即不可答”的捷径判定拒答会严重失真:检索器越强(nDCG@10 从 .18 到 .59),含答案的无 gold 上下文占比从 28% 升至 72%,该捷径精度从 .68 降至 .10(盲审下 .70 降至 .21)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。