新基准测试LLM何时该搜索
热点事件观察中
新基准测试LLM何时该搜索
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Nipun D. Pathirage 与 Kwan Srijomkwan 提出一个含 400 道选择题的基准，用来评估大模型何时应直接作答、何时应调用搜索。题目混合两类：一类是应凭内部知识直接回答的常识题，另一类是训练截止后发布的新闻事实题，后者应触发搜索，无工具时应弃答。 测试五款商用模型后，GPT-5 mini 与 Grok 4 Fast 对超过 90% 的时效题触发搜索，仅对约 1% 的常识题搜索；Mistral Small 只搜索 20% 的时效题，且常选择弃答。在无显式时间线索的时效题上，两款选择性模型的 NAS 从约 0.72 降至 0.57–0.58。
AI 根据报道生成 · 49 分钟前更新
最新进展11月2日 13:00
研究：LLM 何时会超出静态内部记忆去搜索？GPT-5 mini 与 Grok 4 Fast 行为对比报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.AI研究：LLM 何时会超出静态内部记忆去搜索？GPT-5 mini 与 Grok 4 Fast 行为对比
一项新基准用 400 道选择题测试五款商用 LLM 的搜索决策，题目混合应直接作答的常识题与训练截止后新闻事实题。GPT-5 mini 和 Grok 4 Fast 对超 90% 的时效题触发搜索、仅 1% 的常识题搜索，而 Mistral Small 只搜索 20% 的时效题、常选择弃答。在无显式时间线索的时效题上，两款选择性模型的 NAS 从约 0.72 降至 0.57–0.58。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。