arXiv cs.AI· Nipun D. Pathirage, Kwan Srijomkwan·· 1 天前AI 评分38
研究：LLM 何时会超出静态内部记忆去搜索？GPT-5 mini 与 Grok 4 Fast 行为对比
Confident Fools or Careful Searchers? A Behavioural Study of When LLMs Search Beyond Their Static Internal Memory
AI 导读
一项新基准用 400 道选择题测试五款商用 LLM 的搜索决策，题目混合应直接作答的常识题与训练截止后新闻事实题。GPT-5 mini 和 Grok 4 Fast 对超 90% 的时效题触发搜索、仅 1% 的常识题搜索，而 Mistral Small 只搜索 20% 的时效题、常选择弃答。在无显式时间线索的时效题上，两款选择性模型的 NAS 从约 0.72 降至 0.57–0.58。
正文 · AI 翻译
摘要：具备智能体能力的 LLM 助手必须反复决定是从记忆中作答，还是调用网络搜索等工具。不必要的搜索会带来延迟和成本；而遗漏搜索则会给出自信但缺乏依据的答案。以往的工作大多衡量口头表达的置信度，或训练新的自适应检索方法，很少审计已部署产品实际做出的搜索决策。我们提出了一个包含 400 道多项选择题的基准，它将应直接作答的广为人知的内部知识（IK）问题，与关于模型训练截止日期（据我们所知）之后发布的新闻事实的外部知识（OK）问题相结合，后者应触发搜索，或在没有工具时选择弃答。每道题都提供一个弃答选项，以及两个动作级评分 NAS 和 KIS，分别奖励在 OK 问题上进行搜索、在 IK 问题上保持克制。在五款商用 LLM（分别启用和不启用其厂商的网络搜索）中，GPT-5 mini 和 Grok 4 Fast 对超过 90% 的 OK 问题进行了搜索，但仅对 1% 的 IK 问题进行了搜索；而 Mistral Small 仅对 20% 的 OK 问题进行了搜索，常常选择弃答而非使用其工具；某款产品的搜索指示器被证明不可用。搜索部分是由明确的时间线索触发的：在无提示的 OK 问题上，两个有选择性的模型的 NAS 从约 0.72 降至 0.57--0.58。因此，这些评分衡量的是特定产品的搜索触发情况，而非严格意义上的元认知。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41124 [cs.AI] |
| （或 arXiv:2610.41124v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41124 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pathirage Deelaka Nipun [查看电子邮件]
[v1]
2026年10月30日星期五 01:28:38 UTC（1,321 KB）
来源：arXiv cs.AI · arxiv.org