The Decoder· Jonathan Kemper·· 2 小时前AI 评分40
Nvidia 研究者称超大 AI 上下文窗口是死路一条
Nvidia researchers argue huge AI context windows are a dead end
AI 导读
Nvidia 研究团队认为,超大上下文窗口往往是过度且昂贵的方案,定期摘要加定向检索在多项测试中效果相当。GPT-4 于 2023 年 3 月发布时上下文为 8,192 tokens,而如今 GPT 5.6 Sol 可处理约 100 万 tokens,约为前者的 120 倍。
正文 · AI 翻译

由 THE DECODER 提供提示词的 Nano Banana Pro
语言模型现在可以一次性处理整部小说。Nvidia 的一个研究团队表示,这往往既过度又昂贵。在许多测试中,定期摘要和定向查找的效果大致相当。
语言模型的上下文窗口就是它的工作记忆,涵盖它在生成回复时所能看到的一切内容。过去几年里,这个窗口迅速扩大。GPT-4 于 2023 年 3 月发布,上下文窗口为 8,192 个 token。如今,GPT 5.6 Sol 可处理约一百万个 token,约为前者的 120 倍,足以容纳托尔斯泰的《战争与和平》。
来源:The Decoder · the-decoder.com