arXiv cs.AI· Allen G. Roush, Minh Nhat Nguyen, Ravid Shwartz-Ziv, Judah Goldfeder, Sanjay Basu·· 4 小时前AI 评分58
论文称长上下文生成退化是采样问题,top-nsigma在高温下保持准确率
Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)
AI 导读
论文指出开源权重模型生成越长越差的问题在高温度下主要由采样器决定,而非需要更多训练。作者测试了29个1B到122B参数的开源模型,覆盖SWE-bench Verified编码智能体。
正文 · AI 翻译
摘要:开放权重语言模型被广泛观察到生成时间越长效果越差。通常,修复这一问题的尝试涉及更多训练。在高温下,采样器,即从模型概率中挑选下一个 token 的规则,决定了长篇幅和智能体式生成能否存活和/或繁荣。我们在十个成熟基准以及长达一百万 token 的针检索上测试了 29 个开放权重模型(参数从 1B 到 122B),涵盖 SWE-bench Verified 编码智能体、长思维链推理、长篇写作、长结构化输出和长上下文阅读。随着温度升高,那些保持候选 token 池小而稳定的采样器不会损失准确率。那些让低概率 token 进入的采样器则会崩溃。在温度 2 下,运行 top-p、top-k 或 Top-H 的编码智能体解决了 100 个 GitHub issue 中的 0 个,而运行 top-nsigma 的相同智能体解决了 46 到 62 个,并在三个 Qwen3.5 模型上赢下了两个采样器意见不一致的每一个 issue。在所有基准上,top-nsigma 保持了温度 1 得分的中位数 100%,而 top-p 仅保持 26%。统计每个采样器放行多少 token 可以解释原因。在一个 Llama-3.1-8B 的故事中,从温度 1 到 2,top-p 的池从 4 个 token 增长到 51,845 个,而 top-nsigma 保持在 3 个。在采样器设置和温度的 133 种组合中,典型池大小可预测评判质量(Spearman 相关系数为 -0.77),并且当我们在温度 1 下选择池、之后仅应用温度时,Top-H、min-p 和 p-less 不再崩溃。在默认温度 1 下,大多数采样器表现大致相同。我们向公众发布所有代码和数据。
| 评论: | 10 页,已被第 40 届神经信息处理系统大会(NeurIPS 2026)接收。评估与数据集方向 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22148 [cs.AI] |
| (或 arXiv:2611.22148v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22148 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Allen Roush [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 03:30:03 UTC(457 KB)
来源:arXiv cs.AI · arxiv.org