研究:高温下采样器决定长上下文生成质量
热点事件持续更新
研究:高温下采样器决定长上下文生成质量
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Allen G. Roush 等作者发表论文称,开源权重模型“生成越长越差”的问题在高温度下主要由采样器决定,而非需要更多训练。作者测试了 29 个 1B 到 122B 参数的开源模型,覆盖 SWE-bench Verified 编码智能体,并称在高温下,采样器(即从模型概率中挑选下一个 token 的规则)决定长上下文与智能体生成能否维持或改善。 论文同时指出,在默认温度 1 下,多数采样器表现大致相同;作者已公开全部代码和数据。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
论文称长上下文生成退化是采样问题,top-nsigma在高温下保持准确率报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AI论文称长上下文生成退化是采样问题,top-nsigma在高温下保持准确率
论文指出开源权重模型生成越长越差的问题在高温度下主要由采样器决定,而非需要更多训练。作者测试了29个1B到122B参数的开源模型,覆盖SWE-bench Verified编码智能体。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。