研究：指令微调令模型数字选择更不均衡

Samar Ansari 发表研究，对 18 个开源模型系列在 N 最大到 100 的五个区间、29 种解码配置下精确计算模型对每个整数赋予的概率，其中 15 组有可用的基座与指令微调配对检查点。研究发现，指令微调使这 15 对模型的数字选择分布全部变得更不均衡。 研究关注的是指令微调如何塑造语言模型的数字选择启发式，即模型在整数之间分配概率的方式。

AI 根据报道生成 · 34 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。