arXiv cs.CL· Samar Ansari·· 11 小时前AI 评分31
指令微调如何让语言模型学会并强化数字选择启发式
3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models
AI 导读
研究对 18 个开源模型系列在 N 最大到 100 的五个区间、29 种解码配置下精确计算模型对每个整数赋予的概率，其中 15 组有可用的基座与指令微调配对检查点。
正文 · AI 翻译
摘要：我们测量了语言模型在被要求给出随机数时，为 1 到 N 的每个整数分配的概率，且没有采样误差。对于固定提示，模型定义了一个概率向量，我们通过对每个整数的各个计分拼写求和来计算该向量，而不是通过采样来估计，从而消除了限制早期研究的噪声 [1, 4]。我们评估了 18 个开放权重模型系列，在最高 N = 100 的五个范围、29 种解码配置、两种推理栈下进行；其中 15 个模型具有匹配的基础版和指令微调版检查点，两者都能给出可用答案。指令微调使全部 15 对模型的分布都变得更不均匀。它引入了一种启发式规则——回避整数，并强化了另一种——回避端点。一旦从这些集合中移除端点，基础版检查点就不再回避整数；微调版检查点会回避它们，几乎完全回避 10 的倍数。基础版检查点返回端点 1 和 N 的比率是内部比率的 0.30 到 0.60；微调版检查点几乎从不返回它们。对奇数的偏好仅在 N = 100 时在微调版检查点中一致出现，此时基础版检查点也表现出微弱的偏好。端点回避和奇数偏好符合 Kubovy 和 Psotka [6] 为人类数字选择提出的解释；回避整数不属于该解释的一部分，而它预测的中点回避基本上不存在，仅在 N = 100 时有一个轻微例外。微调并未引入一个跨模型共享的新偏好整数：在 N = 10 以上，没有任何众数整数被超过 42% 的微调条件共享，且 P (17) 在 15 对中有 10 对上升、5 对下降。这种集中现象存在于模型自身的分布中：在温度 1.0 下，top-p 0.95 的核截断使总变差距离的中位数增加 0.035。
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.36178 [cs.CL] |
| （或 arXiv:2610.36178v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36178 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Samar Ansari Ph.D. [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 19:12:46 UTC（132 KB）
来源：arXiv cs.CL · arxiv.org