arXiv·· 13 天前AI 评分40
基础模型可借助训练数据中的起始 token 线索进行推理
Base Models Can Reason By Taking a Cue From Training Data
AI 导读
研究发现，固定基础模型回复开头的特定 token 线索，可让其数学与代码能力追平经 RL 训练的版本：线索 ".\n\nOkay" 将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升至 78%，"Alright," 将 Qwen3-14B 从 72% 提升至 87%。RL 训练会提高这些线索的出现概率，而固定这些线索即可恢复其大部分性能。
来源：arXiv · arxiv.org