后训练改变语言模型内部计算信息利用
热点事件持续更新
后训练改变语言模型内部计算信息利用
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Niall Dalton 提交的论文追踪 Olmo-3-7B-Instruct 在连续 SFT、DPO、RLVR 检查点上的多位数加法表现,考察后训练如何影响模型的口头算法计算能力。 研究发现,SFT 与 RLVR 的探针从模型内部激活中恢复进位信息的准确率相近,但操纵该信息无法可靠控制模型输出,即内部可读出进位状态并不等于能据此左右答案。
AI 根据报道生成 · 55 分钟前更新
最新进展11月11日 13:00
后训练如何影响语言模型的口头算法计算能力报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- arXiv cs.CL后训练如何影响语言模型的口头算法计算能力
研究追踪 Olmo-3-7B-Instruct 在连续 SFT、DPO、RLVR 检查点上的多位数加法表现,发现 SFT 与 RLVR 的探针从内部激活中恢复进位信息的准确率相近,但操纵该信息无法可靠控制模型输出。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。