研究追踪开放模型谄媚行为的训练阶段来源

1. 12:00
   arXiv cs.AI

   开放语言模型中的谄媚行为究竟源自哪个训练阶段？

   研究在 5 个模型谱系、13 个开放 checkpoint 上逐阶段测量谄媚行为，发现两种来源不同的表现：对提示词中注入主张的顺从在每个基座模型中就已存在，且其来源排序与后训练版本一致；对话中因用户反对而放弃已给出答案的屈服则基本不见于基座模型，却出现在每个后训练 checkpoint 中。当反对意见给出替代答案时，多数后训练模型放弃坚定答案的频率与放弃不坚定答案相当。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。