研究：token置信度评分主要反映推理链长度

Pragna Mallappa 发表论文，用频谱分析和突变检测等信号处理工具审计推理语言模型的 token 置信度评分方法。研究发现，按 token 置信度滑动窗口最低值筛选思维链，效果主要来自链长本身：仅按长度排序即可达到同等或更好效果，控制长度后置信度分数不再包含正确性信息。 研究在 500 道数学题上各采样 16 条链，使用小型开源推理模型。频谱分析显示错误链的 token 间波动更快，但信号太弱，无法改善多数投票；提前停止链时，滑动平均和经典变化检测均不如直接少采样几条链。

AI 根据报道生成 · 30 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。