研究：语言模型答案在状态空间中收敛
热点事件持续更新
研究：语言模型答案在状态空间中收敛
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Shailesh Rana 提交的论文称，语言模型回答事实性问题时，内部状态会向共享的“答案质心”收敛。研究在 Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B 四个开源模型上输入 2,256 个事实性问题，发现答案在网络 47%-71% 深度处的某一层突然变得可读。 在网络后段把答错问题的状态移向正确答案质心，模型在 83%-97% 的情况下改答正确；同等幅度的随机移动仅 2%-4% 有效。上述结果均为该论文报告，尚未见独立验证。
AI 根据报道生成 · 58 分钟前更新
最新进展10月21日 12:00
语言模型如何在内部收敛到答案：Llama、Qwen、Gemma 四模型研究报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.CL语言模型如何在内部收敛到答案：Llama、Qwen、Gemma 四模型研究
研究者在 Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B 四个开源模型上输入 2,256 个事实性问题，发现同答案问题会在状态空间中收敛到共享的“答案质心”，且答案在网络 47%-71% 深度处的某一层突然变得可读。网络后段将答错问题的状态移到正确答案质心，可使模型在 83%-97% 的情况下改答正确，而同等幅度随机移动仅 2%-4% 有效。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。