研究称LLM隐藏状态存在稀疏奖励子系统
热点事件持续更新
研究称LLM隐藏状态存在稀疏奖励子系统
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Guowei Xu、Mert Yuksekgonul 与 James Zou 发表论文称，大语言模型隐藏状态中的奖励相关信息集中在稀疏的神经元子集上。 他们通过简单探针识别出两类神经元：一类是激活值预测状态价值的 value neurons，另一类是编码步级时序差分（TD）误差的 dopamine neurons。论文称二者共同构成 LLM 隐藏状态中的稀疏奖励子系统。
AI 根据报道生成 · 51 分钟前更新
最新进展11月5日 13:00
大语言模型中的稀疏奖励子系统报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CL大语言模型中的稀疏奖励子系统
研究发现 LLM 隐藏状态中的奖励相关信息集中在稀疏的神经元子集上，通过简单探针可识别出两类神经元：激活值预测状态价值的 value neurons，以及编码步级时序差分（TD）误差的 dopamine neurons，二者共同构成 LLM 隐藏状态中的稀疏奖励子系统。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。