研究：LLM任务越难表示越稀疏，提出SG-ICL
热点事件持续更新
研究：LLM任务越难表示越稀疏，提出SG-ICL
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Mingyu Jin等作者发表论文称，大语言模型面对越难的输入，最后一层隐藏状态会系统性变稀疏，即“任务越难，表示越稀疏”，这一规律在多种模型和领域上均可观察到。 受控实验显示，表示密度是模型习得的数据熟悉度属性：已掌握的模式形成丰富的分布式表示，陌生输入则默认更稀疏激活。 基于此，作者提出SG-ICL，用稀疏度匹配查询难度的少样本示例，并称其在MATH-500上优于标准CoT和Auto-CoT基线。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
任务越难表示越稀疏：分析 LLM 的 OOD 机制报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CL任务越难表示越稀疏：分析 LLM 的 OOD 机制
研究发现 LLM 面对更难输入时，最后一层隐藏状态会系统性变稀疏，即“任务越难，表示越稀疏”，该规律在多种模型和领域上均可观察到。受控实验表明表示密度是模型习得的数据熟悉度属性：已掌握的模式形成丰富分布式表示，陌生输入则默认更稀疏激活。基于此提出的 SG-ICL 用稀疏度匹配查询难度的少样本示例，在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。