arXiv cs.AI· Zheng Huang, Sansheng Cao, Enpei Zhang, Weikang Qiu, Elynn Chen, Xiang Zhang, Yaoqing Yang, Rex Ying, Dawei Zhou, Yujun Yan·· 9 天前AI 评分25
LLM 推理能力的小世界连接特征：从注意力头功能图到 SWA 稀疏分配
Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance
AI 导读
研究者从注意力头激活相似度构建功能图，发现小世界指数（SWI）越高，LLM 流体推理表现越好，该相关性跨模型和训练检查点一致。基于此提出 Small-World Allocation（SWA）分层稀疏分配方法，在六个 LLM 上比竞争策略更好地保留小世界结构与模型性能，WikiText 困惑度最多降低 20%。
正文 · AI 翻译
摘要：理解大语言模型（LLM）的推理能力，需要超越行为表现，考察推理能力如何反映在内部组织中。受神经科学发现的启发——更高的智力与功能性脑网络中更强的小世界组织相关——我们研究小世界连接性作为 LLM 推理的结构性标志。我们从注意力头激活相似度构建功能图，发现更高的小世界指数（SWI）——捕捉局部聚类和短全局路径——在模型和训练检查点中始终与更好的流体推理表现相关。由于局部聚类是小世界组织的核心，我们进一步考察对模型性能重要的注意力头如何在社区内部和跨社区之间连接。我们发现这些头往往在其自身社区内拥有更大的连接权重份额（高核心分数），并且在跨社区间具有更集中的权重分布（低桥接分数）。这些观察促使我们提出假设：高核心分数和低桥接分数可作为推理能力中头重要性的结构性指标。我们通过剪枝验证这一假设，提出了小世界分配（SWA），一种由这些分数引导的分层稀疏分配方法。在六个 LLM 上，SWA 比竞争性分配策略更好地保留小世界组织和模型性能，将 WikiText 困惑度最多降低 20%。总之，这些发现将小世界功能连接性确定为 LLM 推理性能的可测量标志，提供了补充行为评估的结构性视角。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12304 [cs.AI] |
| （或 arXiv:2610.12304v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12304 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zheng Huang [查看邮箱]
[v1]
2026年10月8日星期四 16:53:45 UTC（449 KB）
来源：arXiv cs.AI · arxiv.org