arXiv cs.AI· Okan S. Coskun, Florian Rottach, Carsten Eickhoff, William Rudman·· 1 天前AI 评分26
各向同性悬崖：大语言模型决策过程的几何特征
Isotropy Cliffs: The Geometric Signature of Decision-Making in Large Language Models
AI 导读
研究从各向同性视角分析五个开放权重模型在多项选择问答中的决策几何，发现存在各向同性发生转变的决策关键过渡层，该层伴随显著表征变化与任务相关簇的出现。这一几何行为与下游准确率强相关（r≈0.84），且对提示词变化保持稳健，表明其反映模型行为的通用机制。
正文 · AI 翻译
摘要：我们通过各向同性的视角，研究多项选择问答（MCQA）中决策的几何结构。通过分析五个开放权重模型在多种数据集上的表现，我们识别出决策关键过渡层，其特征是各向同性的转变，同时伴随显著的表示变化和任务相关聚类的出现。我们证明，这种同步的几何行为与下游准确率高度相关（$r\approx0.84$），显示出其对成功决策的重要性。此外，我们表明这种过渡对提示变化具有鲁棒性，表明它反映了模型行为的一般机制。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.00828 [cs.AI] |
| （或 arXiv:2608.00828v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.00828 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Okan Selim Coskun [查看电子邮件]
[v1]
2026年8月1日星期六 19:11:10 UTC（2,927 KB）
[v2]
2026年11月11日星期三 15:45:01 UTC（2,989 KB）
来源：arXiv cs.AI · arxiv.org