arXiv cs.AI· Diksha Gupta, Rieke Fruengel, Stefan Heimersheim·· 13 小时前AI 评分26
语言模型中的星期流形并非连续圆环，而是七个离散状态
Spokes, not a Ring: Revisiting the Weekday Manifold in Language Models
AI 导读
研究检验了语言模型中星期概念的连续流形假设，发现其表示更像排列成圆形的七个离散状态而非连续圆环。局部敏感性存在七个与星期对齐的极小值，沿流形引导时表示与行为呈阶梯式映射；时刻、不确定性及自然文本均未填充中间空间。结果挑战了星期流形的连续解读，并提示需检验其他表示流形上的移动是否对应有意义的变化。
正文 · AI 翻译
摘要：近期研究假设，大语言模型可能将某些概念表示为多维流形，而非单一方向。利用这些流形来解释或引导表示时，通常假设沿流形移动对应于所表示概念的连续变化。在本工作中，我们在典型的星期流形上检验这一连续流形假设。尽管其具有引人注目的圆形几何结构，我们发现星期表示的行为更像排列在圆上的七个离散状态，而非一个连续的环。首先，我们表明局部敏感性有七个与星期对齐的极小值，在流形上引导时产生表示与行为之间的阶梯状映射。其次，我们检验是否有任何概念沿流形在七个离散状态之外被表示，发现一天中的时间、不确定性以及自然文本均未填充中间空间。总之，这些结果挑战了对星期流形的连续解释，并促使我们检验沿其他表示流形的移动是否对应于模型表示和行为的有意义变化。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37796 [cs.LG] |
| （或 arXiv:2610.37796v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37796 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Diksha Gupta [查看电子邮件]
[v1]
2026年10月27日星期二 18:15:59 UTC（3,829 KB）
来源：arXiv cs.AI · arxiv.org