arXiv cs.CL· Kwan Soo Shin (ComplexSystems Research)·· 10 小时前AI 评分29
平坦模型中的弯曲知识：大规模构建专家级 AI 的算术约束
Curved Knowledge in Flat Models: Building Expert AI at Scale
AI 导读
一项对已发布双曲视觉语言模型检查点的独立审计发现其层级机制并未生效，研究指出这不仅是几何或目标函数的问题，也是算术问题：定义流形的约束在单位曲率和温度下的未截断映射中，即便双精度也在所测语言模型深层范数处失效。
正文 · AI 翻译
摘要：必须在外部纠正到来之前就采取行动的智能，必须承载其专家知识的结构，而双曲几何以同等维度的欧几里得空间无法比拟的保真度表示层级结构。然而，双曲语言模型将这种几何限制在适配器中，或重建 transformer，而对已发布的双曲视觉语言检查点进行的独立审计发现，其层级机制处于非活动状态，这被解读为关于该几何或其目标的证据。在此我们表明，它也是关于算术的证据。定义该流形的约束是两个共同增长的项之差；对于单位曲率和温度下的未钳制映射，在我们测量的每种格式中，包括双精度，在此处测量的语言模型深层范数下，都超出了先前推导的极限而失效。一种常见的补救措施，即范数界，使执行的映射在其作用处没有径向敏感性。在一项预先指定的测试中，更紧的界使洛伦兹系统比平坦系统损失了更多它最初拥有的留出结构。结构监督已在六个专家系统中运行，其保留的输入档案和源池至少包含 13,787,131 条记录。在目标固定为已发表配方的目标的配对运行中，移除其起始尺度补救措施阻止了所有更新，移除其单精度区域则提高了训练早期达到的半径。算术界定了可计算区域，而在其中，与目标一起，算术及其补救措施决定了哪些运行留下记录以及它们在此过程中达到的状态，因此一个平坦的幸存检查点本身不能证明该几何是惰性的。
| 评论： | 更正版本：语料计数为每个系统的唯一记录数（至少 13,787,131）；v2 的倍数和最大语料库声明已撤回（补充说明 M10）。40 页；补充信息（86 页）作为附件文件。数据和代码：doi:https://doi.org/10.5281/zenodo.21438499 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.17513 [cs.LG] |
| （或此版本的 arXiv:2607.17513v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2607.17513 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kwan Soo Shin [查看电子邮件]
[v1]
2026 年 7 月 20 日星期一 03:38:17 UTC（1,398 KB）
[v2]
2026 年 10 月 19 日星期一 08:41:46 UTC（1,149 KB）
[v3]
2026 年 11 月 6 日星期五 11:06:00 UTC（1,151 KB）
来源：arXiv cs.CL · arxiv.org