研究:双曲语言模型层级机制失效源于算术限制
热点事件持续更新
研究:双曲语言模型层级机制失效源于算术限制
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Kwan Soo Shin 发表研究称,对已发布双曲视觉语言模型检查点的独立审计发现,其层级机制并未生效。研究指出,这不只是几何或目标函数的问题,也是算术问题:定义流形的约束在单位曲率和温度下的未截断映射中,即便使用双精度,也会在所测语言模型深层的范数处失效。 该结论针对的是已发布检查点和所测模型深层,并非对所有双曲模型的一般性证明。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
平坦模型中的弯曲知识:大规模构建专家级 AI 的算术约束报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- arXiv cs.CL平坦模型中的弯曲知识:大规模构建专家级 AI 的算术约束
一项对已发布双曲视觉语言模型检查点的独立审计发现其层级机制并未生效,研究指出这不仅是几何或目标函数的问题,也是算术问题:定义流形的约束在单位曲率和温度下的未截断映射中,即便双精度也在所测语言模型深层范数处失效。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。