Transformer降尺度研究发布v5：结构感知补偿
热点事件持续更新
Transformer降尺度研究发布v5：结构感知补偿
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Ravi Satya Durga Prasad Yenugula 发布 Transformer 降尺度转换研究 v5，提出结构感知补偿方法，并公开代码、检查点和冻结评测语料。研究完整刻画 Pythia 1.4B→410M 的转换，发现表示跨规模对齐强（ridge R²=0.84）而参数对齐弱，稠密权重投影会破坏 rotary、GELU、LayerNorm 等结构。 v5 新增第二架构族 Qwen3-1.7B-Base→0.6B-Base 实验，作者称 2×2 选择统计量结果在不同架构族间发生反转；另补充 6.9B→1.4B 规模对的普通选择基线、六种子主实验对、CKA 校准及与 GRAIL/SliceGPT 的定位比较。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 12:00
结构感知补偿让 Transformer 降规模更高效：Pythia 与 Qwen3 实验报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AI结构感知补偿让 Transformer 降规模更高效：Pythia 与 Qwen3 实验
研究完整刻画了 Pythia 1.4B→410M 的模型转换，发现表示跨规模对齐强（ridge R²=0.84）而参数对齐弱，稠密权重投影会破坏 rotary、GELU、LayerNorm 等结构。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月31日 22:00
- 近 24 小时变化
- –
02468
22:0023:0011月1日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。