学习式随机停止稳定循环Transformer外推
热点事件观察中
学习式随机停止稳定循环Transformer外推
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
一项 arXiv 论文提出，用可学习的随机停止机制稳定循环 Transformer 在训练序列长度之外的外推。作者 Hsun-Yu Kuo 等人将外推时的高方差归因于序列长度与循环次数之间的伪相关，并称训练时引入随机循环次数可显著降低 OOD 方差、稳定不同推理循环次数下的预测。 论文称，RL-Halting 这类可学习随机调度通常能改善准确率与稳定性的权衡；但在二元加法、Dyck-1、Unique Set 和 Copy 任务上，学习式随机停止有时也会稳定次优计算。作者据此认为，“何时停止”应作为训练时的设计选择。
AI 根据报道生成 · 1 天前更新
最新进展10月16日 12:00
通过可学习随机停止稳定 Looped Transformer 的外推能力报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv cs.AI通过可学习随机停止稳定 Looped Transformer 的外推能力
Looped Transformer 在训练序列长度之外进行外推时方差较高，研究将其归因于序列长度与循环次数之间的伪相关。训练时引入随机循环次数可显著降低 OOD 方差，而 RL-Halting 作为可学习随机调度通常能改善准确率与稳定性的权衡。在二元加法、Dyck-1、Unique Set 和 Copy 任务上，学习式随机停止有时也会稳定次优计算，表明"何时停止"应作为训练时设计选择。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 810月16日 22:00
- 近 24 小时变化
- -51%
02468
10月17日06:0012:0018:0010月18日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。