研究者提出SISA注意力方法
热点事件持续更新
研究者提出SISA注意力方法
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Suhyeong Shin 与 Yeongwook Yang 提出 SSM-Informed Softmax Attention(SISA),将 Mamba-3 风格的状态转移(含旋转)直接构建进注意力分数,与 FoX 的遗忘门并列,使每个 logit 获得 SSM 对该 token 对的衰减匹配权重。作者称,该方法无需 RoPE。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 12:00
SISA:把 Mamba-3 式状态转移直接嵌入注意力分数,无需 RoPE报道时间线
沿着报道,了解事件的不同侧面。
10月31日
- arXiv cs.AISISA:把 Mamba-3 式状态转移直接嵌入注意力分数,无需 RoPE
研究者提出 SSM-Informed Softmax Attention(SISA),将 Mamba-3 风格的状态转移(含旋转)直接构建进注意力分数,与 FoX 的遗忘门并列,每个 logit 获得 SSM 对该 token 对的衰减匹配权重。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月31日 22:00
- 近 24 小时变化
- –
02468
22:0023:0011月1日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。