arXiv·· 13 天前AI 评分31
HLA-WM：面向长时程视频世界模型的混合线性注意力
HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models
AI 导读
针对 Gated DeltaNet（GDN）在长时程视频世界模型中的严重长程遗忘问题，研究者提出免训练的混合线性注意力框架 HLA-WM，将 Softmax 注意力与循环线性注意力结合，在保持低内存成本的同时缓解远距离场景信息被后续状态更新逐步衰减的问题。
来源：arXiv · arxiv.org