Hugging Face Daily Papers· Oliver Sieberling·· 19 天前AI 评分22
Triadic Linear Attention：面向长上下文序列建模的三维循环状态
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
AI 导读
Triadic Linear Attention 将线性注意力的矩阵值隐状态推广为三维循环状态，用于长上下文序列建模。该方法延续了线性注意力以 key 与 value 外积写入隐状态、参数高效且支持常数时间推理的思路。
来源：Hugging Face Daily Papers · huggingface.co