The Extender：一种日志结构化的 Transformer 架构

研究者提出 The Extender，一种日志结构化的 Transformer 变体，在标准残差通道 h 之外新增拼接通道 x：每层同时输出残差更新 δ_ell 和更小的扩展 ε_ell，前者加入 h，后者追加到 x。FFN 与 q 读取 h，而 attention 的 kv 投影只以 x 为输入，使完全扩展的 x 包含所有层 kv 投影的完整输入。