跳到正文
arXiv cs.AI· Khizar Qureshi·· 4 小时前AI 评分24

无重放循环状态迁移的信息极限

Information Limits of Replay-Free Recurrent State Migration

AI 导读

研究刻画了循环模型被替换前必须保留的信息量:对时不变仿射线性族,order-k 局部迁移所需的最小连续因果记忆等于提升系数系统的可达维度减去锚点状态信息。可控 d 状态模型至多需 kd 个额外实坐标,单个秩一方向即可用满 kd。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:当循环模型被替换时,其旧状态可能无法决定新模型在相同历史下会计算出的结果。我们刻画了在替换已知之前必须保留的信息。对于时不变仿射线性族,阶为 $k$ 的局部迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚点状态中的信息。一个具有标量输入的可控 $d$ 状态模型至多需要 $kd$ 个额外实坐标,即使任意矩阵替换方向仅在流式处理之后才被揭示。单个秩一方向就可能需要全部 $kd$。条件奇异值和辅助位界将这一局部信息定律与固定容差下的恢复区分开来。我们还给出了不变子空间和未来输出构造。受控实验比较了所得表示。在一个小型语言模型中,等记忆三次插值在平均状态保真度上优于三阶系数,但没有提供有意义的预测增益。在一个耦合辨识任务中,解析历史基更经济地保留了有用的适应能力。在重复慢极点的情况下,尽管全状态误差很大,八个历史坐标在五个拟合种子上仍达到归一化输出误差 $10^{-4}$。拆分极点将最小测试成功宽度提高到 64。
主题: 人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.19345 [cs.AI]
  (或 arXiv:2611.19345v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.19345

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Khizar Qureshi [查看电子邮件]
[v1] 2026年11月14日星期六 11:34:00 UTC(121 KB)
[v2] 2026年11月17日星期二 05:27:32 UTC(125 KB)

来源:arXiv cs.AI · arxiv.org