arXiv cs.CL· Linke Zhang·· 12 小时前AI 评分20
baseVultra：以容量重分配实现紧凑非线性循环网络
baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity
AI 导读
baseVultra 是一种紧凑循环单元，将稠密循环预算集中到单个 H×H 候选生成矩阵，并用 O(H) 对角交互替代循环门矩阵。在 TinyShakespeare 单层 200K 设置下验证损失为 1.594，优于参数匹配的 LSTM（1.604）和 GRU（1.616），稠密循环矩阵向量计算量约为同隐藏维度 GRU 的 54%。
正文 · AI 翻译
摘要：非线性循环网络在流式序列建模中仍然有用，但门控单元设计仍由 LSTM 和 GRU 主导。我们研究循环计算能否从门变换重新分配到候选生成。我们提出 baseVultra，一种紧凑的循环单元，将密集循环预算集中到单个 H x H 候选生成矩阵上，同时用 O(H) 对角交互替代循环门矩阵。候选更新将此密集分支与两个低秩辅助分支、一个 EMA 缓存和可学习输出混合相结合；门还通过对角项获得对 h_{t-2} 的轻量二阶访问。在 TinyShakespeare 字符级语言建模上，baseVultra 在紧凑的单层 200K 设置中达到 1.594 的验证损失，而参数匹配的 LSTM 为 1.604，参数匹配的 GRU 为 1.616，同时在此配置下匹配隐藏大小时，其密集循环矩阵-向量计算约为 GRU 的 54%。在约大 45 倍的基准 text8 上，baseVultra 与全门单元具有竞争力（1.854 bpc，而 GRU 为 1.849，LSTM 为 1.837）。在形式语言探针上，最大增益出现在受限隐藏状态容量下（在 H=16 的 Counter 上，OOD2 准确率为 0.991，而 GRU 为 0.761，LSTM 为 0.691），并随着隐藏大小增长而消失。这些结果刻画了以候选为中心的循环容量分配在何处以及何时有帮助：收益集中在紧凑场景中，而全门单元在规模上仍具竞争力。
| 评论： | 预印本。14 页，3 幅图。根据 WAIC Academic 2026 的同行评审反馈修订（1 个弱接受，2 个边缘）。 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30154 [cs.CL] |
| （或此版本的 arXiv:2610.30154v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.30154 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Linke Zhang [查看电子邮件]
[v1]
2026 年 8 月 23 日星期日 14:31:35 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org