arXiv cs.CL· Fabien Furfaro·· 6 天前AI 评分20
Kairos：面向全模态的字节级基础模型
Kairos: Toward a Byte-Level Foundation Model for Every Modality
AI 导读
Kairos 提出一种字节级基础模型架构，将双向门控 DeltaNet 线性注意力与滑动窗口注意力（LiZAttention2）、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器结合，在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标训练。
正文 · AI 翻译
摘要：在单台本地机器上训练的小型语言模型几乎没有架构试错的空间。Kairos 将双向门控 DeltaNet 线性注意力与在共享投影上的滑动窗口注意力（LiZAttention2）、分块式 Attention-Residual 聚合、稀疏专家混合（MoE）前馈层以及多尺度字节级编解码器相结合，并在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标进行训练；本报告先问这一组合是否能够优化，再问它是否有用。我们给出每个组件的代码推导算法，包括跨会话循环状态记忆门，然后进行收敛性健全性检查：在 1--15M 参数、仅文本的条件下过拟合单个 440 字节句子，对编解码器和注意力选择使用三个随机种子，并对另外七个因素进行单次运行扫描。在 3\,000 步时测试的两种注意力变体（LiZAttention2 和单独的窗口注意力）达到接近 $10^{-3}$ 的最小损失。600 步后，平均最小损失范围从 0.018（分块编解码器）到 0.354（深度卷积编解码器），且在三个随机种子上排序相同。共享注意力投影相对于独立投影的表观优势随着更多步数或更多样化数据而消失，并在投影冻结时反转：这是一种收敛速度效应，而非容量效应。这些检查表明该实现能够优化；它们不能说明泛化、多模态训练或与现有模型的比较，这些将由计划中的预训练运行来解决。讨论部分以分析方式估算了 200M 总量/25M 激活的目标规模；其中没有任何吞吐量数字是实测的。代码可在 此 https URL 获取。Python 包见 此 https URL。
| 评论： | 15 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12495 [cs.LG] |
| （或 arXiv:2610.12495v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12495 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Fabien Furfaro [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 13:12:12 UTC（74 KB）
来源：arXiv cs.CL · arxiv.org