arXiv cs.CL· Liwei Zhang, ZhiMing Tong·· 10 小时前AI 评分38
一个字节一个 Token：用自生成数据将 27B 混合注意力 LLM 字节化
One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data
AI 导读
研究者将 Qwen3.8-27B（48 层 Gated DeltaNet + 16 层全注意力）的词表从 248,320 缩减到 384 个条目，其余权重不动，用 4.77 GB 自生成监督字节做两阶段续训，在 8xH200 上耗时 178.6 h，转为纯字节级模型。
正文 · AI 翻译
摘要：字节级 BPE 会将中文文本切碎（在中文维基百科上，Qwen3.8 平均每个 token 为 3.84 字节；64% 的 token 是单个字符），并向模型隐藏拼写信息。我们研究能否将一个已训练好的 27B 子词模型直接转换为纯字节级模型（一个字节一个 token），无需补丁结构或局部编码器，同时保留其大部分能力。我们从 Qwen3.8-27B（48 层 Gated DeltaNet + 16 层全注意力）出发，将词表从 248,320 缩减到 384 项（BPE 词表中已有的 256 个字节符号加上特殊 id），其余所有权重保持不变，并在 4.77 GB 的监督字节上按两阶段课程（先编码，后阅读）继续训练：所有对话/行为监督均由原始模型自身在线生成（字符字典、词典、通用对话、编码会话），知识阅读使用百科文本（占监督字节的 54%）。训练在 8xH200 上耗时 178.6 小时。在相同的 GPU 和 serving 栈上，字节模型与原始模型在 MATH-500、HumanEval+、MMLU-Pro 和非思考模式 GSM8K 上的差距落在配对 bootstrap 区间内，而在 C-Eval、思考模式 GSM8K 和非思考模式 IFEval 上损失 4-6 分。在非思考模式下，它在所有字符级任务上领先（CUTE 75.2 -> 84.0，EXECUTE-zho 81.6 -> 93.9，我们的汉字套件 54.4 -> 64.0），但关于汉字的查阅型知识（如读音和笔画数）下降，且思考模式无法恢复。代价是吞吐量：每步速度相同，但每步产出少 3-5 倍；每秒汉字数约为原始模型的 1/4，64K 字节的 prefill 慢 6.5 倍。我们还记录了四种字节模型失效模式（贪婪失控、采样破坏 UTF-8、小词表上惩罚项失效、重复）及其修复方法。
| 评论： | 全文先英文后中文。39 页，2 图，7 表。代码和任务套件：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13607 [cs.CL] |
| （或 arXiv:2611.13607v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13607 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Liwei Zhang [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 05:33:41 UTC（64 KB）
来源：arXiv cs.CL · arxiv.org