Qwen3.8-27B 被转为纯字节级模型
热点事件持续更新
Qwen3.8-27B 被转为纯字节级模型
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Liwei Zhang 等研究者发表论文，将已训练好的 Qwen3.8-27B 子词模型转换为纯字节级模型：把词表从 248,320 个条目缩减到 384 个，其余权重保持不变，再用 4.77 GB 自生成监督字节做两阶段续训，在 8xH200 上耗时 178.6 小时。 研究者称，对话与行为监督数据全部由原模型自身在线生成，包括字词典、通用对话和编码会话；知识阅读使用百科文本，占监督字节的 54%。研究目标是让模型实现“一个字节一个 Token”，不依赖补丁结构或局部编码器，同时保留大部分能力。
AI 根据报道生成 · 56 分钟前更新
最新进展11月11日 13:00
一个字节一个 Token：用自生成数据将 27B 混合注意力 LLM 字节化报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.CL一个字节一个 Token：用自生成数据将 27B 混合注意力 LLM 字节化
研究者将 Qwen3.8-27B（48 层 Gated DeltaNet + 16 层全注意力）的词表从 248,320 缩减到 384 个条目，其余权重不动，用 4.77 GB 自生成监督字节做两阶段续训，在 8xH200 上耗时 178.6 h，转为纯字节级模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。