arXiv cs.CL· Hyunsik Kim·· 2 天前AI 评分22
字节顺序如何影响多语言边界预测：UTF-16 编码方案 UBE 将字素边界错误降至 0.06%
The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction
AI 导读
一种名为 Universal Byte-Level Encoding（UBE）的编码方案将三字节 UTF-8 码点改写为两个 UTF-16 字节（低字节在前），使首个符号携带 8 个低位码点位以区分字素延续与下一字母。
正文 · AI 翻译
摘要：许多分层字节级语言模型使用学习到的边界预测器将字节分组为补丁，该预测器对下一个码点的视图取决于编码和前瞻。在 UTF-8 中，许多文字的码点占三个字节：24 位中有 8 位标记长度和续字节，而第一个字节仅携带 4 个高位码点位。在相同的左侧上下文之后，扩展字素簇的标记和开始下一个字素的字母因此可能共享其第一个字节。通用字节级编码（UBE）保留一字节和两字节 UTF-8 编码，但将这些码点写为两个 UTF-16 字节，低字节在前，因此其第一个符号携带 8 个低位码点位，可以区分此类续字节。我们在匹配的 FineWeb-2 文本上训练小型因果预测器，并在 FLORES-200 上以 UTF-8、UBE 以及 UBE 的等长大端变体进行评估。在单符号前瞻下，13 种婆罗米系文字中 17 种语言在码点边界处的平衡字素边界误差在 UTF-8 下为 8.76%，在大端变体下为 8.62%，在 UBE 下为 0.06%。当目标改为在字素边界处保留父分词器的子词切分时，在相同前瞻下，UBE 相对于 UTF-8 将平均误差在韩语中降低 72.91%，在中文中降低 35.29%，在另外八种文字中降低 67.32-99.55%。在其中七种主要 Unicode 区块可容纳于一个 256 码点页面的文字中，大端变体与 UTF-8 的差距保持在 3.0% 以内，因此增益源于字节顺序，而非长度。在韩语和中文中，UBE 的平均误差仅在训练 25% 和 37.5% 后就低于 UTF-8 的最终平均误差。因此，哪个字节在前会影响字节级边界预测器需要多少前瞻。
| 评论： | 32 页，5 幅图，29 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22071 [cs.CL] |
| （或 arXiv:2610.22071v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22071 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hyunsik Kim [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 15:31:04 UTC（335 KB）
来源：arXiv cs.CL · arxiv.org