arXiv cs.AI· Seongtae Hong, Youngjoon Jang, Seungyoon Lee, Jungseob Lee, Heuiseok Lim·· 3 天前AI 评分24
MixLID：混合语言文本中的 token 级语言识别模型
MixLID: Token-Level Language Identification in Mixed-Language Text
AI 导读
MixLID 是一个支持 111 种语言-文字组合的 token 级语言识别模型，采用两阶段训练：先用语料中的单语标签学习区分各语言，再在混合语言数据上继续训练，第二阶段数据由现有语码转换样本与基于英文源词和借词对应关系做词替换生成的增强样本拼接而成。
正文 · AI 翻译
摘要：处理多语言文本既需要识别广泛的语言，也需要在包含多种语言的输入中区分每个 token 的语言。我们提出 MixLID，一个支持 111 种语言-文字组合的 token 级语言识别模型。MixLID 采用两阶段训练过程：首先利用单语样本的语言标签学习区分各个语言，然后在混合语言数据上继续训练。第二阶段使用来自现有语码转换数据的拼接样本，以及基于英语源词与借词之间对应关系通过词替换生成的增强样本。在单语识别方面，在与各基线共享的语言覆盖范围内，MixLID 在四个基准上的准确率和宏 F1 均优于所有基线。在混合语言识别方面，它在每个评估的语言对上识别单个 token 语言的表现均优于基线。MixLID 在单语和混合语言环境下均能在广泛的语言上取得高性能。该模型已在 此 https URL 公开。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16601 [cs.CL] |
| （或 arXiv:2610.16601v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16601 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Seongtae Hong [查看电子邮件]
[v1]
2026年10月12日星期一 11:21:09 UTC（64 KB）
来源：arXiv cs.AI · arxiv.org