作者提出印度语系自适应分词方法 AdaptTok-Indic

Binayak Mukherjeea 等作者提出面向印度语系的自适应分词方法 AdaptTok-Indic，将 Unicode 归一化预处理、显式印度语连字处理、字形感知路由与字节级边界预测结合，并与小型 Transformer 语言模型联合训练。 作者称当前实现是小规模原型，存在已记录的简化，未做统计显著性检验、未与已发布的 MAGNET 对比，也未进行语码混合评估。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。