有限可验证分词策略的可判定性框架

Nicklas Nidhögg 发表论文提出“有限可验证分词”概念：若一个作用于标记串（字节加边界位）的有限自动机能恰好接受某分词策略自身的所有分词结果，则该策略有限可验证。论文称，在这一假设下，窗口能否认证 token 边界、边界间隙是否有界、掩码是否保持生成可完成、两个策略是否等价这四个问题均变为可判定。 该策略类被界定为严格介于在线可扫描策略与正则域策略之间，并对流水线常用的组合、限制、拆分和字节回退并集封闭；论文称 munch 库实现了全部六项判定。上述可判定性结论以有限可验证这一前提为条件。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。