论文给出BPE左侧前缀影响的可认证范围

Nicklas Nidhögg 发表论文，为任意字节对编码（BPE）词典判定“起源半径”，即左侧前置字符串能改变覆盖跨度的最大距离，并称可在词典规模的多项式时间内算出半径证书。 论文称，半径无限当且仅当存在一个周期词具有两种无公共边界的规范铺砌；在 Berglund 等人的排序条件下，这等价于某条规则 (t, t) 在自身阶段出现两个相邻副本。此前 Berglund 与 van der Merwe 已界定右侧追加字符串对分词的影响范围，左侧方向及其可计算性此前未决。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。