贪心BPE压缩率下界提升至0.361

Kundan Baliga、Aiden Xie、Aditya Byju 发表论文，证明贪心字节对编码（BPE）对任意字符串、任意合并预算和任意平局规则，都能达到最优字符串长度缩减量的至少 0.361，首次改进了此前三分之一的下界。 作者称三分之一是瓶颈，因为其背后的 pair-packing 松弛是紧的，更好的界必须利用最优解的更多结构。论文还精确求出两次合并的最坏情况比值，并对三次合并给出界，同时将问题归结为单一不等式。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。