arXiv cs.AI· Noam Mazor, Andrew Morgan, Rafael Pass·· 9 天前AI 评分24
语言建模即单调压缩：LLM 与保序压缩算法的等价性研究
Language Modeling is Monotone Compression
AI 导读
一项理论研究证明，LLM（形式化为下一 token 预测器）与单调（保序）压缩算法等价，两者可互相构造且误差仅相差 2。研究进一步表明，该等价性成立当且仅当密码学意义上的（无穷频繁）单向函数存在。作为推论，分布的 next-bit 伪熵等价于该分布的单调不可压缩性，此前仅知不可压缩性蕴含 next-bit 伪熵。
正文 · AI 翻译
摘要：人工智能和神经科学领域一个长期存在的假说认为，智能与压缩密切相关：高效压缩信息的能力直观上反映了与智能和学习相关的能力。事实上，近期的实验工作通过展示大语言模型（LLM）的能力与其作为压缩器的能力之间的联系，验证了这一直觉：例如，Deletang 等人（ICLR'24）证明 LLM 可用作强大的压缩器，而 Huang 等人（COLM'24）表明 LLM 的压缩能力与其在知识和推理基准上的表现高度相关。
在这项工作中，我们开启了这一联系的理论研究。我们的主要结果是，LLM（形式化建模为下一词元预测器）等价于单调（又称保序）压缩算法——即编码过程保持输入顺序的压缩算法——其意义在于，二者可以相互构造，同时保持相同的误差，误差差距至多为 2。
我们接下来表明，当且仅当密码学（无穷频繁）单向函数存在时，这种等价性才需要单调性。
作为一个直接的推论，我们得到一个具有独立意义的密码学结果：分布的下一比特伪熵（熵的计算类比）概念等价于该分布的单调不可压缩性。（此前仅已知（Haitner 等人，ITCS'23）不可压缩性蕴含下一比特伪熵。）
| Comments: | 22 页，1 幅图。投稿至 ICLR 2027 |
| Subjects: | 信息论（cs.IT）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| ACM classes: | E.4；I.2.6 |
| Cite as: | arXiv:2610.11031 [cs.IT] |
| （或本版本的 arXiv:2610.11031v1 [cs.IT]） | |
| https://doi.org/10.48550/arXiv.2610.11031 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Andrew Morgan [查看邮箱]
[v1]
2026年10月8日星期四 00:24:00 UTC（49 KB）
来源：arXiv cs.AI · arxiv.org