arXiv cs.AI· Xinrui Zhong, Zhifeng Li, Zhiming Wang, Yongqi Liu, Shanglin Yang, Yang Zhou, Zikun Li, Zhuoming Chen, Beidi Chen·· 10 小时前AI 评分42
CompressionBench：编码智能体能否自主压缩 LLM？
CompressionBench: How can your coding agents compress LLMs?
AI 导读
研究将 LLM 压缩设为终端任务，让编码智能体在给定源 checkpoint、存储上限、推理环境和时间预算下自主构建压缩权重与可执行推理代码。六个智能体、六种模型规模共 36 份提交中 29 份通过验证，按任务选取最低困惑度的智能体方案后，平均困惑度较 BF16 上升 3.4%，下游准确率 77.33%，而 BF16 为 79.56%。
正文 · AI 翻译
摘要：递归自我改进要求 AI 系统改进后续系统所使用的模型和基础设施。LLM 压缩提供了一个具体的效率目标：在更小的模型存储预算内保留预训练模型的行为。我们研究编码智能体能否自主完成这一步骤。我们将压缩形式化为一个终端任务：智能体接收源检查点、存储限制、推理环境和时间预算，然后构建压缩权重和可执行的推理代码。智能体控制其算法和实验；困惑度反馈引导搜索，独立验证检查最终模型。在六个智能体和六种模型规模设置中，36 份提交中有 29 份通过验证。按任务选择困惑度最低的智能体设计，平均困惑度比 BF16 增加 3.4%，下游准确率为 77.33%，而 BF16 为 79.56%。记录下来的实验揭示了智能体如何取得这些结果，以及改进在何处中断。在存储几乎固定的情况下，智能体在 24 次修订中有 21 次降低了 PPL；完整模型反馈推翻了此前 79 个局部排名中的 17 个；生成和推理测试暴露了仅靠似然无法发现的失败。这些结果确定了表示设计、实验判断和能力验证是智能体驱动模型压缩的核心，而模型压缩是面向效率的自我改进中一个可度量的组成部分。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06858 [cs.AI] |
| （或本版本的 arXiv:2611.06858v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06858 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuoming Chen [查看电子邮件]
[v1]
2026年11月4日星期三 18:14:50 UTC（497 KB）
来源：arXiv cs.AI · arxiv.org