arXiv cs.CL· Jianfei Ma, Zhaoxin Feng, Emmanuele Chersoni, Si Chen·· 3 天前AI 评分33
语言规则能否替代 LM 打分做提示词压缩？EMNLP 2026 论文提出纯 CPU 语言压缩器
Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
AI 导读
EMNLP 2026 论文提出仅靠语言规则做提示词压缩，部署时无需 LM 前向计算，压缩全程在 CPU 侧完成。该方法通过离线进化搜索组合词汇、句法、语义和篇章规则，在短文本、多文档推理和对话记忆问答数据集上取得与近期先进提示词压缩策略相近的表现。性能在轻度至中度压缩下最强，压缩越激进越退化，且规则随压缩比升高从 token 剪枝转向句子抽取。
正文 · AI 翻译
摘要：提示压缩通过缩短 LLM 输入来降低推理成本，然而现有方法通过 LM 前向传播对 token 重要性进行评分。这种细致而昂贵的 token 选择是否必要仍值得怀疑。压缩需要识别信息性内容，而语言学研究早已通过可操作化为确定性规则的线索来解决这一问题。因此我们提出：\textbf{仅凭语言规则}能否作为有效的提示压缩器，而无需在压缩时进行基于 LM 的评分？
为此，我们对词汇、句法、语义和篇章种子进行离线进化搜索，以寻找有竞争力的规则组合。所得的语言压缩器在部署时无需 LM 前向传播，仅使用 CPU 端处理进行压缩。我们采用双路径协议对其进行评估，以平衡压缩质量和重建保真度。
在短段落、多文档推理和对话记忆问答数据集上，进化出的压缩器达到了与近期先进提示压缩策略相似的性能。在轻度至中度压缩下性能最强，随着压缩变得更加激进性能下降，而 Direct 和 Reconstruction 路径表现出不同的模式。进化分析表明，有效的压缩融合了跨语言层次的信号，并且随着压缩比的增加，规则从 token 剪枝转向句子提取。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.25335 [cs.CL] |
| （或 arXiv:2607.25335v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.25335 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhaoxin Feng [查看邮箱]
[v1]
2026年7月28日星期二 06:33:27 UTC（735 KB）
[v2]
2026年7月29日星期三 12:56:44 UTC（735 KB）
[v3]
2026年10月14日星期三 03:45:08 UTC（735 KB）
来源：arXiv cs.CL · arxiv.org