EffComp：用混合强化学习与监督学习实现高效提示词压缩

EffComp: Efficient Prompt Compression via Hybrid Reinforcement & Supervised Learning

AI 导读

EffComp 是一个面向 RAG 问答的高效提示词压缩框架，采用 BERT 风格的文档重排器与句子选择器在句子级别做快速抽取式压缩，抽取式特性可避免压缩后提示词出现模型幻觉。其训练结合强化学习与监督学习，在保持 LLM 准确率的同时优化压缩比。在多个 QA 数据集上，EffComp 在压缩比与准确率之间取得优于 SOTA 提示词压缩方法的权衡，且延迟极低。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：提示压缩旨在缩短输入提示长度，从而实现更廉价、更快速且可能更高质量的 LLM 预测。然而，现有的提示压缩方法往往受限于压缩增益有限、存在幻觉风险，和/或压缩延迟较高。我们提出 EffComp，一个面向基于 RAG 的问答（QA）的高效提示压缩框架。EffComp 采用 BERT 风格的文档重排序器和句子选择器模型，以在句子级别实现快速的抽取式提示压缩。其抽取式特性可防止压缩提示中出现幻觉。此外，采用强化学习与监督学习相结合的混合训练过程，旨在优化压缩率的同时保持 LLM 准确率。在多个 QA 数据集上的实验表明，EffComp 优于最先进的提示压缩方法，在压缩率与准确率之间实现了最佳权衡，且延迟极低。这使其适用于实际应用。

评论：	AACL-IJCNLP 2026 的 Findings
主题：	计算与语言（cs.CL）
引用为：	arXiv:2611.02766 [cs.CL]
	（或 arXiv:2611.02766v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.02766 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Romtham Tungsununtham [查看电子邮件]
[v1] 2026 年 11 月 2 日星期一 08:46:28 UTC（900 KB）

来源：arXiv cs.CL · arxiv.org