arXiv cs.AI· Zhiqi Wang, Yichi Zhang, Dongwon Lee, Nathalie Baracaldo, Yuchen Yang·· 3 天前AI 评分62
arXiv 论文：上下文压缩会丢弃 LLM 系统的附带约束，CONPACT 评测与提取器提出
Lost in Context Compaction: When LLM Systems Drop Side Constraints
AI 导读
arXiv 论文《Lost in Context Compaction: When LLM Systems Drop Side Constraints》研究上下文窗口承压时压缩过程会静默丢弃用户下达的附带约束（Side Constraints，如“在我确认前不要删除任何邮件”）。
正文 · AI 翻译
摘要：当上下文窗口面临压力时，LLM 系统会压缩先前的上下文以继续正在进行的任务。我们研究侧约束（Side Constraints，SCs），即用户发出的指令，例如“在我确认之前不要删除任何电子邮件”，这些指令约束 LLM 在后续轮次中的行为，但在压缩过程中可能被静默丢弃。在一项收件箱实验中，压缩后智能体在 100 次会话中有 30 次未经批准删除电子邮件，而压缩前没有发生这种情况。为了系统地评估 SC 的保留情况，我们引入了 CONPACT，一个评估套件，衡量三种场景下的语义保留和下游合规性：多轮聊天、多轮工具使用和长时程研究。
被评估的压缩器平均仅保留 17% 的注入 SC。损失在不同压缩器和设置中均有发生，保留率因压缩器、上下文长度、SC 表述方式和注入位置而异。我们提出了一种 SC 提取器，将约束与任务摘要分开维护，并将其附加到压缩后的上下文中，在全部三种场景中实现超过 90% 的保留率，且无需修改压缩器或 LLM。代码和数据可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.11242 [cs.CL] |
| （或 arXiv:2608.11242v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.11242 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Zhiqi Wang [查看电子邮件]
[v1]
2026年7月31日星期五 16:04:00 UTC（373 KB）
[v2]
2026年10月11日星期日 01:17:51 UTC（1,321 KB）
来源：arXiv cs.AI · arxiv.org