arXiv cs.AI· Prabal Vashisht, Zheng Hu, Ying Yang·· 11 小时前AI 评分31
可复现评估：生产级智能体安全提示词压缩的基础
Reproducible Evaluation as the Substrate for Safe Prompt Compression in Production Agents
AI 导读
研究者提出一套面向生产级对话智能体的离线评估框架，即使所依赖的实时企业数据变化也能保持可复现，并可在基准过期后按需重新生成。以该框架作为 GEPA 提示词优化的适应度函数，并加正确性门控防止奖励黑客，在面向商家的生产智能体上将完整提示词规模压缩 3.5-7.6%，三个独立被测模型族均未出现留出任务正确率回退，其中一个正确率还测得提升。
正文 · AI 翻译
摘要：评估作用于实时、可变企业数据的对话式智能体十分困难：重放的会话会随后端状态变化而漂移，而今天构建的基准测试会随着其所描述的数据不断变化而悄然过时。我们提出了一种用于生产环境对话式智能体的离线评估框架，尽管其所操作的实时数据不断变化，该框架仍保持可复现性，并且一旦过时便可按需重新生成。随后，我们将该框架用作基于 GEPA 的提示优化在正确性门控下的适应度函数，该门控可防止奖励黑客行为。将其应用于一个面向商户的生产环境智能体时，正确性门控压缩使该智能体的完整提示面缩小了 3.5-7.6%，且未使留出任务正确性出现回退，这一结果在三个独立的受试模型系列上保持一致，并且对其中一个系列而言，正确性还有可测量的提升。
| 评论： | 8 页（4 页正文，另含参考文献与附录），1 张表。已被 NeurIPS 2026 Workshop on Agents in the Wild 接收 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.31972 [cs.AI] |
| （或本版本的 arXiv:2610.31972v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.31972 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Prabal Vashisht [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 22:24:35 UTC（22 KB）
来源：arXiv cs.AI · arxiv.org