arXiv cs.AI· Sven Kleinkop, Tam\'as Janusko, Ricardo Bochnia, Gunnar Hempel, Steffen Tomschke, J\"urgen Anke, Maik Thiele·· 11 小时前AI 评分38
PromptOps：面向 LLM-as-a-Judge 系统的迭代提示词优化框架
PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems
AI 导读
PromptOps 是一个闭环框架，用于监控并迭代重校准 LLM-as-a-Judge 系统，应对评分分布变化导致的“评审漂移”。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被用作自动评判器，以评估聊天机器人及其他 AI 系统的行为。然而在实际部署中，随着用户交互和分数分布的变化，它们与预期人工评估策略的一致性可能会下降。现有的自动提示优化方法主要作为静态开发集上的一次性流程来研究，因此对于如何长期维护 LLM 评判器提供的指导有限。我们将这一问题界定为评判器漂移，并引入 PromptOps，一个用于监控和迭代重校准 LLM-as-a-Judge（LLMaaJ）系统的闭环框架。PromptOps 将四项操作决策分离：何时优化、应用哪种优化流程、使用哪些反馈记录，以及如何更新评判器提示。我们以五种提示优化方法实例化该框架：GEPA、SIMBA、Rubric Synthesis，以及使用模拟退火或树结构 Parzen 估计器的示例选择。我们的实验表明，迭代提示优化可以重校准 LLM 评判器，并在参考分数分布发生受控偏移后恢复性能。然而，有效的维护本质上是依赖上下文的：优化算法的选择与更新时机都无法在所有设置中普遍适用。这些发现确立了将已部署 LLM 评判器的提示优化视为一个本质上迭代的维护问题，并表明 PromptOps 为研究和实现这一过程提供了一个实用的抽象。
| 评论： | CONVERSATIONS 2026，聊天机器人与以人为本 AI 国际研讨会，预印本 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.07123 [cs.AI] |
| （或 arXiv:2611.07123v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07123 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Maik Thiele [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 20:38:52 UTC（1,222 KB）
来源：arXiv cs.AI · arxiv.org