arXiv cs.MA· Ke Chen, Xucheng Yu, Yufei Zhou, Haohan Wang·· 4 天前AI 评分31
提示词稳定性为何重要：通用系统中自动生成提示词的评估与优化
Prompt Stability Matters: Evaluating and Optimizing Auto-Generated Prompt in General-Purpose Systems
AI 导读
研究提出以"语义稳定性"衡量提示词在重复执行下模型响应的一致性，并据此构建了首个稳定性感知的通用提示词生成系统，利用稳定性反馈迭代提升提示词质量与系统性能。作者还通过分析系统内部结构依赖，论证提示词稳定性是系统级有效执行的必要条件。在通用与领域特定任务上，该框架同时提升了准确率和输出一致性，UI 与源码已公开。
正文 · AI 翻译
摘要：自动提示生成在使通用多智能体系统能够自主执行多样化任务方面起着关键作用。现有方法通常根据提示的即时任务表现来评估提示，而忽略了决定其可靠性的内在品质。这种以结果为中心的视角不仅限制了可解释性，也无法考虑大语言模型（LLM）固有的随机性。在这项工作中，我们关注提示稳定性——即模型在重复执行中响应的一致性——将其作为构建稳健且有效的提示生成系统的关键因素。为了量化这一点，我们提出语义稳定性作为评估提示响应一致性的标准。基于所提出的指标，我们开发了首个稳定性感知的通用提示生成系统，该系统利用稳定性反馈来迭代提升提示质量和系统级性能。此外，我们通过分析系统中的结构依赖关系，在提示稳定性与任务成功之间建立了逻辑链条，证明稳定性是有效系统级执行的必要条件。在通用任务和特定领域任务上的实证结果表明，我们的稳定性感知框架同时提升了准确性和输出一致性。通过将关注点从一次性结果转向持续可靠性，我们的工作为提示设计提供了新视角，并为构建更值得信赖的通用系统贡献了实用工具。我们系统的 UI 和源代码公开于：this https URL。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2505.13546 [cs.AI] |
| （或 arXiv:2505.13546v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.13546 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ke Chen [查看电子邮件]
[v1]
2025年5月19日星期一 03:28:33 UTC（527 KB）
[v2]
2026年10月13日星期二 18:09:51 UTC（626 KB）
来源：arXiv cs.MA · arxiv.org