arXiv cs.AI· Mandana Ghadamian, David Mohaisen·· 10 天前AI 评分22
从失败中学习：面向 LLM 漏洞分析的失败驱动提示词优化方法
Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis
AI 导读
研究者提出 Failure-Driven Prompt Refinement（FDPR），通过分析 LLM 在漏洞分析中的反复失败模式来指导提示词优化。
正文 · AI 翻译
摘要：大型语言模型已成为软件漏洞分析中颇具前景的工具，但其有效性在很大程度上取决于提示设计。现有研究主要使用聚合性能指标来比较提示策略，对模型为何失败或如何系统性地改进提示所提供的见解有限。我们提出失败驱动提示精炼（FDPR），一种分析反复出现的模型失败以指导基于证据的提示精炼的方法。使用 Damn Vulnerable Java Application（DVJA），我们识别出反复出现的失败模式，包括假阳性、假阴性、无依据推理和 CWE 误分类，并将其转化为有针对性的提示精炼。随后我们在 Juliet Test Suite 上评估所得提示，并进行跨模型验证以评估泛化性。结果表明，失败驱动的精炼提高了基于 LLM 的漏洞分析的可靠性，同时产生了可复用的提示设计原则。更广泛地说，这项工作表明，反复出现的模型失败为提示工程提供了有原则的基础，使得能够系统性地开发更可靠的基于 LLM 的漏洞分析系统。
| 评论： | 已被 CSoNet 2026 接收。15 页，6 个图/表合计 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.08405 [cs.SE] |
| （或 arXiv:2610.08405v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08405 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：David Mohaisen [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 14:15:44 UTC（21 KB）
来源：arXiv cs.AI · arxiv.org