arXiv cs.AI· S M Abdulla Al Mamun, Akif Islam, Mohd. Ruhul Ameen·· 12 小时前AI 评分31
超越 QASecClaw：软件保障中的智能体扩展、验证器反馈与证据可靠性
Beyond QASecClaw: Agent Scaling, Verifier Feedback, and Evidence Reliability in Software Assurance
AI 导读
研究用 Qwen2.5-Coder-7B-Instruct（含 1.5B 敏感性分析）完成 13,638 次模型请求，检验确定性工具证据已具备时增加专家上下文是否提升软件保障。
正文 · AI 翻译
摘要：当确定性工具证据已经可用时，额外的专家语言模型上下文能否提升软件保障？我们通过五项实验研究这一问题，涵盖人工编写的 Java 警告对照、OWASP Benchmark 评估、Defects4J 测试生成、SV-COMP 断言判定，以及刻意误导的证据包。所评估的系统使用 Qwen2.5-Coder-7B-Instruct，并进行了 1.5B 敏感性分析，共完成 13,638 次模型请求。在八个相关开发警告上，将上下文数量从 1 增加到 50 会使 token 使用量增加 49 倍，但并未改善不安全清除。在 160 个 OWASP 案例上，模型配置在清除与未解决结果之间权衡；十上下文组仅评估了 96 个案例。在 32 个 SV-COMP 任务上，原始验证器反馈将模型正确判定的均值从 12.7 提高到 22.0，但也将错误判定从 1 个增加到 7 个；JBMC 加 JVM 验证基线返回 26 个正确判定和 6 个未解决结果。在两组各 120 个证据包上，模型拒绝了 70-100% 的适用反例，而针对构造的范围检查将每个证据包都正确分类。在三个 Defects4J 缺陷中未发现目标缺陷，其中一个不受测试适配器支持。这些描述性结果支持在测试设置中采用确定性证据准入，同时揭示了判定聚合、反馈解释和可用评估覆盖范围的局限。
| 评论： | 4 幅图，5 张表 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36947 [cs.SE] |
| （或 arXiv:2610.36947v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36947 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Akif Islam [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 10:06:26 UTC（51 KB）
来源：arXiv cs.AI · arxiv.org