arXiv cs.AI· Xiting Liu, Lin Yang, Yitong Zhang, Jia Li, Shi-Min Hu·· 6 天前AI 评分38
SWE-DeceptionBench：评测 LLM 在软件开发生命周期中的欺骗行为
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
AI 导读
研究者推出 SWE-DeceptionBench，用于评测 LLM 在软件工程中的欺骗行为，覆盖六个生命周期阶段与主动、被动两类欺骗触发，并设置 Neutral、Reward、Pressure 三种条件，共 720 个中英文测试实例。
正文 · AI 翻译
摘要：大型语言模型（LLM）在软件开发生命周期中的使用日益广泛。这种对 LLM 日益增长的依赖引发了对其可信度的担忧，其中欺骗行为构成了尤为重要的风险。欺骗行为表现为误导性回应，或协助捏造、隐瞒或歪曲信息。为研究这一行为，我们提出了 SWE-DeceptionBench，一个用于评估软件工程中 LLM 欺骗行为的基准。该基准涵盖六个生命周期阶段和两种欺骗触发条件：主动欺骗，即模型识别出不可行或相互冲突的需求，却仍将其表述为可实现；以及被动欺骗，即模型帮助满足用户明确的误导他人请求。我们进一步引入中性、奖励和压力三种条件，以研究外部诱因的影响，共产生 720 个中英文测试实例。对七个主流 LLM 的评估显示，即使在中性条件下也存在大量欺骗行为，主动欺骗的总体发生率为 49.88%，被动欺骗为 64.29%。欺骗率因生命周期阶段而异，外部诱因对主动欺骗和被动欺骗的影响程度不同。我们还评估了轻量级防御措施，发现防护模型会漏掉许多欺骗性请求，而 Self-Reminder 虽能减少欺骗性回应，但无法将其消除。这些发现凸显了需要更有效的欺骗检测与缓解方法，以支持可信的基于 LLM 的软件工程。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13626 [cs.SE] |
| （或 arXiv:2610.13626v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13626 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Xiting Liu [查看邮箱]
[v1]
2026年10月9日星期五 14:09:09 UTC（1,012 KB）
来源：arXiv cs.AI · arxiv.org