arXiv cs.AI· Giovanni Pio Delvecchio, Stefano Fantazzini, Giacomo Frisoni, Gianluca Moro, Lorenzo Bacchiani, Mario Bravetti, Thomas Troels Hildebrandt·· 3 天前AI 评分39
SolBehave：评估 LLM 生成智能合约的行为正确性
SolBehave: Evaluating the Behavioural Correctness of LLM-Generated Smart Contracts
AI 导读
研究者推出 SolBehave 基准，用差分模糊测试、历史交易回放和 DCR 图引导的合成交易回放三类测试，在 250 个真实以太坊合约上评估 LLM 生成 Solidity 合约的行为保真度。
正文 · AI 翻译
摘要：大语言模型越来越多地生成 Solidity 智能合约，而这类合约一经部署便永远无法修补，使得单个潜在缺陷成为永久且可被利用的漏洞。然而，当前的评估大多只关注生成的代码能否编译。我们提出 SolBehave，一个用于大规模评估模型生成合约正确性的基准，超越了临时的单元测试。在 250 个真实、可复现的以太坊合约上，我们应用三种互补的行为保真度测试：差分模糊测试、历史交易重放，以及作为我们核心贡献的、由动态条件响应（DCR）图引导的合成交易重放，该图枚举了合法函数调用序列的空间。差分模糊测试在自动生成的输入上，将每个生成的函数与原始函数进行比较；历史重放在整个合约实际在链上收到的交易上进行比较；DCR 引导的重放则在其预期使用方式所遵循的调用序列上进行比较，包括从未在链上出现过的顺序。我们在进行一轮自动修复后评估了七个最先进的开源权重模型。编译成功率从 26.4% 到 92.7% 不等，但在差分模糊测试下，跨模型和样本汇总后，所有可编译的生成函数体中只有 31.4% 与原始函数等价。合约层面的偏差是常态而非例外：对于七个模型中的六个，在历史重放下，13% 到 31% 的可编译生成合约与原始合约存在偏差，而在 DCR 引导的重放下这一比例为 13% 到 44%；只有 Gemma-4-31B 在两者上均低于 3%。因此，编译是正确性的必要条件，但远非充分条件。
| Subjects: | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18745 [cs.SE] |
| （或本版本的 arXiv:2610.18745v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.18745 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Giacomo Frisoni [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 17:12:59 UTC（3,359 KB）
来源：arXiv cs.AI · arxiv.org