arXiv cs.AI· Samuele Doria, Stefano De Rosa, Ruoyu Wang, Zion Leonahenahe Basque, Eleonora Losiouk, Simone Aonzo·· 3 天前AI 评分49
人类 vs. 机器：AI 智能体在软件逆向工程中的对比研究
Humans vs. Machines: A Comparison With AI Agents in Software Reverse Engineering
AI 导读
研究对比人类分析师与 LLM 智能体的软件逆向工程能力，GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项静态分析任务上达到与人类统计上相当的理解水平，较弱模型则差距明显。
正文 · AI 翻译
摘要：自主 AI 智能体能否像熟练的人类分析师一样对二进制文件进行逆向工程？它们是否采用相同的策略，智能体能否扩展到真实世界的程序？我们比较了人类与基于 LLM 的软件逆向工程（SRE）：九个模型挑战此前由人类分析师解决的两个紧凑静态分析任务，使用统一的理解评分标准打分，并记录它们与 IDA Pro 的完整交互。这让我们不仅能比较人类与智能体恢复了什么，还能比较它们如何调查一个二进制文件。表现最好的智能体（GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3）在两个任务上都达到了在统计上与人类相当的理解水平，而较弱的模型则远远落后。消融实验表明，这一差距取决于代码表示和工作流需求，而不仅仅是模型能力：开放权重模型在更丰富的代码表示下显著提升，而前沿模型则没有显著变化。相似的成功率掩盖了不同的工作流。人类会反复回看函数并遵循程序的局部结构；强大的智能体则在二进制文件中跳跃，广泛检索信息，很少回到已检查过的代码，我们将这种行为称为贪婪获取。这种策略并非固定不变：给定语义更丰富的代码，智能体获取的内容更少，而理解力并未下降。由于贪婪获取会在智能体的上下文中聚合大量代码，我们测量了 4,000 个真实世界二进制文件的上下文窗口饱和度：大窗口能容纳许多程序，但更大的应用和更低层的表示会迅速耗尽它们。自主逆向工程正变得具有竞争力，并具有巨大的速度优势，但要扩展它，需要更好的导航、选择性检索和持久化分析状态，而不仅仅是更大的上下文窗口。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14960 [cs.SE] |
| （或 arXiv:2610.14960v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14960 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Samuele Doria [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 14:32:31 UTC（139 KB）
来源：arXiv cs.AI · arxiv.org