编译器可读、编码智能体不可读:如何让研究代码远离 Coding Agent
针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题,研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类,发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页,含 1 张图和 1 张表,相关分类与历史脚本随论文一并提供。
针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题,研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类,发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页,含 1 张图和 1 张表,相关分类与历史脚本随论文一并提供。
研究比较了代码 LLM 的三种递归微调机制:无审查、使用编译和静态质量检查等模型无关过滤器的外部门控审查,以及使用困惑度和二元自评分等模型自身信号的 AI 自门控审查。
研究用 16 个模型、99 道 LeetCode 风格题目、每题 2 个提示词各跑 5 次(共 15,840 次评判运行),拆解 LLM 代码评测分数的方差来源。
研究用 44 个仅依赖标准库的单文件 Python 模块(zerodep)对比参考库,发现多数场景下 stdlib 实现性能相当(2x 以内),部分因架构开销反而快 5x-115x,但图像处理、二进制序列化、底层加密等依赖 C 扩展的计算存在明显性能悬崖。
CAT 是一种调用链感知的 LLM 测试生成方法,通过静态分析将调用链与依赖上下文显式注入提示词,建模调用者—被调用者关系、对象构造函数和第三方依赖,并支持生成失败时的迭代修复。
一项技术报告通过分析公开源码,拆解了 Claude Code 的架构,并与 OpenClaw、Hermes Agent 两个开源 AI 智能体系统对比。其核心是调用模型、运行工具并循环的 while-loop,周边则包含七种模式的权限系统与 ML 分类器、五层上下文压缩管线、MCP/插件/技能/钩子四种扩展机制及子智能体编排。
研究对比经典与基于提示词的 JML 规范合成,发现 22.7% 通过验证的规范完全没有后置条件,且提示词优化无法超越最佳手写规范。为此提出 Spec-Harness 框架,从前置与后置条件的正确性和完整性四个维度衡量规范的行为充分性,结合 Hoare 三元组符号验证与输入/输出变异。
TENET 是一个在测试驱动开发(TDD)范式下进行仓库级代码生成的智能体框架,包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上,TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1,较最强基线提升 9.49 和 2.17 个百分点。
研究团队构建了 RegressionBug4APR 基准,包含从真实 GitHub 仓库收集的 200 个 Java 和 Python 回归 bug,用于评估自动程序修复(APR)技术。实验显示传统 APR 工具无法修复任何 bug,而基于 LLM 的 APR 方法展现出潜力;将 bug 引入变更信息作为上下文后,成功修复数量提升 1.6 倍,且在 Java 和 Python 基准上结果一致。
研究者提出 SkillScriptBench,一个 350 任务的基准,用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务,另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。
一项针对编码智能体成本低效行为的首次研究分析了 Claude Code 和 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条轨迹,识别出子集检索、相似脚本生成和测试重复执行三种行为,它们影响 79.00%–98.00% 的编码任务,最高占任务成本的 22.75%。
研究者推出 LoopArena,用于评测一个模型作为 Controller 指导独立固定 coding agent(Worker)完成长时任务的能力,分三类设置:Type I 含 160 道低成本控制选择题、Type II 为 80 个任务切片、Type III 为对应的 80 个完整任务。
研究团队提出 OctoLong,一套结合 AST 解析器、语言服务器后端与包管理器递归检索代码引用的上下文工程流水线,可构建长达数百万 token 的依赖丰富代码上下文。
PreciseCoder 通过为单元测试奖励增加语义验证的局部编辑信号,在 4B、9B、27B 模型上将平均编辑行数从 7-15 行降至 3 行,通过率与仅用单元测试训练持平。
研究者推出 SolBehave 基准,用差分模糊测试、历史交易回放和 DCR 图引导的合成交易回放三类测试,在 250 个真实以太坊合约上评估 LLM 生成 Solidity 合约的行为保真度。
SWEPatchTest 是一个测试生成基准,包含来自 SWE-bench Pro、SWE-bench Multilingual 和 DeepSWE 的 619 个任务及 82,579 个候选补丁,通过联合衡量问题复现、正确补丁接受与错误补丁拒绝来评估测试质量。
研究者提出 PseudoSpec 模板,将功能需求组织为工程规格,发现规格化提示词能大幅降低五个开源权重模型对恶意代码生成的拒绝率,即使保留风险关键词。基于此构建的黑盒红队框架 SpecCloak 在 RedCode-Gen 上对八个目标模型实现平均 28.91% 的执行验证攻击成功率,防御原型 SpecReveal 在提示检测评估中达到 96.88% 的攻击检测率。
Diff Diffusion 是一个受扩散模型启发的 LLM 框架,将去噪过程表示为结构化编辑操作,从原始代码片段预测到修改后形式的编辑路径,从而把计算集中在改动区域。
开源包 spotregen 实现了 Fowler 提出的七项再生式软件原语,让程序可被删除重建而不丢失知识:知识以机器可读记录存于受追踪目录,每个单元据此生成包含架构、意图、决策、公共契约、评估与消费者但无实现的 regeneration bundle。
研究者提出 CodeTriage,一个 0.6B 参数的学习型策略,在生成和测试修订代码前,先读取测试输出、失败诊断和候选编辑,预测该编辑达到修复所需的修复步数分布,从而对多个程序的待处理编辑统一排序。
一篇被 ACM Computing Surveys 接收的系统性综述指出,LLM 虽加速软件开发,却因训练数据偏差频繁生成不安全代码和错误补丁,模型自身也易受直接攻击。现有评测方法存在数据污染问题且缺乏稳健的安全指标,因此人工监督仍不可或缺。研究认为,更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准以及更有效的人机协作框架。
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成编程基准,整个构建过程程序化,无需语言模型生成或验证。
研究分析 600 条编码智能体轨迹发现,轮次数量解释了日志轨迹成本 84% 的方差,而平均观测大小仅占 4%,最昂贵的轨迹轮次最多但观测最小。98.6% 的输入 token 由前缀缓存提供,扁平定价平均高估循环成本约 7 倍。团队发布 TurnCost 工具,可在不同缓存、定价、压缩和路由策略下重新评分轨迹语料。
研究对比人类分析师与 LLM 智能体的软件逆向工程能力,GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项静态分析任务上达到与人类统计上相当的理解水平,较弱模型则差距明显。
研究者提出 Last Secure Code Benchmark,用 150 个真实漏洞构建 450 个任务,覆盖 Java、C、C++、JavaScript。
研究发现,面对功能与漏洞完全相同但代码写法不同的真实提交,AI 智能体在漏洞分析中的表现差异巨大,该现象在多个代码领域和漏洞类别中一致出现。团队从真实代码提交中挖掘开发模式构建自然变换语料,结果显示仅一种变换形式就能有效"迷惑"前沿智能体,如 Codex 搭配 GPT-6 Sol,降低其漏洞发现成功率。研究还考察了智能体的不同失败模式、变换组合能否提供更强防护,以及试图逆向变换的自适应攻击者。
Cortex 是一款对编码智能体 harness(项目文件、技能与规则)的改动先测试再采纳的工具:把开发者会话中的修正保存为可重放任务,逐条写入技能或规则,仅在重复运行显示净收益且无任务明显变差时保留,删除前同样测试,且不增删智能体从未使用的文本。
研究者提出一种简单 harness,反复提示编码 LLM 根据标注样本生成规则集中的下一条规则,从而从数据中学习可解释模型。该方法在表格数据上与 SOTA 规则学习方法相当甚至更优,在小训练集上优势明显,在文本任务上大幅领先,包括击败另一个基于 LLM 的规则学习器。由于编码智能体不受高度受限假设空间约束,该思路还直接催生了新型可解释模型,并引入“构建可解释分类器”这一新编码基准类别。
针对竞赛编程中官方评测不提供失败解释的问题,研究者构建了 USACO-JUDGE 基准,并训练出 35B MoE 智能体验证器 ARBITER,仅凭题面与源码即可评判并诊断候选程序,用生成的反例作为可验证证据。
研究者提出"结果对齐"概念,要求 AI 智能体将用户指令视为证据而非目标,从指令与环境中推断真实需求。基于 SWE-chat 的 100 条用户-智能体轨迹分析显示,56% 的初始指令遗漏了后续才显现的必要需求,52% 的有用后续需求本可从项目中推断。
研究者提出 T2J-BENCH,包含 63 个 PyTorch 到 JAX 全仓库迁移任务,覆盖 18 个模型家族,要求交付无 torch 依赖的 checkpoint 转换,并以无 torch 离线验证器按执行结果判定功能等价。
针对小型开源权重模型缺乏对陌生代码库泛化能力的问题,研究者提出仓库中心学习(RCL),以单仓库纵向深度替代跨仓库的任务中心学习(TCL),并据此训练出 SWE-Spot-4B 系列仓库专家模型。
研究者提出 ANCHOR 基准,用于评估仓库级编码智能体的"工程约束遵循"能力,覆盖八种语言组的自然多语言仓库任务,包含 10 大类 78 种叶子类型的约束分类体系和轨迹评估框架。
研究者推出 EvoWeb 基准,包含覆盖 32 个 Web 应用的 320 条累积请求,按功能依赖图组织,由多模态 Web 智能体在真实浏览器中逐轮测试新功能、跨请求集成与既有功能。实验显示开源与闭源前沿模型表现差异明显,跨请求集成是主要难点,依赖更深或更多的后续请求解决准确率更低,运行时错误也随请求推进而增多。
研究者提出 Reviser,一个仅解码器 Transformer,通过插入、移动、删除、停止等光标动作在画布上写作和编辑文本,动作由确定性执行器应用,且对自身动作自回归,单步开销与 AR 步骤相同。
研究在 30 个 TPC Benchmark DS 派生的 DataFrame 任务上发现"解释锁定"现象:Test-Guided Revision 和 PlanAudit-Guided Revision 将测试通过数从 22/30 提升至 29/30 和 30/30,但没有任何生成方案匹配存储的参考输出。
SpecForge 是一个多前沿树搜索框架,让冻结权重的编码智能体通过迭代优化行为规范实现递归自我改进,在 DevEval+ 上以 Claude-4.5-Sonnet 达到 94.9% 解决率,较最强基线平均提升 5.7 个百分点。
LintEval 是一个覆盖 C++、Python、Java 的多语言基准,包含 13,061 个程序与 171,662 条 lint 告警,用于评测模型在保持功能正确的前提下减少 lint 告警的能力。
研究者提出 DivAlgo 基准,包含编程问题的算法多样化解法数据集,并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示,模型无控制生成的代码多样性仅为人类的约 31%,最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法,却无法复现人类解法的多样性。
SocraticRepair 是一个规划引导的苏格拉底式辅导框架,用于程序调试与错误概念修复,通过在四个预处理编程数据集构建的合成多轮辅导对话上微调 Qwen2.5-Coder-7B-Instruct 实现。实验显示,该框架在逐步引导和提问质量上得分更高,并大幅减少过早泄露答案的情况,但可靠的教学计划生成仍是待解难题。