跳到正文
10月15日周四
  1. arXiv cs.AI22

    编译器可读、编码智能体不可读:如何让研究代码远离 Coding Agent

    针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题,研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类,发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页,含 1 张图和 1 张表,相关分类与历史脚本随论文一并提供。

  2. arXiv cs.AI41

    深入解析 Claude Code:当下与未来 AI 智能体系统的设计空间

    一项技术报告通过分析公开源码,拆解了 Claude Code 的架构,并与 OpenClaw、Hermes Agent 两个开源 AI 智能体系统对比。其核心是调用模型、运行工具并循环的 while-loop,周边则包含七种模式的权限系统与 ML 分类器、五层上下文压缩管线、MCP/插件/技能/钩子四种扩展机制及子智能体编排。

  3. arXiv cs.AI22

    Spec-Harness:评估与引导 LLM 合成的形式化规范超越可验证性

    研究对比经典与基于提示词的 JML 规范合成,发现 22.7% 通过验证的规范完全没有后置条件,且提示词优化无法超越最佳手写规范。为此提出 Spec-Harness 框架,从前置与后置条件的正确性和完整性四个维度衡量规范的行为充分性,结合 Hoare 三元组符号验证与输入/输出变异。

  4. arXiv cs.AI22

    从实证评估到上下文感知增强:用 LLM 修复回归错误

    研究团队构建了 RegressionBug4APR 基准,包含从真实 GitHub 仓库收集的 200 个 Java 和 Python 回归 bug,用于评估自动程序修复(APR)技术。实验显示传统 APR 工具无法修复任何 bug,而基于 LLM 的 APR 方法展现出潜力;将 bug 引入变更信息作为上下文后,成功修复数量提升 1.6 倍,且在 Java 和 Python 基准上结果一致。

  5. arXiv cs.AI32

    SkillScriptBench:面向可执行 Agent 技能包自演化的基准测试

    研究者提出 SkillScriptBench,一个 350 任务的基准,用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务,另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。

  6. arXiv cs.AI32

    SpecCloak:用工程规格模板探测 LLM 有害代码生成

    研究者提出 PseudoSpec 模板,将功能需求组织为工程规格,发现规格化提示词能大幅降低五个开源权重模型对恶意代码生成的拒绝率,即使保留风险关键词。基于此构建的黑盒红队框架 SpecCloak 在 RedCode-Gen 上对八个目标模型实现平均 28.91% 的执行验证攻击成功率,防御原型 SpecReveal 在提示检测评估中达到 96.88% 的攻击检测率。

  7. arXiv cs.AI26

    LLM 辅助编码安全性的系统性文献综述

    一篇被 ACM Computing Surveys 接收的系统性综述指出,LLM 虽加速软件开发,却因训练数据偏差频繁生成不安全代码和错误补丁,模型自身也易受直接攻击。现有评测方法存在数据污染问题且缺乏稳健的安全指标,因此人工监督仍不可或缺。研究认为,更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准以及更有效的人机协作框架。

  8. arXiv cs.AI42

    TurnCost:编码智能体的缓存感知循环工程——轮次而非观测才是成本主因

    研究分析 600 条编码智能体轨迹发现,轮次数量解释了日志轨迹成本 84% 的方差,而平均观测大小仅占 4%,最昂贵的轨迹轮次最多但观测最小。98.6% 的输入 token 由前缀缓存提供,扁平定价平均高估循环成本约 7 倍。团队发布 TurnCost 工具,可在不同缓存、定价、压缩和路由策略下重新评分轨迹语料。

  9. arXiv cs.AI37

    自然代码变换如何让 AI 智能体在漏洞分析中"迷惑"

    研究发现,面对功能与漏洞完全相同但代码写法不同的真实提交,AI 智能体在漏洞分析中的表现差异巨大,该现象在多个代码领域和漏洞类别中一致出现。团队从真实代码提交中挖掘开发模式构建自然变换语料,结果显示仅一种变换形式就能有效"迷惑"前沿智能体,如 Codex 搭配 GPT-6 Sol,降低其漏洞发现成功率。研究还考察了智能体的不同失败模式、变换组合能否提供更强防护,以及试图逆向变换的自适应攻击者。

  10. arXiv cs.AI34

    编码 LLM 可被用于从数据中学习可解释模型

    研究者提出一种简单 harness,反复提示编码 LLM 根据标注样本生成规则集中的下一条规则,从而从数据中学习可解释模型。该方法在表格数据上与 SOTA 规则学习方法相当甚至更优,在小训练集上优势明显,在文本任务上大幅领先,包括击败另一个基于 LLM 的规则学习器。由于编码智能体不受高度受限假设空间约束,该思路还直接催生了新型可解释模型,并引入“构建可解释分类器”这一新编码基准类别。

  11. arXiv cs.AI34

    EvoWeb:面向持续演化 Web 应用的编码智能体基准

    研究者推出 EvoWeb 基准,包含覆盖 32 个 Web 应用的 320 条累积请求,按功能依赖图组织,由多模态 Web 智能体在真实浏览器中逐轮测试新功能、跨请求集成与既有功能。实验显示开源与闭源前沿模型表现差异明显,跨请求集成是主要难点,依赖更深或更多的后续请求解决准确率更低,运行时错误也随请求推进而增多。

  12. arXiv cs.CL38

    DivAlgo:代码生成模型算法多样性系统评估基准

    研究者提出 DivAlgo 基准,包含编程问题的算法多样化解法数据集,并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示,模型无控制生成的代码多样性仅为人类的约 31%,最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法,却无法复现人类解法的多样性。

  13. arXiv cs.AI27

    SocraticRepair:规划引导的苏格拉底式辅导框架,用于程序调试与错误概念修复

    SocraticRepair 是一个规划引导的苏格拉底式辅导框架,用于程序调试与错误概念修复,通过在四个预处理编程数据集构建的合成多轮辅导对话上微调 Qwen2.5-Coder-7B-Instruct 实现。实验显示,该框架在逐步引导和提问质量上得分更高,并大幅减少过早泄露答案的情况,但可靠的教学计划生成仍是待解难题。