StarSkirmish v0.2 基准发布：让 LLM 写星际争霸机器人，GPT-6 Astra 居首
StarSkirmish 发布 v0.2 基准，让每个 LLM 在一小时内用 C++ 写一个 Protoss 机器人，再与人类编写的机器人对战，以平均胜率计分。
#编码
Hacker NewsAI 评分5858
arXiv cs.AIAI 评分3434 SWE-Nexus：从测试执行自动组合软件工程任务
SWE-Nexus 是一个全自动流水线，通过测试执行构建仓库级实现任务，由四个构建智能体筛选测试、适配追踪与评估协议并生成行为规范。其基准包含来自 105 个仓库、六种编程语言的 600 个任务（116 个原子任务、484 个组合任务），在三种智能体脚手架下评测 12 个模型，最佳配置单次尝试解决 37.8% 的任务。
arXiv cs.AIAI 评分3434 规范驱动开发（SDD）的应然与实然：基于 Reddit 讨论、21 位从业者访谈与 SpecMine 语料库的研究
一项研究通过 Reddit 讨论、21 位从业者访谈（含 8 位工具开发者）和 SpecMine 语料库（73,030 个 GitHub 仓库的 470,795 个 spec 文件）考察了规范驱动开发（SDD）的实际使用情况。
arXiv cs.AIAI 评分3939 不重新生成，而是调试：面向加速器内核修复的领域专用智能体
针对 GPU、NPU 等加速器内核生成中大量"近失"候选被丢弃的问题，研究者提出领域专用调试智能体，通过检索模式、诊断插桩、反作弊检测与收敛保护实现自主修复。其 Debug Pass@1 达 66.7%，高于重新生成的平均 Pass@1 25.9% 和 Pass@3 40.7%，且每次成功消耗的 token 比三次重新生成少 92.8%。
arXiv cs.AIAI 评分4747 LLM 代码漏洞检测中的认知启发式偏差研究
研究首次系统探索了 LLM 代码漏洞检测中的认知启发式偏差，通过固定代码、仅改变上下文的方式，在三种编程语言上评估了八款 LLM。结果显示所有模型均受影响，框架效应平均敏感度最高达 33.2%，锚定效应 23.5%，光环效应 18.4%。概念验证的黑盒认知攻击可抑制高达 97% 的已检测漏洞。
arXiv cs.AIAI 评分2424 AXIOM：通过约束扰动与校准对代码 LLM-as-a-Judge 进行基准测试
研究者提出 AXIOM，一个基于扰动的框架，用于构建代码评估基准。它通过质量约束语义扰动控制程序质量分布，再经混合质量校准筛选语义多样的程序并简化人工标注，据此构建了包含 1,962 道多语言代码评估问题的 AXIOMBENCH。
arXiv cs.AIAI 评分2222 RAG4Tickets：基于 JIRA 与 GitHub 数据的 RAG 工单解决框架
RAG4Tickets 提出一套 RAG 框架，用 Sentence-Transformers 做语义嵌入、FAISS 做向量检索，将历史 JIRA 工单、用户评论与关联 PR 元数据统一索引，再由 LLM 生成有依据、可解释的解决建议。该框架打通 JIRA 与 GitHub 数据，在精确率、召回率、解决时间缩短和开发者接受度等指标上显著提升了解题准确率与知识复用。
arXiv cs.AIAI 评分4444 编码智能体的报告遗漏了什么：CTXGAP 测量执行上下文与报告之间的任务状态差距
CTXGAP 测量研究发现，编码智能体在按需回答任务状态问题时准确率达 93.6%，但仅读报告的监督者只能恢复 52.0%，与全上下文读者的 92.7% 相差 40.7 个百分点。在 30 个已验证修复的最终检查点上差距仍有 34.8 个百分点，完整终端回滚可将恢复率提升至 73.6%，但仍不及全上下文。该研究将基于报告的任务状态可恢复性确立为一项补充评估维度。
arXiv cs.CLAI 评分2222 SaraCoder：面向检索增强仓库级代码补全的分层上下文剪枝提升知识密度
SaraCoder 是一个在固定上下文预算下通过分层上下文剪枝提升知识密度的检索增强框架，其 Hierarchical Feature Optimization 模块分四阶段剪枝过完备候选池，再将释放的 token 分配给 External-Aware Identifier Disambiguator，选择性注入最必要的跨文件依赖定义。
arXiv cs.AIAI 评分2626 CodeHealth 能否预测智能体代码审查的 token 成本：一项针对 465 个智能体编写 PR 的预注册研究
一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本，结果显示三个 LLM 的 CodeHealth 系数均为负，每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关，且调整被评分文件大小后关联消失，研究者将其解释为文件大小的中介效应。
arXiv cs.CLAI 评分3939 Φ-Bench：大语言模型能否工程化支撑自身运行的基础设施？
研究者发布 Φ-Bench，一个基于真实 LLM 训练与推理代码库构建的基准，含 85 项任务，覆盖九类 LLM 基础设施，任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中，表现最强的 Claude Opus 5 仅得 36.53%，且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
arXiv cs.CLAI 评分3434 RefactorPlatform：用于仓库级重构智能体受控评估的开源测试框架
RefactorPlatform 是一个开源评估框架，通过固定环境、显式变化模型骨干（OpenRouter 与 GitHub Copilot CLI）、执行模式（基线、检索增强、多智能体）和提示词具体度，对仓库级重构智能体进行受控评估。
arXiv cs.AIAI 评分2929 Poison Valleys：诊断 LLM 代码修复中的路径依赖失败
Poison Valleys 在 1,844 次模型请求中追踪 LLM 代码修复的路径依赖失败，覆盖 PersistQueue 与 Dijkstra 两个合成 Python 案例。将错误机制从假设移入实现计划后，PersistQueue 失败率上升 32.2%，Dijkstra 上升 28.9%。不同误解产生模型相关的义务违反模式，但可能收敛为相同行为。
arXiv cs.CLAI 评分3030 WEAVE：将真实世界代码演进织入依赖结构化任务，用于代码智能体的基准测试与训练
WEAVE 框架将已验证的 PR 历史转化为可执行、依赖结构化的任务，通过仓库校准的类型化变更位点把相关 PR 组织成有界 DAG 并实例化为统一可执行任务。该框架还提出 Graph Credit，一种确定性的、基于测试的指标，用于衡量依赖一致的部分进展，并为强化学习提供稠密可验证奖励。实验表明 WEAVE 能生成连贯的可执行任务，比扁平评分更忠实地衡量进展，并为代码智能体训练提供有效监督。
arXiv cs.AIAI 评分3636 提升环境无关编码智能体：脚手架的作用
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的环境无关智能体，仅修改一条鼓励报告困难并交回控制权的指令，即提升 ARC-AGI-3 与 AGI Maze 的平均得分，Terminal-Bench 变化微小且不一。
arXiv cs.AIAI 评分2626 通过局部上下文蒸馏从交互经验中学习
研究者提出局部上下文蒸馏（LoCD），先定位学生轨迹中需要修正的关键片段，再由教师基于学生自身前缀重新生成这些片段并用于训练学生。在数学推理、代码生成和智能体任务上，LoCD 持续优于强基线，训练更稳定，参数更新更小更稀疏。
arXiv cs.CLAI 评分3535 OPRD：面向长程编程智能体的同策略提醒蒸馏
研究提出同策略提醒蒸馏（OPRD），通过多范围提醒监督与基于结果的路由，在无提醒的学生 rollout 上训练长程编程智能体，推理时学生无需提醒即可运行。
arXiv cs.AIAI 评分2323 Verus 中的正确性反馈为何会抹除证据：阶段分离的完整性审计
在 12 个 Verus/Rust 任务、四个模型家族、匹配调用预算下，无反馈独立发现产生的认证见证产出率（59.0%）是 IntentShield 纠正反馈循环（27.1%）的两倍以上，差距主要来自反馈内容而非独立重启。
arXiv cs.MAAI 评分2626 ORACLE-SWE：量化关键信息信号对 SWE 智能体的贡献
研究提出 ORACLE-SWE，量化 Reproduction Test、Regression Test、Edit Location、Execution Context、API Usage 等 oracle 与智能体提取信号对仓库级 SWE 任务成功率的贡献，并测量智能体实际找到的信号与 oracle 信号之间的差距。
RadarAIAI 评分2222 Zero2Repo：面向完整项目开发的新高难度基准
Zero2Repo 是一个要求模型从零开始构建完整项目的高难度编程基准，旨在解决 SWE-bench 等现有基准区分度不足的问题。
arXiv cs.AIAI 评分3232 为什么软件工程在编码智能体时代不可或缺
一篇被 Communications of the ACM 接收的论文认为，AI 编码智能体的崛起让软件工程和软件工程师变得不可或缺，而非被淘汰。论文指出大语言模型的三个结构性属性——概率生成、不可知论和语义无状态——造成了一个无法靠训练消除的结构性真空，填补它需要方法论知识、领域知识、设计选择与流程选择四类知识杠杆，且都须固化为持久工件。
arXiv cs.AIAI 评分2222 编译器可读、编码智能体不可读：如何让研究代码远离 Coding Agent
针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题，研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类，发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页，含 1 张图和 1 张表，相关分类与历史脚本随论文一并提供。
arXiv cs.AIAI 评分5454 AI 审查自己的代码：代码 LLM 中的递归自训练崩溃
研究比较了代码 LLM 的三种递归微调机制：无审查、使用编译和静态质量检查等模型无关过滤器的外部门控审查，以及使用困惑度和二元自评分等模型自身信号的 AI 自门控审查。
arXiv cs.AIAI 评分2626 重复运行能带来多少收益？LLM 代码评测的实测方差上限
研究用 16 个模型、99 道 LeetCode 风格题目、每题 2 个提示词各跑 5 次（共 15,840 次评判运行），拆解 LLM 代码评测分数的方差来源。
arXiv cs.AIAI 评分3636 LLM 辅助零依赖 Python 库：stdlib 与第三方库的性能和正确性对比
研究用 44 个仅依赖标准库的单文件 Python 模块（zerodep）对比参考库，发现多数场景下 stdlib 实现性能相当（2x 以内），部分因架构开销反而快 5x-115x，但图像处理、二进制序列化、底层加密等依赖 C 扩展的计算存在明显性能悬崖。
arXiv cs.AIAI 评分2424 CAT：面向 Java 项目的调用链感知 LLM 测试生成方法
CAT 是一种调用链感知的 LLM 测试生成方法，通过静态分析将调用链与依赖上下文显式注入提示词，建模调用者—被调用者关系、对象构造函数和第三方依赖，并支持生成失败时的迭代修复。
arXiv cs.AIAI 评分4141 深入解析 Claude Code：当下与未来 AI 智能体系统的设计空间
一项技术报告通过分析公开源码，拆解了 Claude Code 的架构，并与 OpenClaw、Hermes Agent 两个开源 AI 智能体系统对比。其核心是调用模型、运行工具并循环的 while-loop，周边则包含七种模式的权限系统与 ML 分类器、五层上下文压缩管线、MCP/插件/技能/钩子四种扩展机制及子智能体编排。
arXiv cs.AIAI 评分2222 Spec-Harness：评估与引导 LLM 合成的形式化规范超越可验证性
研究对比经典与基于提示词的 JML 规范合成，发现 22.7% 通过验证的规范完全没有后置条件，且提示词优化无法超越最佳手写规范。为此提出 Spec-Harness 框架，从前置与后置条件的正确性和完整性四个维度衡量规范的行为充分性，结合 Hoare 三元组符号验证与输入/输出变异。
arXiv cs.AIAI 评分3232 TENET：面向仓库级代码生成的测试驱动开发框架
TENET 是一个在测试驱动开发（TDD）范式下进行仓库级代码生成的智能体框架，包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上，TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1，较最强基线提升 9.49 和 2.17 个百分点。
arXiv cs.AIAI 评分2222 从实证评估到上下文感知增强：用 LLM 修复回归错误
研究团队构建了 RegressionBug4APR 基准，包含从真实 GitHub 仓库收集的 200 个 Java 和 Python 回归 bug，用于评估自动程序修复（APR）技术。实验显示传统 APR 工具无法修复任何 bug，而基于 LLM 的 APR 方法展现出潜力；将 bug 引入变更信息作为上下文后，成功修复数量提升 1.6 倍，且在 Java 和 Python 基准上结果一致。
arXiv cs.AIAI 评分3232 SkillScriptBench：面向可执行 Agent 技能包自演化的基准测试
研究者提出 SkillScriptBench，一个 350 任务的基准，用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务，另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。
arXiv cs.AIAI 评分4242 编码智能体的成本低效行为分析与缓解：Claude Code 与 Mini-SWE-Agent 研究
一项针对编码智能体成本低效行为的首次研究分析了 Claude Code 和 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条轨迹，识别出子集检索、相似脚本生成和测试重复执行三种行为，它们影响 79.00%–98.00% 的编码任务，最高占任务成本的 22.75%。
arXiv cs.AIAI 评分3535 LoopArena：把模型作为循环工程的运行时控制器进行基准测试
研究者推出 LoopArena，用于评测一个模型作为 Controller 指导独立固定 coding agent（Worker）完成长时任务的能力，分三类设置：Type I 含 160 道低成本控制选择题、Type II 为 80 个任务切片、Type III 为对应的 80 个完整任务。
arXiv cs.AIAI 评分3737 OctoLong：用跨仓库代码上下文做中期训练提升长上下文建模
研究团队提出 OctoLong，一套结合 AST 解析器、语言服务器后端与包管理器递归检索代码引用的上下文工程流水线，可构建长达数百万 token 的依赖丰富代码上下文。
arXiv cs.AIAI 评分3737 PreciseCoder：超越单元测试奖励的忠实且可泛化调试
PreciseCoder 通过为单元测试奖励增加语义验证的局部编辑信号，在 4B、9B、27B 模型上将平均编辑行数从 7-15 行降至 3 行，通过率与仅用单元测试训练持平。
arXiv cs.AIAI 评分3939 SolBehave：评估 LLM 生成智能合约的行为正确性
研究者推出 SolBehave 基准，用差分模糊测试、历史交易回放和 DCR 图引导的合成交易回放三类测试，在 250 个真实以太坊合约上评估 LLM 生成 Solidity 合约的行为保真度。
arXiv cs.AIAI 评分3232 SWEPatchTest：评估超越复现的软件测试
SWEPatchTest 是一个测试生成基准，包含来自 SWE-bench Pro、SWE-bench Multilingual 和 DeepSWE 的 619 个任务及 82,579 个候选补丁，通过联合衡量问题复现、正确补丁接受与错误补丁拒绝来评估测试质量。
arXiv cs.AIAI 评分3232 SpecCloak：用工程规格模板探测 LLM 有害代码生成
研究者提出 PseudoSpec 模板，将功能需求组织为工程规格，发现规格化提示词能大幅降低五个开源权重模型对恶意代码生成的拒绝率，即使保留风险关键词。基于此构建的黑盒红队框架 SpecCloak 在 RedCode-Gen 上对八个目标模型实现平均 28.91% 的执行验证攻击成功率，防御原型 SpecReveal 在提示检测评估中达到 96.88% 的攻击检测率。
arXiv cs.AIAI 评分3131 Diff Diffusion：用扩散模型预测编辑路径实现高效代码编辑
Diff Diffusion 是一个受扩散模型启发的 LLM 框架，将去噪过程表示为结构化编辑操作，从原始代码片段预测到修改后形式的编辑路径，从而把计算集中在改动区域。
arXiv cs.AIAI 评分3131 删除代码而不丢失知识：面向 Python 库的再生式软件
开源包 spotregen 实现了 Fowler 提出的七项再生式软件原语，让程序可被删除重建而不丢失知识：知识以机器可读记录存于受追踪目录，每个单元据此生成包含架构、意图、决策、公共契约、评估与消费者但无实现的 regeneration bundle。