Agent Skills 下游效用实证研究：同一技能可助益也可拖累任务表现
一项针对 87 个 SkillsBench 任务的实证研究显示，同一 Agent Skills 在 36.78% 的任务上对部分配置有帮助、对另一些配置反而有害，推荐流程可能变成执行负担。
#评测/基准
arXiv cs.AIAI 评分2727 arXiv cs.AIAI 评分2424 ICLR 2017-2025 同行评审噪声观测估计器：The Review Lottery
研究者构建了一个仅凭公开评审数据即可估计会议审稿噪声的观测估计器，并在 NeurIPS 2021 上完成外部校准：k=3 时模拟分歧率 23.3%，与报告的 23.0% 仅差 0.3 个百分点。
arXiv cs.AIAI 评分2222 预算化上下文投影的评估：未执行伴随运行的影响
一项基于 ReVerPi 源码阅读活动的回顾性分析发现，保留全部 27 个干预边界可将投影与完整上下文的成功差异界定在 -9 到 +1 个任务之间；在归档评分契约下，冻结的投影选择器与完整上下文的成功差异为 [-3,0]，排除四个拟合任务后为 [-4,-1]。
arXiv cs.AIAI 评分2727 ExplorationBench：在可验证的 Alien Worlds 中衡量 AI 系统的探索能力
研究者提出 ExplorationBench，用规则可执行、与常识冲突的 Alien Worlds 来评测 AI 的探索能力，包含 AlienCode（31 个发现目标、70 个任务）和 AlienLogic（24 个发现目标、70 个任务）两个沙盒。
arXiv cs.AIAI 评分2525 AI 智能体代购时排名还重要吗？研究揭示位置偏差
一项基于 5 个 LLM、7000 次会话的研究对比了 AI 智能体与人类消费者的购物行为，发现 AI 智能体搜索范围更广，低排名商品被查看的概率同样更低，但影响小于人类。与人类不同，AI 智能体呈现"中间迷失"效应，即中间位置商品被查看概率最低。位置效应集中在较低推理投入时，提高推理投入可降低所有表现出该效应的 LLM 的中间位置惩罚。
arXiv cs.AIAI 评分2424 EgoBench：面向工具使用智能体的交互式第一视角多模态基准
EgoBench 是首个面向工具使用智能体的交互式多模态基准，包含 1,590 个第一视角视频任务，覆盖五类日常场景，并配套用户-智能体-工具交互环境。该基准通过三阶段协同流水线强制任务同时调用视觉感知与工具增强的多跳推理，并用多智能体模拟用户生成高保真、任务对齐的反馈。在三种交互模式下评测八个视频 MLLM 智能体，最佳模型平均 Joint Success Rate 仅 34.95%。
arXiv cs.AIAI 评分2727 超越固定基准与最坏情况攻击：面向语言模型的动态边界评估
研究者提出动态边界评估（DBE），主动定位每个 LLM 在随机采样解码下通过概率接近 0.5 的边界题目，并将其放到全局可比的难度尺度上。DBE 包含经 9 个参考 LLM 验证难度的校准题库、仅需 API 级查询的技能引导边界搜索（SGBS），以及可将新模型置于统一能力尺度的评估协议。该方法覆盖安全、能力与真实性四类任务，且与现有数据集兼容。
arXiv cs.AIAI 评分3636 DriveMind 数据集揭示 VLM 驾驶模型推理与规划脱节
研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind，用其训练 VLM 驾驶智能体后发现推理与规划存在因果脱节：移除 ego/导航先验会导致规划分数大幅下降，而移除 CoT 仅带来微小变化。注意力分析显示规划主要依赖先验而非 CoT，据此提出推理-规划解耦假说，并给出一种免训练探针，通过输入扰动下的规划鲁棒性衡量智能体对先验的依赖。
arXiv cs.AIAI 评分2727 AgenticBBO-Bench：面向 LLM 智能体黑盒优化的跨域基准
研究者提出 AgenticBBO-Bench，一个覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计的跨域智能体黑盒优化基准，采用统一有限预算评估协议。实验中智能体 BBO 在全部五个领域家族平均得分高于直接 LLM 方法，并在四个领域超过最优数值优化器。
arXiv cs.AIAI 评分2525 并非所有判定都等价：重新审视 LLM Judge 的可靠性
一项针对 LLM-as-a-Judge 的可靠性审计发现，六个前沿模型在温度为零的重复评测中判定仍会变化，位置顺序互换会翻转多数判定，最确定的评判模型仅靠重复错误判定实现完美一致性，与真实标签一致率只有 51%。研究提出可信判定率（T）指标，用于衡量评测可复现、顺序不变且准确的联合概率，并证明可靠性是逐样本而非模型级别的。从成对胜率转向整体评分标准打分，比任何单一提示词格式干预都更能提升可信度。
arXiv cs.AIAI 评分2424 DataVista：首个数据视频理解基准，诊断多模态 LLM 的图表叙事能力
研究者发布 DataVista，首个面向数据视频理解的基准，包含 961 个真实数据视频和 6,775 道评测题，按数据感知、时序推理、叙事理解三级能力框架组织，覆盖 10 种题型和 5 个主题领域。
arXiv cs.AIAI 评分2424 LLM 能否无需代码修复 Bug？面向无代码修复的自动化验证研究
一项研究提出基于执行的自动化流水线，在真实浏览器环境中评估 LLM 生成无代码修复的能力，覆盖 Faulty Configuration、Wrong Version、External System & Dependency 三类 bug 报告。
arXiv cs.AIAI 评分2828 评估真实程序中精确输出与检查点状态预测的基准
研究者提出一个从源代码和输入预测程序最终输出与检查点状态的基准，包含来自 371 个 Python 和 C++ 程序的 400 个案例，在四种模型族的七种设置下无工具、无代码执行地评测。
arXiv cs.AIAI 评分3030 相同结果，不同证据：LLM 安全评估中的意图恢复
针对 LLM 安全评估仅用攻击成功率（ASR）概括有害输出行为的问题，研究者提出将 ASR 与操作理解率（UR）配对使用，以区分模型是识别并拒绝了有害任务、未能识别任务，还是答非所问。跨接口实验显示，相近的 ASR 可能对应差异巨大的任务恢复率；在 FormalLogic 上高恢复率仍可能伴随频繁的有害协助。
arXiv cs.AIAI 评分5050 编码智能体中共同安装的技能如何相互冲突
一项针对编码智能体技能冲突的实证研究从 20,947 个仓库快照中挖掘出 822,109 个相似技能对，经 LLM 判定后确认 312 对并在三个模型上运行 6,368 次。
arXiv cs.AIAI 评分3636 SWE-Journey：面向长周期多轮交互的编程助手更真实评测基准
针对现有编程助手评测在任务周期和交互长度上的不足，研究者提出 SWE-Journey 基准，用弱到强合成流水线自动构建长周期编程任务，并基于真实交互数据挖掘四类用户画像、构建用户模拟智能体。测试显示，模型在软件架构师场景下通过超 75% 的功能测试，而在非程序员场景下不足 25%，表明当前编程助手尚难让非程序员可靠地写代码。
arXiv cs.AIAI 评分2626 Design Creativity Bench：衡量 LLM 生成 UI 的创造力
研究团队推出 Design Creativity Bench，从原创性、创意跨度和适配度三个维度评测 LLM 生成 UI 设计的多样性与合理性。不同模型对同一提示词的设计原创性仅 0.592，人类与模型配对为 0.764；创意跨度上模型为 0.581，人类设计达 0.902。所有模型适配度均超 90%，最佳模型达 99.2%，略高于人类的 98.0%，但默认输出明显比人类更重复。
arXiv cs.AIAI 评分3030 本地 LLM 智能体能否产出可复现的数据工程产物？一项针对出行工作流的实证研究
一项针对出行工作流的实证研究评估了本地开源权重 LLM 智能体生成可复现数据工程产物的能力，覆盖数据发现、连接器、语义增强、特征工程、验证与报告等 15 项任务。在超过 20 亿参数的模型中，闭环工作区条件将通过率较单次生成提升 26.7-52.0 个百分点，最佳配置达到 85.3% 的产物级成功率，量化后的 90 亿参数模型以约 6.5 GB 显存占用达到 69.3%。
arXiv cs.AIAI 评分2626 面向嵌入式软件开发的 LLM 智能体闭环评测基准
研究者提出一个面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景：一次性生成、真实自验证、CI 式红绿反馈与 oracle 式详细反馈，实现目标为可复现的模拟 ESP32 固件。
arXiv cs.AIAI 评分2828 RAG-Stress：探测检索增强生成中证据依赖的极限
研究者提出 RAG-Stress 诊断协议，通过固定问题与参考答案、编辑单条断言以支持指定错误答案，交叉两种来源优先级策略与答案在证据文本中的三种位置，测量模型的误导率（MR）。
arXiv cs.AIAI 评分3434 LLM 智能体为何偏袒本群体：代价、观察到的规范与声誉
研究用约 4400 个社会、330 万次模型调用测试 15 个 OpenAI 模型和 3 个 Claude 模型，发现单纯的群体标签效应只在给分不损己时存在，一旦有代价便消失。有代价时互动历史成为偏袒主因，15 个模型中 13 个呈统计显著正效应，11 个达 10 分中的约 3.5-8 分，并延伸至未谋面的标签陌生人。群体偏袒实为对观察到的群体行为的从众，会被个人声誉覆盖。
arXiv cs.AIAI 评分3232 PARCEL：面向法律幻觉检测的声明级基准
研究者提出 PARCEL，一个检验法律声明是否被所引权威来源支持的基准，基于纽约州上诉法院近期判决构建了 3,396 条括注式声明数据集，标注为 Supported、Refuted 或 Not Found。
arXiv cs.AIAI 评分3535 微调小模型超越前沿大模型：Qwen3.5 语法概念标注实现 16 倍成本降低
研究团队微调 Qwen3.5 小语言模型完成语法概念标注，部署的 0.8B 模型在概念、证据跨度、正确性三项嵌套匹配标准下的精确率与召回率均超过 GPT-5.4 和 GPT-5.6 Sol，服务成本降低约 16 倍。在线实验显示学习者参与度提升 15.8%，新课程 GMV 增长 13.2%。
arXiv cs.AIAI 评分2222 表格数据上的对话式任务消歧：泄漏感知建模、基准套件与训练
研究者提出"歧义可验证任务"框架，将智能体拆分为提问策略与求解策略，环境拆分为 oracle 与 verifier，从而把任务消歧与方案生成分开评估，并给出 oracle 泄漏的形式化定义与免评判泄漏诊断方法。
arXiv cs.AIAI 评分2727 LLM 在软件工程系统综述中的筛选性能是否已停滞？
研究基于软件工程系统综述筛选基准 SESR-Eval 及新构建的 SESR-Eval-Mini，评估了 8 个新 LLM 的筛选性能，平均 MCC 仅从 0.347 升至 0.365，提升有限。LLM 之间筛选决策一致性较高（平均 Gwet's AC1 = 0.830），但不同二次研究之间的差异仍大于模型间差异。LLM 尚无法替代人工筛选，更昂贵的新模型带来的优势十分有限。
arXiv cs.AIAI 评分2222 SAVU-Bench：面向空间音视频理解的真实世界基准
研究者推出 SAVU-Bench，一个覆盖三个能力层级、七项评测任务的空间音视频理解真实世界基准，并配套 SAVU-Diag 诊断集，将推理问题拆解为前置的定位与对齐子任务。对 12 个代表性模型的评测显示，视觉空间定位已相对成熟，涉及音频的空间感知仍是主要瓶颈；多数推理错误与前置任务失败同时出现。基于此提出的免训练证据增强基线 SAVU-EA 显著改善空间定位与联合匹配，但高层空间推理仍具挑战。
arXiv cs.AIAI 评分2828 WorldBench：评估 LLM 生成 Three.js 体素世界的能力
研究者提出 WorldBench，一个面向 LLM 生成 Three.js 体素世界的基准与评判器，通过让评判器实际运行世界、操控时钟、环绕观察并派导航智能体取景，同时对照源码核验。
arXiv cs.AIAI 评分6262 TestJack：通过评估器演化审计编码基准，约34.4%被判正确的模型试验违反任务要求
论文提出 TestJack，一个超越固定单元测试的补丁评估框架：针对每个试验生成覆盖提示词要求的测试，只保留真实补丁能通过的测试，并重新检查失败的试验，使每个确认的失败都有可回放的测试支撑。
arXiv cs.AIAI 评分3636 代码理解是编程智能体的瓶颈：CABRA 基准发布
研究者提出 CABRA——一个通过调用图变换从零构建任务、按任务规模在函数遍历、搜索、运行时解析和指令遵循四个维度调节难度的编程能力评估基准。
arXiv cs.AIAI 评分2424 超越类型检查：面向形式化规范生成的整体评估
研究提出面向 SpecGen 的整体评估框架，整合 VERINA 与 CLEVER 共 350 个 Lean 任务，覆盖形式有效性、参考相似度与等价性、行为充分性。
arXiv cs.AIAI 评分2424 认证腐败预算：自适应操纵下随时有效的排行榜声明
研究者提出"认证腐败预算"$\widehat{B}_t$，在发布每项两两对比声明时同步给出，以至少 $1-\alpha$ 的概率保证声明正确、或超过 $\widehat{B}_t$ 条记录被篡改，且对可观察所有证书、预算不受限的攻击者依然成立。
arXiv cs.AIAI 评分3232 对 AI 时间跨度的估计与效度：对 METR 图的统计学审视
研究基于 228 个任务和 26 个 AI，用样条与项目反应理论重新计算 METR 的 50% 时间跨度，放宽了任务 AI 难度与人类耗时对数呈线性关系的假设。
arXiv cs.AIAI 评分2424 BrickBench：评估智能体积木设计
研究者提出 BrickBench，一个面向智能体文本条件 LEGO 套装设计的基准，要求智能体从离散零件库中选件并同时推理局部与全局约束，产出满足语义与设计标准且可物理搭建的组装方案。配套环境 BrickAgent 供编码智能体构建、检查并验证设计，评测覆盖三种规模与零件可用性设置，从有效性、对齐度和设计质量打分。结果显示领先智能体基本满足可验证的物理与语义要求，但仍不及人类设计。
arXiv cs.AIAI 评分2424 HELM Safety 基准的心理测量学审计：HarmBench 能否测量“有害拒绝”这一单一属性
研究用心理测量学方法审计 HELM Safety 基准，检验“有害拒绝”是否为可测量的单一属性。HELM Safety 中四个可能针对该属性的数据集有三个已饱和，仅剩的 HarmBench 经多维项目反应理论建模显示其并不测量单一属性，差异项目功能分析还发现不同开发者的模型在相同拒绝能力下得分不同。作者指出，任何对数据集和题目取平均的安全分数都可能掩盖饱和并混淆不同行为。
arXiv cs.AIAI 评分3232 OnTrack：基于流式结构感知最优传输的 LLM 智能体轨迹实时监控与干预
OnTrack 是一种流式监控机制，通过将智能体步骤及依赖关系与已记录的成功运行轨迹对比，可在约每步 1 毫秒内告警或阻断智能体。在 SWE-bench 轨迹上，基于前 8 步，其区分失败轨迹的 AUROC 比内容相似度方法高 0.057；配合中止策略可节省约 18% 的失败运行算力，被中断的运行中 83% 确实走向失败。
arXiv cs.AIAI 评分3333 准确但不够谦逊：知识冲突下 LLM 智能体的认知谦逊评估
研究提出用认知谦逊（EH）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate（ISE）三个轨迹级行为维度，在受控冲突与多步执行中的自然冲突两种设定下评测四个智能体。
arXiv cs.AIAI 评分2626 AI 智能体能否通过学习登顶？在长期游戏智能体竞赛中评估启发式学习
研究者提出对抗式启发式学习（AHL）范式，让 AI 智能体在固定模型权重下通过修改可执行策略与配套软件来学习游戏策略，并发布包含 12 款真实对抗游戏和 1,920 份人类存档程序的 AAArena 基准。
arXiv cs.AIAI 评分2929 LLM 合规系统对监管规则不敏感：五模型 20 领域审计研究
研究在五个模型、20 个监管与平台政策领域上测试：删除、替换或否定所给规则而保持案例不变，看结论是否改变（OCS）或模型内部合规表征是否偏移（ICS-delta），结果两者都几乎不动。其中 guard 模型规则敏感度与准确率最低，仅 51%，通用模型为 90-92%。在删除规则会改变原本正确预测的案例上，模型能紧密跟随规则；更好的提示词或直接干预内部表征都无法弥合这一差距。
arXiv cs.AIAI 评分3434 InterviewPlayground：一个经实证验证的 AI 访谈员评估仿真环境
研究者开发了 InterviewPlayground，一个用社会理论驱动的模拟受访者来评估 AI 访谈员的仿真环境，并生成 InterviewReportCard 报告卡。通过 5 个 AI 访谈员、3 个访谈主题、450 名真人参与的 15 项真实定性研究对比，该环境在 12 项指标上以平均 0.86 的 Pearson 相关系数预测真人研究中的表现，并复现了人类研究中的关键行为分析发现。
arXiv cs.AIAI 评分2323 自动化研究如何被评估？一篇基准与评估实践综述
一篇被 AACL-IJCNLP 2026 Findings 接收的综述系统梳理了自动化研究系统的评估设计，覆盖文献综述、研究构思、可执行工作流、学术写作与传播、自动同行评审、端到端研究六个目标。该综述比较了任务构建、证据来源、评估者与评分流程，并指出输出检查、过程检查与人类研究提供互补信息，评估者校准因所评属性而异，资源预算与尝试选择是解读性能对比的组成部分。