AgentSWE：编码智能体能否构建你真正想要的智能体？
研究者推出 AgentSWE 基准，覆盖智能体开发全生命周期的创建、编辑与优化三个阶段，共 25 项任务，每项以"委托"而非"考试"形式呈现。评测多种模型与框架下的编码智能体后发现，无一能接近需求要求，演示效果与最终交付之间的差距是常态而非个例。失败轨迹分析还识别出对可见案例过拟合、代码看似完整但运行时空洞、无依据宣称完成等反复出现的失败模式。
#评测/基准
arXiv cs.AIAI 评分4141 arXiv cs.AIAI 评分3232 ReqClarifyBench：评估仓库级软件开发中的交互式需求澄清
研究者推出 ReqClarifyBench，一个面向仓库级软件开发的交互式需求澄清基准，包含游戏、小程序和网页开发共 341 个任务，每个任务配有模糊用户意图、人工验证的需求文档和代码评估产物。
arXiv cs.AIAI 评分3232 语言模型能玩维基百科游戏吗？GPT-o3 mini、GPT-4o、QwQ:32B 与 DeepSeek-R1:70B 的导航能力对比
研究用维基百科游戏测试语言模型的信息检索能力，让模型仅靠文章链接抵达目标条目，并在五种维基百科语言和五个学术文献数据集上对比了句嵌入模型与 LLM。GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 表现最佳，成功率与人类相当，但无模型显著超越人类，且性能与排名随语言和主题变化。
arXiv cs.AIAI 评分2424 RATED：基于执行动态的可靠性感知 AI 智能体工具检索框架
RATED 是一个结合语义匹配与动态可靠性自适应的 AI 智能体工具检索框架，通过冻结双编码器对比微调和轻量上下文 bandit 模块，依据实时执行反馈对候选工具重排序，无需重新训练即可适应运行时工具故障。
arXiv cs.AIAI 评分2727 面向 Agentic Web 技术栈的基线评估：MASTIF 框架与 300 项 Mind2Web 任务测试
研究者提出 MASTIF（Multi-Agent System TestIng Framework），对 3 个 LLM、3 种协议和 4 个智能体实现框架在 300 项 Mind2Web 基准任务上进行 Agentic Web 技术栈基线评估。结果显示，选择任务专属技术栈可提升任务完成率、效率分数和社会价值稳定性分数，并减少冗长度与任务完成时间。
arXiv cs.AIAI 评分6262 HOA：面向奥赛解题的多会话智能体工作流，在 IMO、IPhO、IOI 2026 取得满分
研究者提出 HOA（Humanize Olympiads Agent），一个通过独立评审、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话的开放流程级框架。
arXiv cs.AIAI 评分2222 推理模型过度思考的最优终止方法 Pareto 前沿构建
研究提出 Step-wise Truncation Probing（STP），沿固定采样推理轨迹反复从多个保留前缀生成答案，并据此定义 Overthinking Ratio 与 Accuracy Degradation，用于刻画模型-任务层面的过度思考程度。
arXiv cs.AIAI 评分3636 SqueezeBench：抗饱和的数学能力评测基准
研究者提出 SqueezeBench，一种抗饱和的数学能力评测基准：每道题固定一个仅小 n 已知取值的整数函数 f(n)，提交需用 Lean 函数给出可机器验证的上下界证明，成功即抬高门槛而非移除题目。基准发布十个极值组合学问题与二十个已证初始记录；基于前沿语言模型的智能体在每题最多一小时限制下被接受 82 次提交并改进全部记录，两个更新模型的智能体又改进 20 个记录中的 19 个。
arXiv cs.AIAI 评分4141 SWE-Critix：面向编程智能体轨迹评估的通用验证器后训练方法
SWE-Critix 是一套后训练流程，用于训练能判断编程智能体执行轨迹并生成自然语言分析解释的通用验证器。该流程结合 SFT 与 RL，基于 CodeForge-Preview 轨迹训练了一系列 30B 模型，在留出测试集上将分类准确率从基础 Qwen3-30B-A3B 推理模型的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源。
arXiv cs.AIAI 评分3030 MathVis：AI 能否通过画图推理？数学图形生成基准发布
研究者发布 MathVis 基准，用 512 个任务评估 LLM 可视化前沿数学问题并进行图示辅助推理的能力，每个任务包含数学陈述、参考图、可执行 TikZ 或 SVG 代码、Gold IR、原子评分细则和错误码。
arXiv cs.AIAI 评分3131 GeoSpatialBench：面向地理空间推理与受限空间编辑的基准
研究者提出 GeoSpatialBench，一个基于六座城市真实城市数据、覆盖 28 种拓扑/方向/度量/排序关系的空间认知基准，涵盖 GeoJSON 与地图图像两种模态，用于评测 MLLM 从空间关系理解、几何推理到受限空间编辑的能力。
arXiv cs.CLAI 评分5252 OpenCollab：可编程协作与可控运行时的多智能体编码框架
OpenCollab 是一个多智能体编码框架，统一组织设计、在共享运行时上施加实验控制，并通过细粒度事件流追踪执行过程。作者据此定义 Adherence 指标，衡量声明的组织是否真正被执行，实验显示改变任一维度都会使 Adherence 从 47.2% 变化到最高 97.2%。
arXiv cs.CLAI 评分3737 EngiWorld：前沿智能体在专业工程环境中能交付什么？
研究者发布 EngiWorld 基准，包含 1301 个专家标注任务，覆盖 CAD、CAE、CAM、BIM、EDA、DCC 六大工程领域和 26 款专业软件，提供 GUI 与 CLI 接口。
arXiv cs.CLAI 评分4848 Agents' Last Exam（ALE）：面向长周期经济价值任务的 AI 智能体基准
研究者发布 Agents' Last Exam（ALE）基准，用于评估 AI 智能体在长周期、有经济价值、可验证结果的真实世界任务上的表现。ALE 与 250+ 行业专家合作开发，参照 O*NET / SOC 2018 覆盖 13 个行业集群、55 个子领域、1K+ 任务。当前主流 harness 与 backbone 配置下，最难层级的平均完整通过率低于 1%。
arXiv cs.CLAI 评分4444 LLM 作为工业故障诊断工具上层集成层时为何未能实现互补优势
研究在五个诊断数据集（轴承振动、过程监控、半导体设备）上测试 LLM 能否可靠利用外部诊断信息，结果所有数据集中冲突的外部信息都推翻了 LLM 原本正确的判断。
arXiv cs.CLAI 评分3030 StreamDecisionBench：评估语言模型在动态语言流上的决策能力
研究者发布 StreamDecisionBench（SDB），包含四大应用家族的八个流式场景数据集，并提出 in-force accuracy 指标，衡量 0.5-8 秒更新间隔内所应用决策的正确时间占比。
arXiv cs.CLAI 评分2424 M3-DuplexBench：面向全双工语音对话模型的多轮、多语言、多领域基准
M3-DuplexBench 是一个面向全双工语音对话系统（FDSDS）的多轮、多语言、多领域基准，可对交互时序与回复内容进行受控评估。该基准覆盖英语和日语，横跨闲聊与多轮问答，其中英日问答数据源自同一语料库，支持跨语言的时序与内容对比。它还提供参考条件多轮设置作为可选诊断，实验揭示不同模型在交互模式、语言与领域差异以及对话上下文影响上的模型依赖性。
arXiv cs.CLAI 评分3333 TokenSwap：多模态 LLM 模态差距的基准测试与缓解方法
研究者提出 TokenSwap，通过将文本概念替换为语义对齐的图像，构建视觉 token 与文本 token 交错的输入，并把 MMLU 等文本基准改造成 TokenSwap-Bench。
arXiv cs.CLAI 评分3737 ZenGen：面向 LLM 的社会心智框架，含 SoMBench 基准与 Actio 推理架构
研究团队提出 ZenGen 框架，用于测量、内化并落地大语言模型的社会智能。配套基准 SoMBench 覆盖 3 个一级维度、17 个二级维度和 71 种任务范式，共 284 个场景、3,481 个专家核验实例；20 个代表性 LLM 中最佳模型总体准确率仅 72.08%，17 个二级维度无一达到 90%。
arXiv cs.CLAI 评分2222 语言模型关系知识置信度校准评估：Self-Aware Knowledge Probing 框架
研究者提出 Self-Aware Knowledge Probing 框架，在封闭答案集下评估语言模型关系知识的置信度校准，涵盖内在置信度、复述一致性和语言置信度三种模态。对 21 个因果语言模型和 8 个掩码语言模型的广泛分析显示，多数模型过度自信，尤以掩码目标预训练的模型为甚；考虑复述不一致性的置信度估计校准最佳，且增加答案选项数量可改善校准。
arXiv cs.CLAI 评分3333 ABLEIST：LLM 招聘场景中的交叉性残障偏见
研究对 6 个 LLM 在 2,820 个招聘场景中展开审计，覆盖残障、性别、国籍与种姓等画像，并提出 ABLEIST 指标集，包含 5 项残障歧视专属指标与 3 项交叉性伤害指标。结果显示，针对残障候选人的 ABLEIST 伤害显著上升，且许多 SOTA 模型未能检出；性别与种姓边缘化的残障候选人还面临 Tokenism 等交叉性伤害加剧。
arXiv cs.CLAI 评分2727 OARelatedWork：面向开放获取来源的大规模相关工作章节数据集
研究者发布 OARelatedWork，首个面向相关工作生成的大规模多文档摘要数据集，包含 94 450 篇论文的完整相关工作章节与所引论文全文，验证集和测试集确保每篇来源论文均有全文。
arXiv cs.CLAI 评分2222 QTestBench：评估 LLM 生成量子代码的测试框架
研究团队提出 QTestBench，用独立基准检查器评估 LLM 生成的量子测试套件，而非将测试本身视为真值。在八个 PennyLane QHack 挑战和十个 Qiskit HumanEval 任务上测试五个 LLM，生成套件几乎都能执行，但最佳生成器的测试质量仅为 QHack 0.71、Qiskit HumanEval 0.34。
arXiv cs.CLAI 评分3131 OccludeBench：VLM 能否找出图中缺失的物体？
研究团队提出 OccludeBench 基准，用于评测视觉语言模型（VLM）从残留视觉线索中还原被完全遮挡物体的能力，并区分需依赖阴影、倒影等物理线索的"直接"案例与依赖场景上下文的"推断"案例。
arXiv cs.CLAI 评分2929 SWE-bench 补丁性能实证研究：正确修复的运行表现差异
一项实证研究利用 SWE-bench 和 SWE-bench-Live 的内置 FAIL_TO_PASS 测试评估补丁运行性能，选取 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 四个前沿模型搭配 SWE-agent，在 262 个存在至少两种正确解法的案例上测量指令数与墙钟时间。
arXiv cs.CLAI 评分1717 重新审视 DistilHuBERT 口音分类：说话人分离评估与跨语料泛化
研究基于 DistilHuBERT 重新评估口音分类鲁棒性，使用 L2-ARCTIC 与多个外部英语口音数据集，对比文件级与说话人分离划分。结果显示文件级评估显著高估性能，说话人分离评估才能更真实反映对未见说话人的泛化能力；仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，平衡外部数据训练是最有前景的监督设置，而仅靠置信度过滤的伪标签在域不匹配下不够充分。
arXiv cs.CLAI 评分2323 生成音乐的音频语言评判模型到底在听什么？四项探针与专家评分对照研究
研究提出四项探针检验开放音频语言模型作为生成音乐评判者时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评判模型。去掉音频后，没有任何评判模型超过仅凭提示词从人类评分预测的水平；成对评判中四个较小模型的结论跟随片段位置而非质量，改写指令对多数模型相关性影响堪比更换评判模型。作者建议每次音乐评判都报告这四项探针结果。
arXiv cs.CLAI 评分2020 SmartSalesBench：面向 LLM 销售智能体的抗压多轮对话基准
SmartSalesBench 是首个针对 LLM 销售智能体的多轮对话基准，让智能体面对具有心理依据、会抵抗和质疑的买家角色，对话最长 20 轮。基准包含 5 个智能体画像、12 个买家角色、覆盖 6 个价格档的 15 款手机产品，以及 4 组对照实验共 13,680 场会话，销售方与买家角色生成均基于 RAG。
arXiv cs.CLAI 评分2222 MVGraph：面向多视图视觉图证据组合的 LVLM 基准测试
MVGraph 是一个评估大型视觉语言模型（LVLM）多图推理能力的基准，包含 8k 个实例、覆盖 8 项图论任务，抽象自部分视图与时间视图两类多图场景，每道题均经程序化构造并验证无法从单一视图求解。
arXiv cs.CLAI 评分2727 知道不等于说出：LLM 对跨境族群身份的固化表征
研究提出跨境身份固化诊断框架 TIODF，对比直接事实提问与开放式叙事提问，测试 GPT-5.1 和 DeepSeek-V3.2 在英文和中文下对中国西南边境九个跨境族群的表征。
arXiv cs.CLAI 评分4242 SpireBench：用《杀戮尖塔》评测智能体模型的长程策略能力
研究者推出 SpireBench，让 20 个大语言模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》。前沿模型能击败启发式基线并追平普通人类玩家，但仍远落后于专家，且随着流程变长差距扩大：最强模型在第一幕胜率与专家相当，之后逐渐掉队。
arXiv cs.CLAI 评分3232 研究揭示 VLM 空间关系表征弱于词汇先验：EICS 与 CASP-VL 基准
研究提出 EICS 指标与基于 Visual Genome 场景图构建的 CASP-VL 基准，测试 VLM 在受控单概念干预下表征是否稳定编码概念。结果显示，多种 VLM 架构对空间关系的表征忠实度显著低于词汇信息，即便在组合类基准上得分远高于随机水平。关系在谓词自身 token 处可识别，但经 EOS token 或均值池化聚合为全局表征后即丢失，形成输出评测无法察觉的系统性失败。
arXiv cs.CLAI 评分2222 AMLworld-Compact：面向低成本 LLM 评估与错误诊断的重要性加权降采样方法
研究者提出 AMLworld-Compact 评估集，保留全部非法测试交易、按监督分数分层采样良性交易，其 HT-Coreset 协议在 HI-Small 和 LI-Small 上分别将评估目标减少 271 倍和 611 倍。
arXiv cs.CLAI 评分2020 BLiMPPI：覆盖 33 种语言的极性词语言最小对基准
研究者推出 BLiMPPI，一个覆盖 33 种语言、超过 12,000 组 NPI 最小对的多语言评测套件，通过从 Universal Dependencies 树库中发现极性词（NPI）、标注其允准环境并扰动生成最小对构建而成。
arXiv cs.CLAI 评分2222 机器生成文本检测器中的伪影依赖问题研究
一项被 EMNLP 2026 DocInsights workshop 接收的研究发现，机器生成文本检测器在科学文献基准上的高分部分源于 PDF 提取伪影：人类文本保留原始换行，生成文本被提取为单一文本块。
arXiv cs.CLAI 评分2929 语音 LLM 如何避免刻板印象？BASIS-Bench 评测个性化与偏见的边界
研究者提出 BASIS-Bench，从人口统计鲁棒性、刻板偏见和个性化三个维度，区分语音 LLM 的有益个性化与刻板行为。对八个近期语音 LLM 的评测显示，多数模型虽能识别口音等人口统计线索，却无法将其转化为恰当的个性化回应；显式人口标签虽提升个性化效果，却也放大了文本骨干中已有的刻板关联。
arXiv cs.CLAI 评分2222 更好的度量救不了你：比较什么比怎么比较更重要
表征相似性度量（RSA、CKA、Procrustes）的选择取决于其视为无关的变换，但所有度量都把条件集合当作既定输入，而该集合由"纳入哪些输入"和"如何分组"两个决策在矩阵生成前就已固定。
arXiv cs.CLAI 评分2424 从结构到效度：机制引导的 LLM 评分标准生成与精炼
研究对 LLM 评分标准设计开展机制分析，发现结构化组织能构建更全面的评分准则，仅靠语义规范不足以保证准则级判断有效，复杂分数聚合带来的额外收益有限。基于此提出 ARTS-Hybrid，将自适应树构建与语义优先、响应校准的精炼相结合，在多个基准上同时提升端到端评估表现与评分标准本身的质量，其生成的评分标准还能为模型优化提供有效信号。
arXiv cs.CLAI 评分3232 无标签评分标准澄清提升 LLM 评审员共识，却未拉近与人类的一致性
一项无标签流程将评审员分歧转化为评分标准修订：把每条标准拆成子标准，按跨评审员分歧排序，仅让编辑模型改写争议最大的条款。在 SummEval 上，该流程使评审员间 Krippendorff's α 较原始标准提升 0.069（95% CI 0.046–0.092），较随机条款对照组提升 0.074，但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007）。
arXiv cs.CLAI 评分3434 提示词优化器会破坏未被评分的需求吗？一项预注册研究
预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 与 TextGrad，发现三者均产生回归，HotpotQA 上引用有效性净回归达 10.7 至 41.6 分，而 exact match 上升 21 至 34 分。