CausalDS：面向数据科学智能体的因果推理基准
研究者推出 CausalDS 基准，用于评估数据科学智能体工作流中的因果推理能力。每个测试实例由采样的结构因果模型（SCM）、生成的观测数据和基于真实领域的合成自然语言故事构成，任务覆盖 Pearl 因果阶梯的全部三个层级，多数任务包含数据科学编码与工具调用环节，并对图无法识别的目标直接测试弃答。由于生成器完全合成，基准的组成、难度和规模均可作为参数调整，可随时抽取全新考题。
#评测/基准
arXiv cs.CLAI 评分2727 arXiv cs.AIAI 评分4444 Glasseek：DeepSearch 智能体的透明训练配方与可信评测框架
研究团队推出 Glasseek，一个覆盖数据构建、训练到评测全流程的透明 DeepSearch 框架，开源全部数据、模型权重、训练配方与代码。其 9B 智能体在几乎所有深度研究基准上超越前沿闭源智能体，并在近期开源权重智能体中取得最佳整体表现，刷新 9B 规模 SOTA。
arXiv cs.CLAI 评分2727 T2J-BENCH：评测编程智能体在 PyTorch 到 JAX 全仓库迁移上的表现
研究者提出 T2J-BENCH，包含 63 个 PyTorch 到 JAX 全仓库迁移任务，覆盖 18 个模型家族，要求交付无 torch 依赖的 checkpoint 转换，并以无 torch 离线验证器按执行结果判定功能等价。
arXiv cs.CLAI 评分4141 LLM 在经济因果推理中的意识形态偏见
研究将 EconCausal 基准扩展至意识形态争议案例，从 10,490 个因果三元组中识别出 1,056 个争议实例，评测 20 个 SOTA LLM 预测实证支持的因果方向。结果显示争议项准确率一致更低，且 20 个模型中有 17 个在因果符号符合干预导向（亲政府）预期时准确率系统性高于市场导向（亲市场）预期；模型出错时预测也过度偏向干预导向，一次性上下文提示无法消除这一方向性偏斜。
arXiv cs.AIAI 评分2929 为 AI 审计器提供额外上下文会如何影响 LLM 编码智能体审计效果
研究用 Petri 工具审计 LLM 编码智能体，测试向 LLM 审计器提供外部代码库和 benchmark 转录两类资源的影响。
arXiv cs.CLAI 评分2929 BenchPreS：评估持久记忆 LLM 的上下文感知个性化偏好选择性基准
研究者提出 BenchPreS，用 Misapplication Rate（MR）和 Appropriate Application Rate（AAR）两项指标评估持久记忆 LLM 能否在第三方沟通场景中恰当应用或抑制用户偏好。结果显示，即使前沿 LLM 也难以做到上下文敏感，偏好依从性更强的模型过度应用率更高，推理能力与基于提示词的防御均无法完全解决该问题。
arXiv cs.AIAI 评分2222 观察、共享还是预测？解耦具身多智能体协作中的伙伴信息
研究基于 Habitat 的 PARTNR 基准提出解耦部分可观测机制，在 1000 个验证任务上测试 OAS 观察、KE 知识交换与 OANA 预测对 LLM 具身智能体协作的影响。OAS 观察提升任务质量并减少无效动作，KE 主要提升执行效率、最多减少 25% 仿真步数；OANA 预测在 16 组模型×上下文组合中有 15 组降低成功率，协作收益主要来自对共享上下文的响应而非显式预测。
arXiv cs.CLAI 评分3232 TimeWarp：评估 Web 智能体在网页变迁下的表现
研究者推出 TimeWarp 基准，用三个 Web 环境、每个含六种 UI 版本模拟网页演化，发现视觉型智能体易受界面变化影响，文本型智能体在单一版本微调后变得脆弱。为此提出基于计划蒸馏的标注方法 TimeTraj，用 BC-variant 训练后 Qwen-3 4B 从 20.4% 提升至 37.7%，Llama-3.1 8B 从 0% 提升至 27.0%。
arXiv cs.CLAI 评分4141 搜索智能体的“幻觉式完成”：正确回答中高达 48% 仍有约束未验证
研究提出“幻觉式完成”现象：在多约束问题上，搜索智能体有多达 48% 的正确回答其实仍有约束未经核实。团队用 Epistemic Ledger 追踪 13 个智能体（从 7B RL 模型到前沿 LLM）的逐轮验证状态，发现训练与规模只改变验证失败的模式而非消除它。借助 4B 的 LiveLedger 展示各约束状态后，智能体正确回答数提升 4.4-16.1 个百分点。
arXiv cs.AIAI 评分2929 LIBERO-Industry：工业流程约束下的机器人操作基准
研究者提出 LIBERO-Industry，一个基于 LIBERO 构建的机器人操作基准，将产品变体、移动物料流、有限执行窗口和严格几何公差等工业约束转化为可控任务条件与可测量成功标准。
arXiv cs.CLAI 评分3636 随机种子与温度如何暴露 LLM 拒绝行为的不一致：安全评估稳定性研究
研究测试 Llama 3.1 8B、Qwen 2.5 7B、Qwen 3 8B、Gemma 3 12B 四个指令微调模型在 876 条有害提示、20 种采样配置（4 温度 × 5 种子）下的拒绝决策稳定性，发现 18-28% 的提示出现 REFUSE/PARTIAL/COMPLY 标签翻转。
arXiv cs.AIAI 评分3838 结构基线对智能体失败检测与归因的影响
使用工具的 LLM 智能体可能静默失败：任务未完成却不报错，还能流畅作答。研究发现，失败运行更长、被标注为决定性的步骤通常就是最后一步，一条"永远选最后一步"的规则在此处正确率达 67% 至 96%，无需读取运行内容；但在回放可确认决定性步骤的失败上，该规则降至接近随机。
arXiv cs.CLAI 评分3636 ANCHOR：评估仓库级智能体编码中的自然约束层级与顺序
研究者提出 ANCHOR 基准，用于评估仓库级编码智能体的"工程约束遵循"能力，覆盖八种语言组的自然多语言仓库任务，包含 10 大类 78 种叶子类型的约束分类体系和轨迹评估框架。
arXiv cs.AIAI 评分3131 托管决策模型 jev-1.13.0 是否满足无关选项独立性？一项预注册的选项集依赖测试
预注册研究用 299,463 次调用测试托管决策模型 jev-1.13.0，发现每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，均方根系统性偏移达 0.20-0.52 nats，为运行间波动的 1.2 至 3 倍。
arXiv cs.CLAI 评分3636 研究：LLM 审查很少胜过更强模型，验证与能力迁移需区分
对 12 个开源模型（3B 至 72B）组成的 48 对组合测试显示，在数学、知识、代码和推理任务中，审查仅在 96 个审查方向中的 9 个胜过更强模型，且能力差距越大表现越差。原因是锚定效应：审查者大多跟随生成者，丢弃了自己的正确答案。审查成本是单独使用更强模型的 2.6 至 2.8 倍，而同样两次调用的选择器比审查准确率高 2.7 至 4.2 分且更便宜。
arXiv cs.CLAI 评分2828 评估 LLM 作为真实客服技能中的智能体工作流执行器
研究构建了一套基于真实客服对话记录的 Skill LLM 基准，通过 MCP 兼容 mock 模拟环境状态并生成多轮工具调用对话，对 17 个模型进行零样本评测。GPT-5.4 大幅领先，QWEN3.5-9B 是 20B 以下最强开源权重模型，在每位评审下均超过多个闭源基线。10 组评审两两一致率平均 Kappa=0.524，表明评审可靠性需与模型能力同等重视。
arXiv cs.AIAI 评分3434 AuthGateBench：将 LLM 作为授权门禁的基准测试
研究者推出 AuthGateBench，首个面向良性请求下授权门禁的策略引导基准，包含 1,400 个实例、覆盖源自真实 Claude Code 事件的五类失败模式。
arXiv cs.AIAI 评分2727 SLS-Bench：基于合成可观测性数据的事件日志摘要基准
研究者推出 SLS-Bench，一个面向事件日志摘要的基准，包含 90 个基于真实事件报告的任务，每个任务配有合成日志流和参考摘要。其数据生成管线将事件报告转为结构化事件模型，结合叙事锚定、生成器-验证器循环及与真实日志流的统计对比，生成逼真可控的可观测性数据。对 14 个 LLM 的评测显示，前沿模型能生成有用摘要但成本与延迟高，开放权重模型明显落后。
arXiv cs.AIAI 评分3434 EvoWeb：面向持续演化 Web 应用的编码智能体基准
研究者推出 EvoWeb 基准，包含覆盖 32 个 Web 应用的 320 条累积请求，按功能依赖图组织，由多模态 Web 智能体在真实浏览器中逐轮测试新功能、跨请求集成与既有功能。实验显示开源与闭源前沿模型表现差异明显，跨请求集成是主要难点，依赖更深或更多的后续请求解决准确率更低，运行时错误也随请求推进而增多。
arXiv cs.CLAI 评分4040 基于 LLM 的新颖性评估为何不稳定：一项系统受控研究
一项系统受控研究发现，基于 LLM 的新颖性评估表现不佳：仅告知评审者认为某个想法新颖，就能让同一对想法中超过一半的判定发生翻转，成对准确率波动超过 50 个百分点，有时甚至低于随机水平。检索与更大的推理预算帮助有限，两个专门构建的新颖性评估器还不如最便宜的提示词基线。
arXiv cs.CLAI 评分3131 DischargeBench：通过人格化患者模拟对 LLM 出院教育者进行部署前评估
研究者推出 DischargeBench，一个让候选 LLM 教育者在开放式多轮对话中向人格化模拟患者讲解出院计划的部署前基准，并构建了覆盖 16 个 ICD 章节、320 个病例的 MIMIC-IV-Ext-DischargeBench 数据集。
arXiv cs.CLAI 评分2222 BTS-AgentBench：从只读遥测日志到智能体基准的确定性可重放流水线
BTS-AgentBench 是一个确定性编译器，可将只读遥测与设备元数据转换为工具驱动的多轮智能体任务、阶段级目标、证据与可执行评测契约。
arXiv cs.AIAI 评分3939 HyWe：统一搜索与操作，面向真实混合网页任务
研究团队提出 HyWe 框架，将信息搜索与页面操作统一在单一模型和轨迹中，并训练出 35B 参数的网页智能体 HyWe-35B。
arXiv cs.AIAI 评分2828 Choice2Seq：衡量模型在序列构建中正确性保留的基准
研究者提出诊断基准 Choice2Seq，用序列组合率（SCR）衡量模型在完整答案选择与逐步序列构建之间的正确性保留。Jev 在算术和词汇检索上选择准确率达 97.1% 和 99.5%，但在序列构建下仅保留 33.0% 和 2.1% 的正确选择，StartLux 和 Qwen 也存在明显差距。将局部选项限制为候选支持的字符可改善构建，显式位置索引可提升复制保真度。
arXiv cs.AIAI 评分3131 TIPER：通过任务完整性约束下的人格演化揭示 LLM 智能体的鲁棒性弱点
研究者提出 TIPER，一种保持任务完整性的人格演化方法，通过反思引导的行为变异和任务级 Pareto 选择，自动发现能暴露智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上，TIPER 在全部 12 个 GPT-5.4 设置中降低留出 avg@3 分数 5.8 至 33.7 个百分点，在覆盖七个智能体的全部 28 个智能体-领域组合中观察到中位数 22.9 个百分点的下降。
arXiv cs.CLAI 评分3636 ProReviewer：面向科学同行评审的证据驱动调查智能体
ProReviewer 是一个证据驱动的评审智能体，将评审建模为马尔可夫决策过程，以结构化评审日志作为状态核心，每步依据已积累发现决定下一步检查内容与结束时机，并随新证据更新日志。在 1000 篇 ICLR 2026 留出论文上，训练后的 8B ProReviewer 平均得分超过所有对比方法，包括基于 397B 模型的方法；人类评估者在四个评审质量维度中的三个上更偏好其评审。
arXiv cs.CLAI 评分2323 让 LLM 按需调整文本复杂度：五款模型在 557 条科学查询上的表现评估
一项用户研究评估了五款不同家族、规模和推理能力的 LLM 能否沿复杂度连续体生成多个科学信息摘要，以支持用户直接操控文本。在 557 条科学查询上，模型虽能改变回答复杂度，但多数变化不一致，复杂度指标朝正确方向移动的比例最高仅 33.67%。
arXiv cs.CLAI 评分2727 Ouvia：面向真实沟通场景的语音翻译可用性评估框架
研究团队提出 Ouvia，一个以用户为中心、衡量真实场景语音翻译可用性的评估框架，通过定制 Web 应用收集了 1,750 余次英译葡一对一沟通交互，覆盖医疗与日常场景、四套 ST 系统、三种英语口音和两种性别。结果显示仅约一半交互被评为可用，且不同人群间可用性差距显著；在各类质量指标中，基于 QA 的评估对真实可用性的预测能力明显强于标准方法。
arXiv cs.CLAI 评分2222 语言模型评估方法论面临哪些挑战：一项跨越四十年的综述
一项跨越四十年的范围综述梳理出评估方法论中 22 类反复出现的关切，并构建了分类体系。研究发现，部分关切在文献中已变得不再显眼，且许多关切未被机构检查清单明确覆盖。该工作为研究社区重新审视评估方法与开展领域级干预提供了目标。
arXiv cs.CLAI 评分2020 MasalBench：评估 LLM 对波斯谚语语境与跨文化理解的基准
研究者推出 MasalBench，用于评估 LLM 对低资源语言波斯谚语的语境与跨文化理解。八款 SOTA 模型在上下文中识别波斯谚语准确率超 0.90，但识别对应英文谚语时最佳模型仅 0.79，暴露了文化知识与类比推理的短板。该基准已被 PlurVA-LLM 2026 研讨会接收。
arXiv cs.CLAI 评分2424 QuantEval：面向大语言模型金融量化任务的基准测试
研究者推出 QuantEval，一个评估 LLM 能否完成量化金融"计算—实现—验证"闭环的基准，包含 1,575 个专家验证实例，覆盖知识问答、量化数学推理与量化策略编码三个维度。
arXiv cs.AIAI 评分4444 LLM 评审该看什么、看多少：一项关于评审盲点的解剖研究
一项在 7 个公开基准上的研究发现，LLM 评审被展示什么，比用哪个评审模型更重要——即便三个评审模型价格相差 10 至 17 倍。当评审看不到必须遵守的材料时，系统依据其反馈修改答案后，指令遵循与问答表现反而低于起点，且指令遵循上的损失逐轮扩大。研究还发现约十分之一的原文承担了几乎全部作用，小型蕴含图在定位有据文本错误上可媲美 LLM 评审。
arXiv cs.CLAI 评分3636 EconCausal：面向大语言模型的上下文感知经济推理基准
研究者发布 EconCausal，一个从 2,595 篇顶级经济与金融期刊实证研究中提取的 10,490 条上下文标注因果三元组基准。在 19 个模型上测试发现，单上下文预测最高约 84% 准确率，但源与目标符号相反时平均准确率降至 44.27%，且带符号源示例比仅给目标输入低 11.54 个百分点。模型预测研究报告中不显著效应的准确率仅 19.16%。
arXiv cs.AIAI 评分2222 RetryBench：在 GPT 工具调用中区分重试许可与恢复结果
RetryBench 提出用"虚假重试许可（FRP）"刻画智能体在无可见契约支持下重试超时工具调用的错误，并将其与实际恢复结果分开评估。
arXiv cs.CLAI 评分2424 语言模型的预期评估：从任务描述预测 LLM Benchmark 分数
研究者提出"预期评估"（anticipatory evaluation）设定，并发布 EVALCAST——一个包含 1,519 篇 arXiv 论文中 2,290 组描述-性能配对的数据资源，测试集包含模型知识截止后发表的论文。实验显示，前沿 LLM 通过回归预测绝对性能仍具挑战，而配对预测在匹配设定下可恢复相对性能排序；在截止后与流式评估上的表现相当，表明该信号并非仅来自已报道结果。
arXiv cs.AIAI 评分3737 测试通过却语义缺失：DataFrame 代码生成中的解释锁定现象
研究在 30 个 TPC Benchmark DS 派生的 DataFrame 任务上发现"解释锁定"现象：Test-Guided Revision 和 PlanAudit-Guided Revision 将测试通过数从 22/30 提升至 29/30 和 30/30，但没有任何生成方案匹配存储的参考输出。
arXiv cs.CLAI 评分2222 ChatGPT 识别定向攻击与不当言论的效果评估与改进：一项对比研究
研究对比 ChatGPT 与众包标注、专家评估，考察其识别网络评论中定向攻击与不当言论的准确性和一致性。结果显示 ChatGPT 检测不当内容表现良好，迭代提示词改进的收益几乎全部来自一次改动——简化标签体系并切换到 GPT-4，此后调整提示词结构和采样温度收效甚微。其在定向攻击语言上表现较弱且不稳定：改进前假阳性率高于专家判断，更换模型后假阴性率升高。
arXiv cs.AIAI 评分3333 Google Earth AI 地理空间推理智能体 GRA：能力与系统评估
Google Earth AI 推出由 Gemini 驱动的地理空间推理智能体 GRA，将地理空间数据源、基础模型与工具组织为模块化领域技能，并配合前置地理空间规划，把复杂查询拆解为多阶段工作流。
arXiv cs.AIAI 评分3434 MedHarnessBench：面向医疗智能体评估的统一基准
研究者提出 Medical Harness Protocol 与 MedHarnessBench，用七个医疗流程维度独立评估智能体执行，覆盖 FHIR/EHR 操作、医疗管理接口和多模态临床工具共 342 个可执行任务。
arXiv cs.CLAI 评分2929 MultiPartyTurnBench：多说话人语音对话中的话轮控制基准
研究者提出 MultiPartyTurnBench（MPTB），一个包含 240 段合成、声道分离对话的基准，覆盖 2 至 5 名说话人和 6 种交互类型，用于评估 End-of-Turn（EOT）检测与 Interruption（INT）检测两项任务。