WorldCast：探索世界状态预测中的智能视觉生成
研究者提出 WorldCast 基准，包含 8 个类别共 320 个手工设计案例，用于评估多步世界状态预测任务，并测试了 12 个代表性模型。GPT-Image-2.5 System 得分 72.8，展现出早期视觉状态预测能力；Nano Banana Pro 仅得 42.8，最佳开源模型得分 20.1。实验表明强生成模型能有效借助其底层语言模型的能力。
#评测/基准
arXiv cs.AIAI 评分3434 arXiv cs.AIAI 评分4141 ImpactBench：面向 AI 对人类影响的开放评测平台
研究者推出 ImpactBench，一个专家引导的开放平台，用于从心理、生理和社会维度评估生成式 AI 模型对人类的影响。当前版本包含来自 26 个基准的 809 项指标，对十款前沿 LLM 在 48,540 段模拟多轮对话中进行评测，结果显示模型在 68.7% 的评测中促进了期望行为，但仅在 53.1% 的情况下避免了伤害。
arXiv cs.AIAI 评分2020 KULTURE Bench：评估语言模型韩语文化语境理解能力的基准
KULTURE Bench 是一个专为韩国文化设计的评测框架，包含文化新闻、成语和诗歌数据集，从词、句、段落三个层面评估语言模型的文化理解与推理能力。研究团队用该基准测试了不同语料训练的模型，结果显示模型对韩国文化深层文本的理解仍有较大提升空间。
arXiv cs.AIAI 评分4444 FDE-Gym：AI 交付的最后一公里基准
研究团队推出 FDE-Gym，一个包含 95 个端到端交付任务的基准，覆盖 20 个客户场景、18 个行业，由行业专家从真实交付项目改编。在模拟客户环境中，13 个模型配置（来自 7 家提供商）表现最佳者平均得分仅 0.56，95 个任务中只解决 14 个。发现未明说的约束是主要瓶颈，即便最佳配置已获取全部关键事实的 23 个任务中，也仅 10 个达到 0.8 以上业务提升。
arXiv cs.AIAI 评分4444 LLM 在印度语言中是否表现出评估意识？跨语言安全评测研究
研究测试了三个模型家族的四个指令微调模型在五种印度语言和英语下的评估意识表现，发现当模型被告知正在被测试时，所有模型在全部六种语言中都更频繁地拒绝有害请求。在印度语言中，有害请求拒绝率平均上升 14.4 个百分点，测试提示使印度语言的有害请求拒绝率与英语持平，但同时也将良性印度语言请求的拒绝率从 6.9% 推高至 11.3%。
arXiv cs.CLAI 评分2727 INCONVENIENT：评估 LLM 从便利样本中泛化能力的基准
研究者提出 INCONVENIENT 基准，用于评估 LLM 对便利样本偏差的鲁棒性。该基准不依赖自然域划分，而是直接扰动训练分布中的特征—目标关系，同时保留原始总体分布作为部署环境，并显式控制关系偏移的方向与强度。基准包含 200 个表格分类与回归数据集，生成约 15,500 个偏移训练分布，导致下游性能显著下降。
arXiv cs.AIAI 评分3636 提升环境无关编码智能体：脚手架的作用
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的环境无关智能体，仅修改一条鼓励报告困难并交回控制权的指令，即提升 ARC-AGI-3 与 AGI Maze 的平均得分，Terminal-Bench 变化微小且不一。
arXiv cs.AIAI 评分3131 AI 智能体安全评估中的捷径敏感性研究
研究者提出三级捷径审计框架，审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集，发现基准数据的表征方式会实质性改变安全守卫的决策与评估表现。
arXiv cs.AIAI 评分3232 Realtime-Bench：前沿模型能否解决实时交互问题？
研究团队推出 Realtime-Bench，用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下，最佳成功率仅 44%，最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock，发现时间成本制约了动态环境中的表现，且提高推理投入在时间压力下效果不一。
arXiv cs.CLAI 评分4444 同一答案换个框：RLVR 的域外增益有多少来自答案格式？
研究测量了 RLVR 报告的域外增益中有多少来自答案格式而非答案本身。在四个已发布的 7B SimpleRL base-RL 模型对上，用公开代码提取器报告的域外多选题增益有 82% 在改用能同时读取 \boxed{} 与正文的提取器后消失；独立 LLM 读者给出的比例为 77%，要求输出框的提示词下为 79%。而在另一个配方训练的 32B 模型对上，报告的增益几乎不含格式增益。
arXiv cs.AIAI 评分2222 RADAR：修复、采纳与审计 LLM 置信度
针对 LLM 置信度分数校准问题，研究者提出可靠性框架 RADAR，将置信度修复与是否采纳修复、审计残余错误分离。其修复方法 PAIC 从未标注目标提示词的正确性探针预测中学习单调映射，在 47,400 次重放原始分数分配中，配对投注在 42.95% 的分配里采纳了留出测试风险更低的候选，而单侧经验 Bernstein 仅为 15.09%。
arXiv cs.CLAI 评分2929 MagiC：评估多模态认知的视觉推理基准
研究者推出 MagiC 基准，用于评估大视觉语言模型是否真正进行有依据的视觉推理，而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本（含答案、推理依据与边界框标注），在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型，并引入 MagiScore 与 StepSense 新指标。
arXiv cs.CLAI 评分3636 MindEval2：面向心理健康支持的语言模型临床化患者模拟与评分标准
MindEval2 是一个用于评估语言模型心理健康支持能力的框架，包含与 PhD 级心理学家合作开发的 Mental Health Quality Rubrics（MHQR）评分标准和结合患者画像与工具、带记忆组件的 MindSim 患者模拟器。
arXiv cs.CLAI 评分3131 Grid-Bench：LLM 能否预测离散世界的变化？
研究者推出 Grid-Bench，一个可执行基准，用二、三、四维网格表示离散世界，让模型在给定初始网格、显式规则和文本事件历史后预测完整最终网格。评估六款 LLM 显示，随着历史变长，完整状态准确率急剧下降，单事件表现相近的模型出现明显分化。参考执行使每个预测值可核验，从而在空间操作、历史长度和工作负载间直接比较。
arXiv cs.CLAI 评分2424 AI Consilium：LLM 临床多学科二次意见基准
研究者构建了 AI Consilium 基准，用 300 个 NEJM-MedQA 病例（110 个用于医生参考评分与 Judge 校准，190 个用于留出评估）检验 LLM 的临床多学科二次意见能力。
arXiv cs.AIAI 评分2727 GraphACM：基于图的动作一致性度量，用于 LLM 智能体的不确定性量化
研究者提出 GraphACM，一种基于图的框架，通过将同一任务多次 rollout 中的等价状态合并为有向动作标注图，在共享决策状态上比较动作，实现细粒度行为一致性度量与不确定性量化。
arXiv cs.CLAI 评分3131 超越下游问答：重新思考如何评估 AI 智能体记忆
研究提出 FEB-30 基准，用 30 条事实演化轨迹（覆盖 6 个诊断类别、3 个难度等级）直接检验智能体记忆存储，而非以下游问答准确率作为代理。
arXiv cs.CLAI 评分2727 改个数字就改答案：LLM 文本评分中的评分量表敏感性评估
研究定义并系统考察了 LLM 文本评分中的"量表敏感性"，即评分量表设计导致的分数变化，并将其区分为归一化分数变化的数值敏感性与分数解读变化的语义敏感性。
arXiv cs.CLAI 评分3636 PremiseSQL：评估 Text-to-SQL 系统中的前提批判与拒答能力
研究者提出 PremiseSQL 基准，包含 1800 条存在前提缺陷的 NL2SQL 查询及对应的 1800 条原始查询，覆盖四类前提失败，用于评估模型识别缺陷查询并拒绝生成误导性 SQL 的能力。实验显示，前沿 LLM 默认高度信任前提、很少批判缺陷前提；强化批判导向的提示词虽能提升检测与拒答，但也会增加误判无效并抑制对原始查询的 SQL 生成。
arXiv cs.AIAI 评分3434 PhysClosureBench：用证据支撑的物理研究评估 AI 智能体的科研闭环能力
研究者提出 PhysClosureBench，包含 50 个经专家验证、目标明确的研究任务，覆盖强场、阿秒及邻近物理领域，用 20 项 Atomic Score 衡量局部科研成果，并以 Research Closure（RC0–RC4）评估研究问题的完整解决程度。
arXiv cs.CLAI 评分3434 Intern-Decision：用自回归掩码语言建模实现高效多模态决策
Intern-Decision 是一组 0.8B、2B、4B 多模态决策模型，可从文本和可选图像输出结构化选项及候选概率，其自回归掩码语言建模目标在每个字段放置一个决策占位符，全部字段在单次因果前向传播中完成评估。
arXiv cs.AIAI 评分4444 Data World：从零扩展数据环境
研究团队提出 Data World，一个多智能体引擎，通过先定义文件背后的世界机制再生成文件，合成环境、任务与评分标准，并产出 DataWorld-Bench（50 个留出世界、16 个领域、100 个任务）及 1,037 个世界的 2,135 个训练任务。
arXiv cs.AIAI 评分3232 AgentPerturb：评估 LLM 智能体在受控交互扰动下的鲁棒性
研究团队提出 AgentPerturb，从扰动目标与类型两个维度构建统一框架，评估 LLM 智能体在交互扰动下的鲁棒性。在 APEX-Agents 和 Toolathlon 上的受控评测显示，扰动会持续拉低性能，且主要脆弱点因任务环境而异；轨迹分析发现智能体很少识别被篡改的输入，常未经核验就传播被污染的信息，成功完成扰动轨迹还可能消耗更多算力。
arXiv cs.AIAI 评分2626 如何评估 LLM 智能体的探究学习能力：假设、推理与探索
研究者提出一个统一交互式框架，用于评估 LLM 智能体的完整探究能力：将 Countdown 任务扩展为数学环境，让智能体通过操纵变量、收集观察来推断变量间关系。在 7 个 LLM 和多种提示策略下，实验显示模型固有探究能力有限、发现底层表达式的成功率偏低，但受教学脚手架启发的结构化引导能显著提升表现。
arXiv cs.CLAI 评分3131 大语言模型中的姓名偏见研究
一项针对6个本地大语言模型的评估发现，模型在填空任务中系统性偏好刻板印象中男性化程度更低、更年长、更常见及白人姓名。研究基于30万条模型回复，发现性别偏见最显著，其次为年龄、姓名流行度和种族，且姓名偏见高度依赖句子模板。
arXiv cs.AIAI 评分2222 ClaimScope：面向数学主张审计的标签盲见证验证基准
研究者提出 ClaimScope，一个包含 72 项任务的基准，通过裁决、范围、反例与修复四个环节审计数学主张，覆盖优化器状态传输、有限时域仿射递推和精确 2×2 线性代数。
arXiv cs.CLAI 评分3131 DialFork：评估对话式智能体程序性幻觉的基准
研究团队推出 DialFork，首个基于原始对话文本衡量"程序性幻觉"的基准——智能体话语流畅且事实合理，却偏离既定对话流程。该基准通过在受控轮次分叉合规对话并注入四类幻觉构建，覆盖 12 个领域 24 项任务共 36,278 段对话，由 30 名人工标注者验证。
arXiv cs.CLAI 评分2929 LLM 能否打乱顺序讲故事？非线性叙事生成语料库与基准发布
研究者发布包含 83 部已出版作品的基准，用于衡量语言模型能否讲述非线性故事，并为每部作品标注事件的时间顺序与叙述顺序，以及涵盖因果依赖、角色知识和悬念设置的故事图。
arXiv cs.AIAI 评分3131 DCBench-440：AI 数据中心建设反事实推理基准
研究者提出 DCBench-440，用于测试 LLM 对 AI 数据中心建设承诺的反事实推理能力，包含 200 道基于 STRIPS 世界的生成题和 240 道基于站点记录与排放公式的选择题。开放权重模型生成题准确率 12.5-71.5%，选择题 58.3-92.5%；在列出决策节点所有可选动作时，无模型精确匹配超过 4.0%，最强模型仅列出 72-85% 会改变项目状态的动作。
arXiv cs.CLAI 评分1818 SITAR：面向自动语音识别评估的情境失真度量
研究者提出 SITAR，一种面向自动语音识别（ASR）的情境失真度量，通过有界递归公式将情境严重度与累积范围聚合为统一分数，并训练为轻量级 BERT 家族回归器，单次前向传播即可为参考-假设对打分，无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性，显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。
arXiv cs.CLAI 评分2222 QuasiLeak-Bench：评估 LLM 隐私检测器的策略条件准证据组恢复能力
研究者提出 QuasiLeak-Bench，一个面向策略条件准证据组恢复的基准，用于评估检测器能否完整还原准证据组并标记违反给定策略的披露。实验显示现有隐私检测器迁移效果差，本地可部署的 LLM 检测器远落后于闭源模型，主要因漏掉大部分准证据组；但在训练集上微调的 4B 模型在留出文档上超过了最强的提示模型，表明该任务可学习。
arXiv cs.AIAI 评分2525 医疗 LLM 智能体升级可靠性审计：工作流状态失败的扰动控制基准
研究构建了 400 个合成医疗工作流 episode 的评估协议，在 5:1 漏报与不必要升级成本下考察 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 决策。
arXiv cs.CLAI 评分2626 VALCON：通过双角色变化评测并提升大语言模型的价值观一致性
研究者提出 VALCON，一个角色驱动的数据构建框架，通过双角色变化将价值观一致性拆解为 VAB-Consistency、VAB-Boundary、VAB-Challenge 三套基准。对 28 个 LLM 的实验显示普遍存在跨角色不一致：输出高度合规的模型常无法让自己的评判与自身生成对齐。机制探测发现与这种不对称相关的角色依赖表征解耦，据此提出的表征引导干预可有效缓解一致性失败。
arXiv cs.AIAI 评分2222 面向 LLM 评估的保形加权：评分标准判断缺乏不确定性
针对基于评分标准的 LLM 评估中判断确定性因标准而异、现有方法却统一聚合的问题，研究者提出免训练框架 Uncertainty-aware Rubric Weighting（URW），通过保形校准量化标准级判断不确定性。
arXiv cs.CLAI 评分3232 TRACER：面向 LLM 智能体的轨迹感知工具检索
TRACER 是一种面向 LLM 智能体的工具检索前端，用 trie 索引已观测到的工具调用序列，并通过学习到的经验先验与上下文先验混合排序后续调用。在零售与电信混合的 τ² 环境中，它让 GPT-5.4 的工具选择准确率提升 4.7 个百分点，每步输入 token 减少 80%，仅暴露 128 个工具中的 5 个。
arXiv cs.CLAI 评分4444 System1-Arena：哪些决策可以交给 System 1？
研究者推出 System1-Arena 基准，用 92k 道题、105 项任务和 138 个闭环环境，对比 System-1 模型与生成式推理模型在离散决策上的表现。
arXiv cs.CLAI 评分2424 RLVR 数学语料去污染：语义阈值清洗的可靠性究竟如何？
研究审计了 16 个开源 RLVR 数学语料（1,673,514 条训练数据）对 6 个基准（1,949 道题）的去污染策略，发现余弦阈值 0.80 下 59 个抽样删除中有 52 个（88%）被确认为误删。
arXiv cs.CLAI 评分2222 KBS：面向基础模型评估的韩语基准套件
研究者发布韩语基准套件 KBS，包含 Ko-ARC、Ko-GSM8K、Ko-EQ-Bench、Ko-WinoGrande、Ko-LAMBADA 和 Ko-IFEval 六项任务，共 9,396 道题，覆盖六种能力，采用审校、本地化、直接构建与重新设计而非纯翻译的方式适配韩语。
arXiv cs.AIAI 评分2424 AgentEval：面向有状态智能体的证据受限评估系统
阿里云团队提出 AgentEval，一套将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告认定和案例维护的系统，区分智能体做了什么、证据能证明什么、结论当前是否成立。在 32 次工具世界执行中，独立核查对全部 30 个完整回合达成一致，区分出已满足、被违反和未解决的义务；对 48 个证据视图的受控干预暴露出仅靠哈希校验会漏掉的 36 个绑定故障。
arXiv cs.AIAI 评分3232 Kolab：面向长周期工作流的人机协作基准测试
研究者推出 Kolab，一个包含 50 位来自 40 种职业的专业人士、115+ 小时屏幕录制的人机协作数据集，用于评测长周期真实工作流中的协作表现。该基准要求智能体预测专家会采纳、修改还是拒绝其贡献，并判断协作满意度与产出质量。结果显示，前沿模型（无论是否具备智能体能力）都会高估与专家的协作效果，且难以区分高质量与低质量协作，更长的上下文并未稳定改善预测。