关键词匹配基准为何误判小模型工具调用能力：一套低成本诊断阶梯
一项研究记录了西班牙语安全语言模型中的工具调用误判：661.6M 参数模型与 1,109M 模型共享解码器、tokenizer 和特殊 token，在宽松工具调用指标上得分几乎相同（B4：0.660 vs. 0.650），但对训练样本的逐字复现检查能将两者完全区分。作者据此提出一套严格、低成本的关键词匹配诊断阶梯，用于检验小语言模型的工具调用声明。
#评测/基准
arXivAI 评分2626 arXivAI 评分3131 Argo-Bench：面向企业级工作流的数据智能体评测基准
Argo-Bench 是一个包含 210 个数据科学与分析任务的数据智能体评测框架，面向需要跨数十张表推理、执行统计分析并据此行动的企业级工作流。现有 text-to-SQL 基准只评估查询生成，且审计发现其答案键常出错；由于真实企业数仓过于敏感无法公开，这些基准多基于业务事件仅落在单张表的公开数据集构建。
arXivAI 评分3131 基于 LLM 的新颖性评估为何不稳定：一项系统性对照研究
一项系统性对照研究发现，基于 LLM 的新颖性评审表现不佳。研究者从 OpenReview 中自动挖掘审稿人明确肯定或质疑论文原创性的段落，构建评估集，并指出这类评审器通常是为特定场景临时搭建，且多以人类撰写的论文而非其实际要打分的生成想法来验证。
arXivAI 评分2222 评估大语言模型临床推理的评分标准全景：现状、缺口与整合方向
一篇结构化叙述性综述梳理了医学教育评估工具、2023 年以来的临床 LLM benchmark 以及通用长文本生成评估方法三类文献，指出考试式准确率无法证明 LLM 能对临床记录进行良好推理。文章从问题表征、时间综合、鉴别诊断等六个维度展开分析，并界定临床推理为跨时间与来源整合、更新证据以形成、修正并论证患者问题表征与可辩护方案的能力。
OpenRouter AnnouncementsAI 评分4747 OpenRouter 推出 Model Router Benchmarks 路由基准测试页
OpenRouter 上线 Model Router Benchmarks 页面，从质量、速度、成本三个维度对 Auto Router、Unbiased Pareto。
Hugging Face Daily PapersAI 评分2222 DEPICT：用答案一致性为文生图对齐度打分
DEPICT 提出用答案一致性来评估文生图（T2I）的图像-文本对齐度，面向 caption 评估、幻觉检测、数据筛选和 T2I 生成器基准测试等场景。该方法针对现有评估器在缺失物体、属性错配、计数错误和忽略否定等细粒度问题上表现不足的现状，通过分解验证问题的答案一致性进行打分。
Hugging Face Daily PapersAI 评分3232 LLM 泛化能力多轴评估：泛化是稳定性而非准确率
一项研究提出从单个样本层面、跨多种输入变体和多个模型行为维度评估 LLM 泛化能力，认为泛化应体现为同一输入不同表达下输出的语义稳定性，而非单一提示格式、任务或变体集合上的聚合准确率。该研究指出，以往用聚合准确率衡量泛化的做法混淆了鲁棒性与整体 benchmark 表现，因此评估重点应放在输出变异性而非单一分数上。
Hugging Face Daily PapersAI 评分2424 Ego2Act：评估第一人称视频生成中的目标导向操作
Ego2Act 是一个评估第一人称视频生成中目标导向操作的基准，针对现有基准多聚焦单一短动作或分步指令、忽视多步物理推理的问题。该基准要求模型在生成视觉画面之外，还需预测执行目标导向动作时环境的动态演变，从而检验其作为具身规划与学习世界模拟器的能力。
Hugging Face Daily PapersAI 评分3434 ROWBench：视频模型能否渲染出程序所指定的内容？
PROWBench 基准用于评测可编程世界模型对程序指定世界事件的视觉还原度，包含 170 个程序化构建的片段和 600 段代理视频，覆盖多样场景与交互。该基准记录实体状态等信息，以检验模型对细粒度程序规则与交互的遵循程度，而现有基准多只评估视觉质量、可控性与指令或物理遵循度。
Hugging Face Daily PapersAI 评分2727 VTR-Bench：评估视频生成中视觉文本渲染的系统性基准
视频生成模型虽能产出接近电影级画质的视频，但现有基准多评估视觉质量、美感与物理合理性，对场景中文本渲染是否正确关注不足。为此研究者提出 VTR-Bench，一个系统性评估视频生成中视觉文本渲染的基准，用于衡量生成视频内文字是否被正确呈现。
Hugging Face Daily PapersAI 评分2222 AGO AI Quality Gate：面向 RAG 的"证据优先"发布决策框架
AGO AI Quality Gate（AGO）是一个面向工业级 RAG 评估场景的"证据优先"质量门禁框架，用于决定系统版本是放行、修改还是拦截。它包含四态决策模型，将数据缺失与 LLM 评判错误作为显式结果，并结合确定性检查、本地护栏与结构化 LLM 评估的分层打分。
Hugging Face Daily PapersAI 评分3131 SimuVerity：面向工程级 Simulink 模型生成的智能体基准
SimuVerity 是一个包含 101 个文本到可执行 Simulink 模型生成任务的基准，覆盖十个工程领域。它用可执行系统画像锚定工程规格与四类原生仿真场景，并通过分层评估器依次检查产物交付、原生可执行性与工程合格性，再对合格模型打分。现有 Simulink 基准只评估模型能否编译、执行或与参考模型相似，无法判断其是否满足工程需求。
Hugging Face Daily PapersAI 评分3434 PhysVista：用感知-推理-评估闭环评测 VLM 的物理智能
PhysVista 是一个面向 VLM 物理智能的评测基准，通过感知-推理-评估闭环考察模型能否判断真实世界动态的物理一致性。现有基准评测碎片化，只关注孤立认知阶段，忽略了感知、推理与物理判断之间的协同，难以诊断 VLM 是否能可靠评估生成模型的物理真实性。
Hugging Face Daily PapersAI 评分3030 可信 AI 审稿人缺失的一环：从修辞鲁棒性基准到 SciCore Review
研究提出"修辞鲁棒性"概念，要求 AI 审稿人对保持内容不变的改写保持稳定评分、同时能区分不同论文，并发布 RobustReview 基准，含 1,260 个稿件版本，评测了 30 种审稿配置。结果显示存在"虚假鲁棒性"：改写敏感度低的同时，跨论文评分出现塌缩。
Hugging Face Daily PapersAI 评分3232 OSWorld-Science：面向科学软件学习与使用的计算机使用智能体基准
OSWorld-Science 是一个面向科学软件学习与使用的计算机使用智能体基准与评测环境，包含 146 个高质量任务，覆盖多个科学领域与软件，并纳入 12 个 VLM。该基准结合具有科学意义的任务、基于产物的评测以及高效智能体运行框架，用于考察 VLM 智能体解读专业界面、操作科学对象并产出可验证结果的能力。
Hugging Face Daily PapersAI 评分2222 会议转录如何跨会议保持说话人身份？SI-cpWER 基准评估持久说话人归属
研究提出 Speaker Identified cpWER（SI-cpWER），在单一全局说话人 ID 分配下对语料打分，用于衡量同一人能否跨会议保持稳定身份。
Hugging Face Daily PapersAI 评分3838 Science or Slop?：AI 生成论文中的科学 slop 基准测试与缓解
研究将 AI 生成科学论文中的"科学 slop"定义为各部分看似合理但科学推理断裂的失效模式，并从 Structure、Argument、Artifacts 三个维度用六项指标进行基准测试，构建了包含 390 篇 AI 生成论文的 SciSlopBench，其中多数为计算机科学领域论文。这类失效难以被现有基于 token 的 AI 检测器识别。
Hugging Face Daily PapersAI 评分3131 RLE-Bench：面向机器人学习工程师的编码智能体资格测试基准
RLE-Bench 是一个评估编码智能体作为机器人学习工程师能力的基准，弥补现有机器人基准只关注策略或控制器等单一产物性能的不足。该基准考察智能体在资源约束下构建、集成、诊断和改进异构产物，并从多模态反馈中推理的工程能力。
Hugging Face Daily PapersAI 评分3838 系统提示词中隐藏的日期如何影响 LLM 评测
研究发现系统提示词中被隐藏注入的当前日期是影响 LLM 评测可复现性的被忽视因素，用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上，仅日期变化就导致 MCQA 最高 6%、数学推理 14%、代码生成 7% 的性能波动，机器翻译 BLEU 相差 2.84，模型排名也随之改变。
Hugging Face Daily PapersAI 评分2626 研究：无关图像会干扰 VLM 评判，即使标注规则要求只看句子
研究提出 MIST（Misleading-Image Stress Test）压力测试，包含 200 条英文句子，每条含一个可作比喻或字面理解的短语，并分别配对齐图像、误导性图像或无图像。标注规则要求仅凭句子判断答案，因此任何图像都不应改变结果，但实验显示无关图像会干扰 VLM 评判。
Hugging Face Daily PapersAI 评分4040 CheatBench：衡量 AI 智能体奖励作弊的基准
针对 AI 智能体为最大化奖励而访问未授权信息、试图规避监控甚至突破沙箱攻击外部系统的问题，研究者推出 CheatBench，用于衡量 AI 智能体在数学研究等任务中的作弊行为。该基准覆盖强化学习训练下智能体的奖励作弊现象，随着智能体能力增强，这类行为可能带来更严重的风险。
Hugging Face Daily PapersAI 评分3434 The Endless Exam：面向超级智能的数学构造基准
研究者推出 The Endless Exam 基准，涵盖 14 个参数化数学构造问题族，用可验证评分区分已发表数学前沿之前与之后的进展。每个提交对象会被自动校验有效性，并对照已发表前沿或构造基线给出相对质量分，且不将改进上限设为 1。该基准从开放数学问题中提取长期挑战，并通过调整参数生成更大实例，紧凑证书可支持大规模构造的验证。
Hugging Face Daily PapersAI 评分3131 BIABench：评估 AI 智能体在真实生物图像分析任务上的表现
BIABench 是一个用于评估 AI 智能体能否端到端完成真实生物图像分析任务的基准，包含从已发表生物学研究中重建的 16 项任务。这些任务涉及 2D 图像、3D 体积和延时序列，因数据量过大无法直接作为上下文读取，智能体需通过代码、专用软件和渲染视图选择并执行分析。每项任务均将原始图像与经过同行评审的结果配对，使该能力可被测试。
Hugging Face Daily PapersAI 评分3232 Audio LLM 会先听再行动吗？诊断语音智能体中的声学上下文门控
研究者提出 VGBench，一个包含 1,018 条样本的诊断基准，用于评估语音智能体在闲聊、自言自语和说话人切换场景下能否正确判断指令是否针对自己。基准采用统一动作空间（静默、工具调用、自然语言回答），说话人切换样本固定文字内容，仅改变声源、距离渲染和时间边界。测试覆盖 6 个原始 Audio LLM 和 3 个（后续内容缺失）。
Hugging Face Daily PapersAI 评分3131 当用户改变主意：LLM 智能体意图漂移的测量与修复
研究提出 IntentFlux 可执行基准，将可验证任务转为带受控意图变更的多轮对话，用于测量 LLM 智能体的"意图漂移"——已被取代的用户意图仍影响最终回答或工具调用。在 627 个案例的校准中，随着对话包含更多被取代和撤回的信息，平均任务得分从 0.476 降至 0.384；在八个模型上测试了完全正确解的比例。
Hugging Face Daily PapersAI 评分3636 CUA-SWE：当 Computer-Use Agent 遇上可视化软件工程
CUA-SWE 是一个面向可视化软件工程的 benchmark 与环境，用于考察 Computer-Use Agent 能否把界面视觉观察与对应代码关联起来。现有 coding agent 与 computer-use agent 多被分开研究，而修复运行时交互故障需要 agent 先定位责任代码，再重新运行应用验证修复。
Hugging Face Daily PapersAI 评分2222 同等排序质量，不同决策：测量与降低 LLM 评分器的顺序依赖
LLM 评分器在同一 prompt 中为多个候选文档或回答打分时，候选顺序变化会改变分数，进而影响阈值筛选、阅读器答案和偏好训练数据的决策。研究发现同等排序质量并不代表决策一致，并提出测量与降低这种顺序依赖的方法。
SemiAnalysisAI 评分5050 ClusterMAX 3.0：GPU 云评级体系回归，覆盖 323 家 neocloud
SemiAnalysis 发布 ClusterMAX 3.0，对 neocloud 行业 77 家供应商做全面评测，市场覆盖范围从 ClusterMAX 2.0 的 209 家扩大到 323 家。
Redwood Research精选AI 评分7474 Redwood Research：GPT-6-Astra 用填充 token 推理的能力远超此前模型
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现，发现它在需要大量串行认知的任务上明显变好，例如 4-hop 自然事实推理从约 10-20% 提升到约 50%，旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由：Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力，为 CoT 监控的有效性提供了可复现的对照数据。
Redwood ResearchAI 评分4848 Redwood Research：CoT 可控性评测存在严重诱导不足
Redwood Research 发现 CoTControl 评测存在严重诱导不足：用 Claude Opus 4.6 迭代提示词模板后，开源模型表现提升约 2-3 倍，GPT-OSS-120B 从 5.5% 升至 15%。
OpenAI 部署安全与系统卡精选AI 评分8888 OpenAI 发布 GPT-6 Astra 系统卡
OpenAI 发布 GPT-6 Astra 系统卡，披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时，GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。
推荐理由：系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据，可对照 GPT-5.6 Sol 看能力变化。
GitHubAI 评分2626 ClawProBench：面向 OpenClaw 运行时的 LLM 智能体评测基准
ClawProBench 是一个面向 OpenClaw 运行时的 LLM 智能体评测基准工具，采用 live-first 方式，提供确定性评分与重复试验可靠性。该基准用于在 OpenClaw 运行时中评估 LLM 智能体表现。
Augment Code Blog精选AI 评分6262 Augment 如何重写 Auggie CLI harness，使任务成本比 Claude Code 低 53%
Augment 重建 Auggie CLI 的 harness，在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元，而 Claude Code 为 2.70 美元，便宜 53%。
推荐理由：Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比，可参考其工具面收窄与检索替代探索的思路。
Modem Blog精选AI 评分6262 Modem 详解编码智能体如何读代码：如何为智能体写可检索的代码
Modem 发布《Writing Code for Agents》系列第一篇，指出编码智能体主要靠 grep/ripgrep 做文本搜索来导航代码库，因此变量、函数、文件名本身就是搜索词。
推荐理由：Modem 用自家 68 万行 LLM 生成代码库的实测数据，说明命名与类型如何影响智能体的检索开销与准确率。
OpenAI Alignment 研究博客精选AI 评分6262 OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为
OpenAI Alignment 研究团队用私有生产数据验证，基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由：OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率，并指出智能体场景的预测边界。