当评审一致却出错：一致性-准确率解离成为无标签评估的盲区
研究直接检验了"一致性可代理正确性"这一无标签评估假设，使用四个金融问答数据集、十个一致性维度和两个前沿模型族，在单样本层面测量一致性与准确率的联合分布。结果显示，60% 的错误答案落在高一致性区域（一致性 ≥ 0.8），其中 77.7% 出现完全答案坍缩，即所有扰动变体给出相同错误答案。
#评测/基准
arXiv cs.CLAI 评分3939 arXiv cs.AIAI 评分3939 Probe-and-Resume：何时以及如何评估智能体执行
针对终端类计算机使用环境中 MCTS 配置无法显著提升任务成功率的问题，研究者提出 Probe-and-Resume：仅在智能体自认为完成的节点调用 critic，并让其对当前与初始状态的 fork 拥有读、写、执行权限以探测隐藏状态。
arXiv cs.AIAI 评分4242 Sci$\Pi$vot：科学 AutoResearch 智能体关键决策时刻的首席研究员判断基准
研究者构建了 Sci$\Pi$vot，一个基于人类纠正记录的 248 例科学判断基准，源自资深研究员六个月内在 26 个项目上对 LLM 智能体的反复干预。在提供项目记录的中等推理强度下，五个前沿模型中有四个低于随机水平，最高准确率 63.5%，低于新手的 73.4%；且各模型带项目记录的准确率反而低于不带记录时，重新考虑也未能稳定提升表现。
arXiv cs.CLAI 评分3131 ToolBottleneckBench：在受控压力与固定 harness 预算下测量工具智能体表现
研究者发布 ToolBottleneckBench，在固定 harness 预算下测量工具智能体在受控压力下的表现，任务保持不变、每次只改变一种压力：注册工具目录、可见工具菜单、认证工作流或返回记录编码。
arXiv cs.AIAI 评分2929 OmicsBench：面向 AI 智能体的长周期多轮生物信息学基准
研究者发布 OmicsBench，一个面向 AI 智能体的长周期多轮生物信息学基准，97 个任务通过有向无环图串联 662 个子任务，每个子任务对应一轮用户输入并确定性评分。
arXiv cs.CLAI 评分3636 PremiseCheck：高效核查人类与 AI 同行评审中的事实错误
研究者提出 ReviewFact 基准，在 NLP、机器学习与自然科学领域用统一定义标注评审意见中的事实错误，并同时衡量成本与延迟。PremiseCheck 框架让 LLM 在不读论文的情况下把每条评审意见改写为显式前提，再由决策模型逐条对照论文核查。单条核查时，其在三个领域准确率与 GPT-5.5 相当而成本约为一半，NLP 评审上成本降至四分之一、延迟不到一半。
arXiv cs.CLAI 评分2222 一个偏差分数，两个因子：缓解措施如何影响多选题评估中的选项偏差
研究提出用合并选择率标准差（pooled SD）统一衡量多选题评估中的选择偏差与顺序敏感性，该指标可分解为翻转率与位置偏斜两个无标签因子。
arXiv cs.CLAI 评分2525 PEDBench：语音模型能否检测音素错误？
研究者推出首个音素错误检测（PED）基准 PEDBench，涵盖儿童真实发音错误（N=334）、演员脚本化错误（N=1,188）和 phone-conditioned TTS 合成错误（N=1,083），全部标注经两名音素训练标注员核验。
arXiv cs.CLAI 评分2424 APRiL：面向大语言模型中文社交意识的开源基准
研究者推出 APRiL，一个面向中文社交意识的开源基准，包含 2,196 个社交意识评估实例，覆盖六类场景与社交场景分析、社交意识回应两项任务。在来自六个模型家族的 12 个模型上测试发现，模型普遍存在"理解到回应"的落差，高质量场景分析能提升回应质量，而弱分析可能拉低回应质量。数据与代码已公开。
arXiv cs.AIAI 评分3232 推理轨迹与证据冲突时：答案配置如何影响模型对证据的遵循
研究在 HotpotQA 和 MuSiQue 上对比 gpt-oss、Gemma4、Qwen3 三个模型族，发现将答案生成改为独立调用而非延续模型自身思考，可使模型遵循当前证据的比例提升 29.9 至 60.6 个百分点。
arXiv cs.CLAI 评分2424 Jev-as-a-Judge 用于 RAG 声明验证：非生成式验证器与前沿 LLM 的置信度门控级联
研究对比非生成式决策模型 Jev 与前沿 LLM Astra 在 LLM-AggreFact 的 495 条人工标注声明上的表现，两者在常规指标上仅差 -0.56 分，成本却相差 187 倍。
arXiv cs.AIAI 评分3232 AlphaDiana：面向智能体可验证推理任务的测量系统
AlphaDiana 是一个模块化测量系统，通过数据集、智能体、环境和评分器的接口，在保留 harness 原生控制循环的同时分别控制文件复用与记忆保留。研究用 3 个开源模型和 3 个开源 harness 在 5 个答案型基准上测试，发现 harness 并不能稳定提升推理准确率：在模型单独答错的问题上取得的增益，可能被其原本答对问题上的损失抵消。
arXiv cs.AIAI 评分3030 基准饱和后如何评估模型能力：任务转录仍保留能力信号
研究探讨基准分数饱和后能否用任务转录评估模型能力，通过历史基准与模型发布回溯模拟饱和场景，测试仅访问已饱和基准中正确解答转录的协议能否预测未饱和留出项上的能力。结果显示饱和转录仍保留超出基准准确率的能力信息，其中成对评判表现最佳，预测误差比仅用饱和基准分数的基线降低 5.3 倍，但预测能力在分布偏移下并不总能泛化，例如会低估 2025 年初首批推理模型的能力。
arXiv cs.AIAI 评分3939 RealtimeBench：在实时运行的游戏环境中评测与训练 LLM 智能体
研究者推出 RealtimeBench，包含六类游戏共 180 个任务，在游戏持续运行、推理耗时的情况下评测 LLM 智能体。配对评测显示，GPT-6.1-sol 在游戏暂停时优于更快的 Jev，但游戏持续运行时反被 Jev 超越。
arXiv cs.MAAI 评分2222 从迁移到校准：让 AI 智能体对齐部署需求
论文提出面向部署目标的智能体校准框架，主张校准应让智能体满足目标环境需求，而非模仿来源或追求通用最优。框架定义三类标准族（基础能力与可操作性、技术与专业精度、用户上下文），并用版本化映射区分需保留、转换、新增或淘汰的需求。作者强调这是方法论提案，仅含部分调和的试点证据，确认性验证与超 80% 零样本任务上下文接受目标仍未完成。
arXiv cs.MAAI 评分6262 Praxist：把实验产物转化为可追溯的解法谱系
论文提出 Praxist，一个以谱系为中心的代际系统，把可复现产物与评测结果转成带类型的证据图、分道前沿和议程，让后续尝试继承已验证机制与未决问题。
arXiv cs.MAAI 评分3434 MasDrift：跨多智能体架构的授权保持基准测试
研究者推出 MasDrift 基准，包含 8 个领域的 600 个良性生产力任务，用于评测多智能体系统在委派任务时能否保留原始授权边界。测试显示，集中式层级架构任务完成率达 93.9–98.6%，高于对等网络的 85.7–87.0%，但未授权操作占比 2.7–19.8%，远高于后者的 0.6–0.8%，且差距随层级加深而扩大。
arXiv cs.CYAI 评分4747 GUISE 基准揭示：纠正式框架与文化适配如何侵蚀 LLM 对真实犯罪案件的安全防护
研究者发布 GUISE 基准，基于 UNODC ICCS 分类从真实犯罪案件构建犯罪协助场景，覆盖三种语言框架和五种文化。仅改变框架即可推高不安全合规率：直接请求下均值 28.9%，纠正式请求下升至 66.4%，峰值达 97.3%（p < 0.05）。
arXiv cs.MAAI 评分4444 SCARCE：长时程多智能体编程系统中的涌现制度
研究者提出 SCARCE（Shared Compute ARena for Coding agEnts）框架，让智能体在各自截止时间下完成连续编程任务，并协商共享执行资源的访问权。
量子位AI 评分4545 霸榜三大基准！优必选 Thinker-WM：多模态统一表征，单模型实现六大能力
优必选 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基准评测中全部拿下第一，WorldOlympiad 综合得分 0.740，EWMBench 总分 4.66，超过 Qwen-RobotWorld、Sora2 等模型。
Tessl BlogAI 评分5050 Tessl：75% 的 PR 已无需人工审查即可合并
Tessl 工程团队用 Tessl Code Review 审查其单体仓库每周超 1200 个智能体编写的 PR，约 75% 的 PR 无需人工修正即可合并。该工具基于团队自有编码规范审查，发现的问题中 91% 为真实缺陷，高于此前 AI 审查工具的 68%，每个 PR 修复的真实 bug 数量翻倍（1.56 对 0.75），单 PR 审查成本降低 35%。
RadarAIAI 评分4747 Cursor 集成 Meta Muse Wonder 模型：定价 $4/$20，CursorBench 46.1%
Cursor 新增 Meta Superintelligence Labs 的 Muse Wonder 模型选项，官方评测显示其在默认 effort 下 CursorBench 得分为 46.1%，是目前所有 Muse 模型中该基准的最高分。该模型定价为 $4/$20，适合需要高性价比编码辅助的用户考虑。
RadarAIAI 评分7474 腾讯混元发布并开源智能体记忆框架 Hy Memory 2.0 与专用模型 Hy-Memory-30A3B
腾讯混元 10 月 16 日宣布推出并开源智能体记忆框架 Hy Memory 2.0，同时开源专用模型 Hy-Memory-30A3B（约 3B 激活参数）、记忆框架和 MemHub 应用三层能力。
RadarAIAI 评分3232 Anthropic 增长放缓之谜：效率与任务复杂度的博弈
分析认为 Anthropic 的增长放缓被过度解读，8 月波动受假期影响，9 月则受 OpenAI Astra 发布带来的尝试性迁移影响。在实际编程项目对比中，Opus 5.5 的协作效率优于 Astra。长期来看，高端任务将贡献大部分 ARR 并由 Anthropic 等模型主导，开源模型则将主导标准化任务。
RadarAIAI 评分2222 Zero2Repo：面向完整项目开发的新高难度基准
Zero2Repo 是一个要求模型从零开始构建完整项目的高难度编程基准，旨在解决 SWE-bench 等现有基准区分度不足的问题。
RadarAIAI 评分6262 MiMo V2.6 Pro 登顶 Agent Arena 开源模型榜，Pro 与 Flash 同列性能成本 Pareto 前沿
小米 MiMo 宣布 MiMo V2.6 Pro 在 Agent Arena 开源模型榜单排名第一，净提升 +3.8%。
Latent SpaceAI 评分7070 Meta 发布 Muse Spark Open：816B 总参数、42B 激活的开源权重模型
Meta 发布 Muse Spark Open，这是一个 816B 总参数、42B 激活的 MoE 模型，支持 1M token 上下文窗口和文本、图像、视频、音频输入，权重以自定义 Muse Model License 发布。
RadarAIAI 评分6262 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 在 AA-AgentPerf 上的首批评测结果
Artificial Analysis 在 agentic 推理基准 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的首批结果，其每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍。
RadarAIAI 评分4141 实测 Google Muse、Grok Bot、OpenAI Dots、Manus Cue 四款 Personal Agent：3 个提示语把委托成功率提到 33%
作者花两周、三百多美元实测 Google Muse、Grok Bot、OpenAI Dots、Manus Cue 四款 Personal Agent，在 12 个日常平台中仅 33% 能稳定委托给 AI 处理。结论是有云电脑也不能完全脱离本机，最终选择 Dots，因为它能控制本机 Computer Use。
RadarAIAI 评分7474 可灵 Kling 4.0 上线，作者实测 30 秒一镜到底与全能参考
可灵 AI 凌晨正式上线视频模型 Kling 4.0，作者烧数万积分实测后认为其在大范围动态、复杂动作衔接和全能参考可控性上有扎实进步。该版本支持最长 30 秒一镜到底直出，视频首尾帧改为最多 10 帧的多帧参考；1080P 30 秒约 450 积分，720P 20 秒的 Kling 4.0 Flash 仅 120 积分。
RadarAIAI 评分6060 Meta Superintelligence Labs 的 Muse Wonder 模型上线 Cursor
Meta Superintelligence Labs 的 Muse Wonder 模型现已在 Cursor 上线。该模型在默认 effort 下 CursorBench 得分 46.1%，为所有 Muse 模型中最高，定价为 $4/M input 和 $20/M output tokens。
RadarAIAI 评分7474 Ethan Mollick 评 Gemini 4 Argon 攻克 ARC-AGI：知名难题基准时代落幕
Ethan Mollick 引用 ARC Prize 数据称，Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上得分 97.5%（provider adapter harness，花费 $4.8K），标准 harness 下为 49.8%；ARC-AGI-2 得分 91.3%，ARC-AGI-1 得分 98.5%。
RadarAI同新闻AI 评分7878 可灵 Kling 4.0 上线：支持30秒一镜到底，作者实测动态与全能参考
可灵 AI 凌晨上线视频模型 Kling 4.0，支持最长 30 秒直出和最多 10 帧的多帧参考，并强化全能参考与大范围动态表现。作者烧数万积分实测城市追逐、电梯打斗、花样滑冰等场景，认为纸箱形变等细节体现物理规律理解的提升。
RadarAI同新闻AI 评分8282 Meta 发布 816B 开源权重模型 Muse Spark Open，Artificial Analysis 智能指数得 39 分
Meta 发布开放权重模型 Muse Spark Open，总参数 816B、激活 42B（MoE），在 Artificial Analysis Intelligence Index 上得分 39，成为美国排名第一的开放权重模型。
RadarAIAI 评分2222 Jev 1.13 内部测试准确率最高、成本最低
在为此任务生成的内部测试集上，Jev 1.13 相比其他 Decisions 模型以及 Claude Code 使用 Sonnet 5 的情况，准确率最高、成本最低。该结论由 OpenRouter 在 X 上公布。
RadarAIAI 评分5858 Arena：小米 MiMo V2.6 Pro 登顶 Agent Arena 开源模型第一
Arena 公布 Agent Arena 开源模型新排名，小米 MiMo V2.6 Pro 以 +3.8% 净提升位列第一。前五名依次为 Deepseek V4.1 Flash（Max）+3.0%、Hy4 preview +2.9%、MiMo V2.6 Flash +2.5%、GLM 5.2（Max）+2.4%。
RadarAIAI 评分6262 Artificial Analysis 首测 NVIDIA RTX Spark N1X 笔记本本地 Agent 性能
Artificial Analysis 发布首批 AA-AgentPerf-Local 结果，测试搭载 NVIDIA RTX Spark N1X 的笔记本运行本地智能体工作负载。
Apple Machine Learning ResearchAI 评分2626 Plan 还是 Retrieve 先行？工具发现架构的规模研究
研究对比了 Retrieve-then-Plan（RtP）与 Plan-then-Retrieve（PtR）两种工具发现架构：在 ToolBench（46,984 个 API。
Hacker NewsAI 评分5858 Jev 等决策模型在电车难题中的选择测试
作者用 24 种措辞、两种描述顺序和多种人数设置，测试 Jev、OpenAI Decisions API 的 GPT-6 Luna 及 11 个本地决策模型在电车难题中的选择。
The DecoderAI 评分7272 Google 发布 Gemini 4 Argon，用单一模型覆盖机器人仿真、控制与评估
Google 发布面向机器人任务的 Gemini 4 Argon，主打用同一个模型完成机器人控制、虚拟练习世界构建和训练视频评估，并称其更擅长理解空间关系、编写控制代码和从物理角度解读视频。