旋转了，但转了多少？诊断并改进 VLM 的物体旋转推理
研究提出 OR-Bench，一个覆盖旋转检测、旋转幅度估计与多视角旋转推理共八项任务的细粒度物体旋转推理基准。在 12 个 VLM 上，最强模型旋转检测准确率接近 100%，但粗略幅度估计仍接近随机水平；被要求给出精确角度时，模型有 91.8%–100% 的预测集中在 0°、90° 和 180° 三个值上。
#评测/基准
arXivAI 评分3030 Hacker NewsAI 评分3838 如何把 Agentic 系统的 Evals 写成 4 步循环
面向 Agentic 系统的评测（Evals）可以按 4 步循环来编写。原文来自 Hacker News，未给出具体模型、参数或 benchmark 分数等细节。
arXivAI 评分2222 时序问答系统真的在读时间序列吗？证据使用与推理可靠性评估
研究评估了 TimeOmni-1、ChatTS、TimeOmni-VL 和 Time-MQA 四个时序问答系统，考察保留输入数值序列是否真正提升任务表现、预测是否对序列变化敏感。结果显示，答案正确并不代表数值主张有据可依或推理过程有效。
arXivAI 评分2020 语言模型能否应用八字规则？一项 3000 题中文基准评测
研究用 3000 道中文多选题评测 6 个语言模型对传统八字理论（14 类）与命例（11 类）的掌握，最终结果基于 2492 题的精炼版本。所有系统的理论准确率均高于命例准确率，排除无效回答后差距仍达 16.60-29.56 个百分点，说明这一落差比笼统的"案例推理不足"更具体。
科技媒体 RSSAI 评分3838 Grok 4.7 登顶 AA Cyber Index
Grok 4.7 在 AA Cyber Index 上排名第一。
arXivAI 评分2222 GenAI4IDN Benchmark 3.0：评估生成式 AI 交互式数字叙事工具的公开基准
GenAI4IDN Benchmark 3.0 发布，这是评估生成式 AI 工具构建交互式数字叙事（IDN）能力的第三代评测框架，从人工测试转向 AI 辅助评估，并通过公开 Web 应用让社区按需运行基准、添加新模型和提出新任务。新框架采用"盲评"设计以避免模型偏见，并可处理音乐、视频及完整 IDN 等此前需人工评分者介入的复杂媒体。
arXivAI 评分3131 UndoBench：区分工具使用型 AI 智能体的任务能力与恢复能力
UndoBench 是一个覆盖 8 个企业领域、36 个基础工作流与 36 个故障场景的基准，通过相同种子下的反事实配对试验，将任务能力与故障恢复能力解耦，并配有 wire-level 效果历史与环境状态 oracle。该基准在 12 个留出 TEST 工作流上测试了两个开源权重模型和两个框架。
arXivAI 评分2222 可观测性基础模型 Toto 到底学到了什么？一项基于 BOOM 的审计
研究对可观测性预测基础模型 Toto 在 Benchmark of Observability Metrics（BOOM）上做了审计，用五个序列不相交的重划分，把其冻结残差流上的线性探针与直接读取原始输入窗口的模型、以及剥离训练配置的 Toto 架构进行对比。结果显示，短周期与中周期、指标类型从 Toto 残差中比从原始输入中更易线性恢复。
arXivAI 评分3131 一项预注册研究：Harness 搜索的收益来自哪里？可见性、基线充分性与评测缺陷
一项预注册研究用三个小模型、三个 benchmark、GEPA 搜索臂和六种逐一注入的评测缺陷，报告了全部 47 个主要终点，考察 harness 搜索的涨分来源。在 9 个模型-benchmark 组合中有 5 个，关闭 thinking 的准确率高于受限 thinking 设置。
arXivAI 评分2020 Fréchet 距离衡量的是什么？一种方向性分解
研究对生成模型评测中通用的 Fréchet 距离提出方向性分解，以解释单一标量值背后的比较来源。在 COCO 数据集上，增加扩散采样步数会提升 ImageReward 分数，却使 FID 变差（升高），说明该标量视角会掩盖驱动比较的因素。
arXivAI 评分2727 评估多模态大语言模型中视觉编码器的强基线
针对视觉编码器评估中单模态指标仍占主导、跨模态指标更能预测下游性能的现状，该研究通过大规模实验重新审视跨模态评估方法，指出此前工作在实验设计与方法构建上的重要局限，并在修正这些局限、引入简单改进后提出了新的评估方案。
arXivAI 评分3939 MMPostTrainBench：多模态后训练自主研究基准
研究者提出 MMPostTrainBench，用于评测 LLM 智能体在多模态后训练中的自主研究能力，覆盖图像、音频、视频、音视频联合理解及图像相关软件修复共八项任务。智能体从同一基座模型出发、在固定预算内迭代，先利用开发反馈再对提交模型独立评测。
arXivAI 评分2222 GNN-CB：面向人类与 LLM 评估的图神经网络竞赛基准
论文提出 GNN-CB，首个同时评估人类与 LLM 在图神经网络编码任务上表现的竞赛式基准，包含 18 个精选竞赛，覆盖节点级、边级等任务。现有 LLM 虽在编码与推理基准上表现强劲，但能否在真实竞赛环境下自主完成端到端 GNN 编码任务此前尚无基准可考。
arXivAI 评分3838 MemStrata 在 LongMemEval-500 与 LoCoMo-1540 上实现 95% 和 90.91% 来源感知准确率，采用本地 Qwen 3.8 27B Q4_K_M 读取器
MemStrata 用本地 Qwen 3.8 27B Q4_K_M 读取器和 24,000 token 证据上限，在来源感知 GPT-5.5 评判下于 LongMemEval-S 得 475/500（95.0%）、LoCoMo 类别 1-4 得 1,400/1,540（90.91%），对照仅参考原文的评分分别为 463/500（92.6%）和 1,205/1,540。
arXivAI 评分3131 可验证计数是否依赖措辞：指令遵循中的措辞鲁棒性审计
研究提出 WISE 匹配评测套件与报告协议，在精确词数、关键词恰好出现一次、8–12 词区间三类约束下检验措辞变化对指令遵循得分的影响。在 100 个匹配任务、来自 7 家厂商的最多 13 个模型上，仅改变措辞就导致合规率出现显著波动。
arXivAI 评分3131 AutoSciBench：面向科学智能体的自主基准生成框架
AutoSciBench 是一个可自动生成并随智能体能力演进迭代适配的科学智能体评测基准框架，将每项任务表示为可自动构建的形式，以缓解现有基准饱和、难以区分能力的问题。科学领域基准的构建与更新通常耗时耗力且依赖专业知识，该框架试图让评测与智能体能力进展保持同步。
arXivAI 评分2727 LLM-as-a-Judge 的设计选择影响有多大？提示词、评分量表与模型的系统比较
研究系统比较了 LLM-as-a-Judge 的提示词设计、评分量表与模型选择对评判结果的影响，在句子情感与毒性标量评分（每类超 500 条）等两项任务上评测了 10 个推理模型。由于目前评判器设计缺乏标准，研究者通常凭直觉选择提示词、量表和模型，若这些选择会改变判定结论，两项研究可能对同一事实得出不同结果。
arXivAI 评分3131 复杂智能体，浅层测试：揭示并增强真实场景中 Agent Harness 的测试充分性
一项实证研究首次系统考察真实 LLM 智能体系统中 harness 的测试充分性，发现 agent harness 普遍存在测试不足的问题。研究由 backbone LLM 与承担执行基础设施的 harness 组成，harness 实现缺陷正带来可靠性隐患。
arXivAI 评分3636 我们是否在衡量科学智能？重新思考 AI 科学家的评估方式
研究指出，当前 AI 智能体科学基准默认正确答案来自所给数据（即证据接地），但智能体也可能靠先验知识或排除法得到答案，单次运行得分无法区分这些情况。作者为每道题构造数据文件的不同版本，用以检验该假设，结果发现它经常不成立。
arXivAI 评分3232 LLM 事实核查没有后见之明：测量虚假信息检测中的泄漏通道
研究在 AVeriTeC 和 QuanTemp++ 上测量 LLM 事实核查的两类泄漏通道：预训练中记忆的结果信息，以及声明发布后才出现的检索证据。通过重建时点证据条件并探测模型表征中编码的结果信息，研究发现存在大量泄漏证据，而标准基准很少区分这两类通道。
科技媒体 RSSAI 评分6262 Microsoft AI 发布 MAI-Transcribe-2-Streaming 流式语音转文本模型，登顶 Artificial Analysis 实时榜单
Microsoft AI 于 2026 年 10 月 1 日发布首个流式语音转文本模型 MAI-Transcribe-2-Streaming，并称其登顶 Artificial Analysis 实时榜单。同时推出 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 两个语音生成模型。
科技媒体 RSSAI 评分4444 研究：编码智能体仅修复9%的智能体框架Bug
美国与中国多家实验室的论文提出 AgentBug-Smith，可将真实 GitHub bug 报告自动转为可运行测试，构建出持续增长的 200 个 bug 基准。3 个编码智能体中表现最好的仅修复 9%，远低于常规软件 bug 约 40% 的修复率。加入过往修复经验指南后，某智能体在 79 个未见 bug 上的正确修复数从 1 提升到 6。
Latent SpaceAI 评分7070 AINews 汇总：GPT-6.1 Sol 与 Sonnet 5.5 发布，Anthropic 占据 Agent Arena 前三
Latent Space 的 AINews 汇总了 10 月 1 日至 2 日的 AI 动态，OpenAI 发布 GPT-6.1 Sol，定价为每百万输入/输出 token 2 美元和 10 美元，据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分，在 AutomationBench 上比 Opus 5.5 高 2.2 分。
科技媒体 RSSAI 评分2222 Ideogram 4.5 首次进入 Artificial Analysis 图像编辑榜单，编辑榜第 23、文生图榜第 34
Ideogram 4.5 首次进入 Artificial Analysis 榜单，在 AA-Image-Editing v2.0 图像编辑榜排名第 23，是 Ideogram 首个上榜的模型。其在 AA-Image-T2I v2.0 文生图榜排名第 34，较 Ideogram 4.0 的第 40 有所上升。
科技媒体 RSSAI 评分3636 Artificial Analysis 推出模型并排对比工具
Artificial Analysis 发布模型对比工具，支持任选模型并排比较 Artificial Analysis Intelligence Index、各单项基准及 Capability Index 得分。该 Capability Index 涵盖金融会计、战略运营、法律、医疗、工程、经济学等领域。
Hacker NewsAI 评分5858 StarSkirmish: Hillclimb 让 GPT-6 Astra 与 Claude 5.5 Opus 比拼 StarCraft 机器人
作者发布 StarSkirmish: Hillclimb，这是上周 StarCraft: Broodwar LLM 基准的长程版本。每个 LLM 用 C++ 针对 BWAPI 编写 Protoss 机器人，在 OpenBW 上运行，需逐级挑战五档 Protoss 对手，从脚本演示机器人到 Stardust、PurpleWave 等顶级人类编写机器人。
Hugging Face Daily PapersAI 评分3939 LMBuild：评估 LLM 智能体生成可建造且具备功能的结构的基准
LMBuild 是一个评估 LLM 智能体生成可建造且具备功能结构的基准，将生成物体表示为由部件组装而成的结构。现有评测多关注几何质量，却忽视了物理可实现性，而 LMBuild 正是针对这一缺口，同时考察结构能否被建造并发挥预期功能。
科技媒体 RSSAI 评分4040 NVIDIA 论文测试长程智能体可靠性：128K token 任务准确率比 4K 低 62.8%
NVIDIA 发布论文《Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability》，提出 Long-Transduction 诊断方法，用于测试模型在长生成中持续保持任务的能力。测试显示，128K token 任务的准确率比 4K 低 62.8%。
科技媒体 RSSAI 评分6060 Mercor 研究：AI 在会计任务上速度与准确率超过持证会计师，但仍无法独立结账
Mercor 的研究让 12 名平均经验五年半的持证 CPA 完成简化的 APEX Accounting Benchmark 任务，当前模型在同类结构化记账任务上已几乎无错。研究称 AI 在速度和准确率上超过持证会计师，但仍无法独立完成结账；18 个月前最佳模型还低于会计师约 37% 的平均分。
科技媒体 RSSAI 评分5454 Mercor 研究：Claude Opus 5 在中短会计任务上得分与成本优于持证会计师
Rohan Paul 转述 Mercor 的一项研究结论，称在中短长度、定义清晰的会计任务上，前沿 AI 模型已比初级会计师更快更准，甚至超过研究中最优秀的人类。
arXivAI 评分2222 大语言模型懂哥伦比亚法律吗？哥伦比亚法律体系可靠性基准
研究者推出一个经专家验证的哥伦比亚法律体系 LLM 可靠性基准，含 1042 道题，覆盖十个法律领域和三种题型（封闭式多选、半开放、开放式 IRAC），通过人机协同流程与多阶段专家评审构建。该基准评测了 15 个当代专有与开放权重模型。
arXivAI 评分2424 Agent 安全基准中的威胁保持表示敏感性（TPRS）
研究提出威胁保持表示敏感性（TPRS），用于衡量在保持底层任务、有害动作与安全机制不变、仅改变智能体可见表示时，攻击成功率（ASR）的变化幅度。该工作质疑 LLM 智能体安全基准普遍以 ASR 比较模型与防御机制的假设，指出基准表示本身也会影响测量结果。
arXivAI 评分2626 HyperBrowseComp：面向网页浏览智能体的多语言多模态压力测试基准
HyperBrowseComp 是一个多语言多模态网页浏览基准，包含由母语者编写的 423 道人工校验题目，覆盖 13 种语言。每道题都要求定位冷门证据、追踪多步线索链，或检查视频、扫描文档、图像、地图等异构来源，且答案公开可验证。无联网模型评估被用于过滤掉过于简单的题目。
arXivAI 评分3636 FinSkillBench：拆解可验证金融 Agent 工作流中的技能溢价
研究团队推出 FinSkillBench，覆盖投资组合构建、风险管理与基本面分析 12 个子任务、2,603 个时点 episode，配备隐藏可再生的 ground truth 与任务专属确定性验证器。在 9 个模型、3 种资源条件下执行 17,820 个 episode，8 个模型的配对分析显示，精选技能包可提升平均得分。
arXivAI 评分3434 训练过的测试能过吗：重新评估 LLM 智能体的提示注入检测器
研究团队通过无 LLM 重放 AgentDojo 和 tau-bench 的真实工具调用，构造出天然良性的工具输出，并用差分重放标注注入输出，评估了包括 Meta Prompt Guard 2 在内的 15 个检测器及两个任务感知 LLM 评判器。结果显示，检测器在公开基准上的排名无法预测其在智能体内部的实际表现。
arXivAI 评分2222 类型化决策模型的候选覆盖基准测试：Laya 与 Jev 在 AG News、DBpedia、Emotion、TREC 上的评估
研究提出配对候选覆盖基准协议，并在 AG News、DBpedia、Emotion、TREC 上对 Laya 与 Jev 做初步评估：300 条校准文本与 589 条测试文本共产生每个模型 23,932 条预测。存在/缺失配对保持普通候选数量一致，用于检验模型能否识别参考答案缺失、避免拒绝有效候选。
GitHubAI 评分3636 Giskard-AI 开源 LLM 智能体评估与测试库 giskard-oss
Giskard-AI 开源了 giskard-oss，一个面向 LLM 智能体的评估与测试库。该库以开源形式提供，用于对 LLM Agent 进行评测与测试。
Hacker NewsAI 评分3838 Best-of-Agent-Harnesses：167 个 AI 智能体框架的排名榜单，每周重新评分
Best-of-Agent-Harnesses 是一个收录 167 个 AI 智能体框架（agent harness）的排名榜单，每周重新评分。该榜单来自 Hacker News，目前未披露具体评分方法或排名依据。
arXivAI 评分2929 KaliBench：面向 Kali Linux 网络安全工具调用的细粒度基准，支持无运行时可验证奖励
KaliBench 是一个细粒度基准，用于衡量 LLM 为 Kali Linux 真实网络安全工具生成可执行命令的能力，并采用无运行时可验证奖励。现有评测多聚焦知识问答或端到端智能体任务，未直接测量命令生成，而网络安全 CLI 中语法错误、flag 与取值绑定错误或参数顺序错误都会导致执行失败。
科技媒体 RSSAI 评分2222 Opus 5.5 爱说"这很重要"：AI 写作的典型特征
Opus 5.5 最明显的写作特征是"dependable"一词，出现频率比人类样本高 23 倍。该模型还倾向于使用"this matters"等表达，这些用词习惯成为识别 AI 写作的线索。