Elorian 与 Scale AI 发布 HSS 基准，测量多模态模型的直觉视觉推理
Elorian 与 Scale AI 联合发布 Humanity's Sixth Sense（HSS）基准，用 522 道开放式题目测量多模态模型对画面隐含信息的直觉视觉推理，含 288 张图片和 234 段短视频、共 17.6 小时视频。
#评测/基准
Hacker NewsAI 评分6060 Hacker NewsAI 评分6464 HWREBench：作者用 AI 破解多款智能设备并建立硬件破解基准
作者在 Amazon 购买多款智能设备，用 AI 模型尝试破解，多数设备被成功攻破，并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求，闭源模型仅给出少量警告；GLM 5.3 完成任务花费 1.63 美元，Deepseek V4.1 Flash 花费 0.08 美元。作者指出，抗破解较好的设备通常来自知名品牌、近期更新、暴露面小，并依赖配对时生成的密钥或物理干预。
Hacker NewsAI 评分2222 AI 挑战《杀戮尖塔》：GPT-6 Astra 在 Ascension 20 下的表现
GPT-6 Astra 在最高难度 Ascension 20 下以最大 effort 挑战《杀戮尖塔》五个 Act 1 场景，每个场景跑十局。测试覆盖 Ironclad、Silent、Defect、Watcher 四个角色，场景包括平均地图、诅咒局、陷阱路线、密集分叉地图和强制精英战，并记录分数、层数、游戏时长与成本。
Hacker NewsAI 评分6464 Epoch 用自家真实工作任务评测六款模型能否自动化其工作
Epoch 发布 Automation Reports，用 11 项来自其自身工作的任务（图形设计、Data Insight、Data Explorer、AI 数据中心研究、研究设计）评测六款模型，并按员工标准人工打分。
Hacker NewsAI 评分1212 Sol 6 与 Sol 6.1 在自有仓库任务上的对比：更便宜且至少同样好
在自有仓库任务上对比 Sol 6 与 Sol 6.1，结果显示 Sol 6.1 更便宜且至少同样好。该对比基于 stet 的 repair-ai-coverage 流程，涉及 code_review 提示词解析重试、覆盖率修复与评分器重评等环节。
Hacker NewsAI 评分2222 JevBench：面向类型化决策模型的开放基准，覆盖 Clef、pplx-decider 等 15 个以上模型
JevBench 是一个面向类型化决策模型的开放基准，提供论文 PDF、数据集与 GitHub 代码，覆盖 Clef、pplx-decider 等 15 个以上模型。榜单以 0 到 100 的均分展示每个模型在各数据集上的表现，并用条形区间标出最差到最好的模型，悬停单元格可查看区间与覆盖率，点击数据集名可生成图表。
GitHubAI 评分3838 liyupi/ai-model-world：把 500 多个大模型搬进像素小镇的自动同步站点
liyupi/ai-model-world 把 500 多个大模型做成像素小镇角色，按厂商分屋展示，顶部「今日格局」用八块领奖台标出最聪明、最会编程、最划算、最便宜、记性最好、最新发布、国内最强、开源最强。站点提供时间线、排行榜和搜索，跨赛制分数不混算，数据来自 models.dev、Epoch AI、LiveBench、Hugging Face 等，新模型发布与价格调整全自动同步，无需人工维护。
Hacker NewsAI 评分2222 测试显示"免费"AI 工具 Argent 比 Buoy 慢 2.2 倍、AI 账单高 2.2 倍
Buoy 团队用 Claude Sonnet 5.5 在 Claude Code 中测试了 Argent 0.27.0 与 Buoy MCP 7.0.63：Argent 耗时是 Buoy 的 2.2 倍，AI 账单也是 2.2 倍，14 项任务全部慢于 Buoy。
Hacker NewsAI 评分6060 CEO-Bench 发布：让智能体在 500 天模拟创业中比拼长期决策
CEO-Bench 发布，用 500 天模拟 AI 创业公司来评测智能体的长程决策能力，智能体以 100 万美元起始现金、通过 34 个工具按周操作，最终以现金余额为指标。
GitHubAI 评分2020 OrchestrANT：面向 Python AI 原型开发的编排与 LLM 基准测试工具
OrchestrANT 是一个 Python AI 工作负载编排项目，包含摄像头流水线、YOLO 监控、流媒体与 GPU 指标，并提供 LLM 基准测试实验室。
GitHubAI 评分4848 ModelMaskCheck：检测 AI 模型“挂羊头卖狗肉”的开源工具
ModelMaskCheck 是一款检测 AI 模型 masking 的开源工具，通过 10 层探针识别端点宣称的模型与实际应答模型不一致的情况，输出 MASKED、ROUTER、CLEAN、OPAQUE、UNREACHABLE 五种判定。
RadarAIAI 评分3434 TII 发布 Falcon-ASR：1.6B 阿拉伯语语音模型，平均 WER 20.92%
阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR，聚焦阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语，5 种语言共用一套权重。
arXiv cs.MAAI 评分2222 OpenSocialJax：在开放式环境动态的序贯社会困境中评估社会适应能力
OpenSocialJax 将 Clean Up 和 Commons Harvest 扩展到包含数千万种潜在环境配置的开放式分布，每局从数千万种可能中采样一种配置并在五次试验中保持不变，系统改变空间布局及工具制作、收益和资源动态等隐藏规则。
arXiv cs.MAAI 评分2323 当 AI 顾问意见一致时：区分预测风险与预测可靠性
研究基于 iPulse AI 四个生产批次中 232 项资产的 928 份一季度预测，将十种历史 Gemini 配置归入七个投资框架，并与后续市场结果比对。最低分歧四分位的平均绝对收益误差为 10.31 个百分点，最高分歧四分位升至 21.05，但"价格不变"预测的误差也从 9.89 升至 21.15。
arXiv cs.MAAI 评分3232 SoftwareGym：用多样化合成软件环境扩展 Computer-Use Agent 训练
SoftwareGym 是一套自动合成 GUI 软件环境的流水线，可生成结构多样、功能可执行且经运行时验证的应用，共合成 12 个类别 182 个应用，平均 GUI 任务通过率达 91.5%。
arXiv cs.CYAI 评分2727 LLM 如何利用证据线索？一项 500 场景基准研究
一项 500 场景的受控基准研究考察了 13 个 LLM 对来源、时间与呈现线索的利用情况，发现模型对来源可靠性的识别几乎一致，但当来源历史被替换时，其选择影响从可忽略到完全反转不等。对三个 Qwen 检查点的干预显示，事实重述提升了两个 27B 模型的可靠性敏感度，叠加额外加权原则后分别再提升 39.2 和 47.2 个百分点，而 9B 模型仅改变了对证据来源的敏感度。
arXiv cs.AIAI 评分3737 Video2World：用具身视频评测编码智能体的交互式世界建模能力
研究者提出 Video2World 基准，包含来自 189 段机器人与人类演示视频的 222 个重建实例，将"自主视频到仿真"定义为软件工程任务，从几何保真度、动态保真度和功能正确性三方面评测。在 9 个前沿编码智能体系统中，从 Claude Opus 5 开始任务成功率由不足 5% 升至超过 15%，但与人类辅助重建仍有明显差距。研究还发现视觉保真度更高并不总带来更高任务成功率。
arXiv cs.AIAI 评分3838 规模与选择：自动 harness 进化如何让视觉界面机器人智能体奏效
研究显示，用另一个编码智能体（优化器智能体）可自动改进视觉界面机器人智能体的 harness（提示词、工具与控制规则）。每轮 rollout 数量决定泛化性：训练批次从 5 增至 100 时留出任务成功率上升，小批次则过拟合；采用 Champion-Challenger 规则筛选修订，30 轮内将 LIBERO 任务留出成功率从 51% 提升至 67%。
arXiv cs.AIAI 评分2020 SecTB-RTL：审计 AI 生成的 RTL 验证计划在安全回归代理上的可信度
研究团队提出 SecTB-RTL 可审计框架，覆盖 31 项任务和 124 个自建硬件安全回归用例，用于检验 AI 生成的 RTL 验证计划能否通过可信执行边界。
arXiv cs.AIAI 评分3838 当前 AI 基准测试遗漏了什么：模态、搜索、引用及其对安全评估的影响
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现，禁用搜索时聊天 UI 在两个基准上准确率均低于 API，启用网络搜索后准确率最多下降 8 个百分点，甚至逆转了某一基准的模态表现趋势。
arXiv cs.AIAI 评分2929 RoboMME-Interference：干扰条件下的机器人记忆基准测试
研究者提出 RoboMME-Interference，一个基于 RoboMME 的跨会话基准，通过在查询演示后叠加受控数量的无关会话，衡量 VLA 在长上下文干扰下的记忆表现。测试显示，感知记忆变体在无干扰时提升成功率，但随着无关会话累积会持续明显衰减；子目标变体提升较小但更抗干扰。为最强感知变体加入检索步骤后，可在各干扰水平恢复其无干扰成功率。
arXiv cs.AIAI 评分2222 Conditional-Vendi：面向生成式 AI 模型与 LLM 的提示词感知多样性评估
研究者提出 Conditional-Vendi 与 Conditional-RKE 两项多样性指标，基于半正定矩阵的条件熵，用于在提示词引导的生成中剥离提示词带来的变异、单独衡量模型自身的多样性。
arXiv cs.AIAI 评分2222 GraphDecisionBench：在图表任务上评测 System One 模型
研究者提出 GraphDecide，一个与模型无关的基准，通过结构化任务画像、匹配的图-文输入对比和启发式提案控制来诊断图决策性能，并评测了 Jev 等基于选择的模型与语言模型基线，覆盖十四种模型-接口配置。Jev 的结果显示：准确的邻接识别并不保证更广泛的结构正确性，图-文联合输入并不总能提升预测，可行构造也不代表高解质量。代码与汇总结果已公开。
arXiv cs.AIAI 评分2222 IBBench-Light：面向外部指令的任务条件响应配对评估
IBBench-Light 用同一份外部记录同时测试"执行程序"与"处理文本"两种用法，12 个语义基座生成 144 组配对，4 个量化指令模型产出 1,152 条贪心响应。
arXiv cs.AIAI 评分6060 研究：API 基准分数无法可靠迁移到聊天机器人界面
一项针对 ChatGPT、Claude 和 Gemini 的审计研究覆盖七个系统、九个基准，发现 API 与聊天界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点，重测一致性高 2.1 个百分点。
arXiv cs.AIAI 评分4444 SWE-Bench Pro Verified：面向软件工程智能体的可靠基准
针对 SWE-Bench Pro 存在的奖励黑客与任务质量问题，研究者推出 SWE-Bench Pro Verified。该版本通过防黑客机制消除主要泄漏渠道，并对缺陷实例做最小化修正。评估显示部分模型表现明显低于此前结果，表明原有分数可能高估了真实软件工程能力。
arXiv cs.AIAI 评分3232 基于数据驱动人设的 LLM 智能体用于 A/B 测试模拟
研究者提出一种 A/B 测试模拟框架，用 LLM 智能体承载基于真实用户行为信号构建的数据驱动人设，替代此前的合成或规则型人设。在覆盖两类指标的 40 项 A/B 测试基准上，最佳配置取得 0.75-0.80 的方向准确率，可用于快速、低成本的实验预筛。该工作已被 EMNLP 2026 Industry Track 与 REALM Workshop 接收。
arXiv cs.AIAI 评分2222 Who&When Pro：LLM 真能定位 AI 智能体的失败吗？
研究者推出 Who&When Pro，一个面向 AI 智能体自动失败归因的大规模 benchmark，通过严格受控流程在完整回放成功前缀后才注入失败，构建了覆盖 3 种模态、26 个 benchmark 的 12,326 条带金标签失败轨迹。论文还开展大量实验，揭示模型在不同模态、协议和模型族间归因失败的系统性模式，为后续自动失败归因系统提供实证指导。
arXiv cs.AIAI 评分3434 多步 LLM 智能体中的执行框架诱导信念分歧如何测量
研究发现，即使任务、环境和底层 LLM 保持不变，执行框架（harness）也会塑造智能体对环境不断演变的信念。作者提出 belief-rollout 诊断方法，在 HIBench-Code、SWE-bench Verified 和 Terminal-Bench 上发现显著的跨框架信念分歧，这种分歧往往无法从最终任务成功中看出，却会传导为不同的下游动作。
arXiv cs.AIAI 评分2020 Agent Step Value：审计黑盒智能体轨迹中的评估通道敏感性
研究者提出 Agent Step Value（ASV），以通道索引的前后目标边际增益来审计黑盒智能体轨迹的评估通道敏感性。在冻结的 PubMed 问答转换上，跨通道增益符号在 48.3% 的比较中不一致，而同通道重试仅 0.3%。匹配的 512-token 源契约实验显示，仅源生成可恢复正向均值方向并移除解析器检测到的支持声明，表明生成支持抬高了检索前基线。
arXiv cs.AIAI 评分3939 多智能体真的更有效吗？评估 LLM 多智能体工作流的准确率与成本
研究团队提出共享评估框架 BenchAgent，用 GPT-4.1 在十个推理、编码与工具使用基准上对比六种多智能体工作流与单智能体基线 BenchAgent Core。
arXiv cs.AIAI 评分2828 基于情感的触发器与 LLM 评判为何无法为自主智能体把握干预时机：饱和陷阱与干预时机的主观性
研究用 18 维情感动力学引擎 HEART 在 SWE-bench-Verified 调试轨迹上评测四类干预触发器，发现状态阈值会因"状态饱和陷阱"在 39-83% 的动作上误触发。
arXiv cs.AIAI 评分4747 当仿真失真：面向工具调用智能体的 Sim-to-Real 基准与域随机化 RL 方案
研究者提出 RobustBench-TC 基准，包含按 POMDP 四类组件组织的 22 种扰动类型，每种都对应已验证的 GitHub issue 或工具调用故障记录。
arXiv cs.AIAI 评分3131 FactoryBench：评估工业机器理解能力的基准
研究者推出 FactoryBench，用于评估时间序列模型和 LLM 在工业机器人遥测数据上的机器理解能力。该基准包含超 7 万条 Q&A，覆盖因果阶梯四个层级和五种答案格式，数据源自 UR3 协作机器人与 KUKA KR10 工业机械臂采集的 FactoryWave 数据集。六款前沿 LLM 零样本评测均未在结构化层级超过 50%，决策任务不超过 18%。
arXiv cs.AIAI 评分2626 ChemCost：评估 LLM 智能体的化学反应成本推理能力
研究者提出 ChemCost 基准，用 1,427 个可评估反应检验 LLM 智能体能否完成化学采购成本估算，覆盖 2,261 种化学品和 230,775 条供应商报价。最强智能体在干净输入下仅有 50.6% 的结果落在 25% 相对误差内，注入别名、数量表达等噪声后性能大幅下降。阶段级分析显示失败主要源于解析脆弱、证据整合低效、包装选择无效和工具使用不收敛。
arXiv cs.AIAI 评分3030 DEAF：音频语言模型声学忠实度诊断评测基准
研究者推出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景音和说话人身份三个声学维度，并设计逐级增强文本影响的多层次评测框架。对 7 个 Audio MLLM 的评测显示，模型虽对声学变化敏感，但预测主要由文本输入驱动，标准语音基准的高分与真实声学理解之间存在差距。
arXiv cs.AIAI 评分5454 AutoControl Arena：为前沿 AI 风险评测合成可执行测试环境
论文提出 AutoControl Arena，一个基于逻辑与叙事解耦原则的前沿 AI 风险评测自动化框架，用可执行代码承载确定性状态、由 LLM 负责生成式动态，从而在保持灵活性的同时减少模型幻觉。
arXiv cs.AIAI 评分3737 同一查询，不同答案：语义查询处理中的运行间方差
研究重新执行 SemBench、LRO-Bench 和 UDA-Bench 的文本与表格工作负载并记录 120 万次模型调用，发现在 temperature 0 下，五次执行间有 0.07% 至 10.2% 的行改变算子输出，单个任务最高达 24.0%。
arXiv cs.AIAI 评分3838 SWE-DeceptionBench：评测 LLM 在软件开发生命周期中的欺骗行为
研究者推出 SWE-DeceptionBench，用于评测 LLM 在软件工程中的欺骗行为，覆盖六个生命周期阶段与主动、被动两类欺骗触发，并设置 Neutral、Reward、Pressure 三种条件，共 720 个中英文测试实例。
arXiv cs.AIAI 评分2323 RESCUE：VLA 运行时监控器的告警值得响应吗？反事实评估框架
RESCUE 是一个反事实评估框架，用于判断机器人策略运行时监控器的告警能否支持有效干预，通过恢复仿真器与策略状态、比较替代动作并定位满足恢复标准的最晚检查点来评估。