ARC Prize 公布 DeepSeek V4.1 Flash 的 ARC-AGI-1 与 ARC-AGI-2 成绩
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI (Verified) 上的成绩:ARC-AGI-2 为 72.9%、每任务 $0.13,ARC-AGI-1 为 94.5%、每任务 $0.07。相比 V4 Flash 的最佳成绩,ARC-AGI-1 提高 5.5 分、ARC-AGI-2 提高 11.5 分,但每任务成本约高出 250%。
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI (Verified) 上的成绩:ARC-AGI-2 为 72.9%、每任务 $0.13,ARC-AGI-1 为 94.5%、每任务 $0.07。相比 V4 Flash 的最佳成绩,ARC-AGI-1 提高 5.5 分、ARC-AGI-2 提高 11.5 分,但每任务成本约高出 250%。
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI(Verified)上的成绩:ARC-AGI-3 在 provider adapter harness 下得分 3.3%、成本 $878,standard harness 下得分 0.9%、成本 $1.2k。
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC 基准上的完整结果,并给出排行榜、复现公开结果的 GitHub 仓库与测试政策链接。相关结果页面为 arcprize.org/results/deepseek-v4-1-flash。
Artificial Analysis 宣布推出面向公共部门的 Government 服务,提供基准测试、咨询与数据,帮助政府设计 AI 政策并选择 AI 技术。
Google 的 Gemini 4 Argon 正式 GA,在 Artificial Analysis Intelligence Index 上与 GPT-6 Astra 排名持平,每任务成本仅为后者的 60%。
推荐理由:对比 Gemini 4 Argon 与 GPT-6 Astra 的智能指数和每任务成本,可用于评估同等智能水平下的性价比选择。
TestingCatalog 援引 Arena.ai 消息称,Gemini 4 Argon 登上 Arena 总榜第五名,榜单前四依次为 Opus 5.5、GPT 6.1 Sol、Fable 5.1 和 GPT 6 Astra。Arena.ai 表示 Gemini 4 Argon(High)在 Agent Arena 中进入前五,并向 Google DeepMind 团队表示祝贺。
Artificial Analysis 榜单显示,Fish Audio 的 Drama 3 Preview 成为排名第一的开源权重语音合成模型,发音鲁棒性得分 93.2%,超过 Eleven v4 的 91.7% 和 Eleven v4 Turbo 的 90.1%。
卡内基梅隆与微软论文提出 CRBugBench,包含 1,800 个代码审查任务,每个 PR 引入一个人工确认并修复的 bug。最佳模型 claude-opus-5 在前 5 条评论中检出 71.9% 的 bug,高于 5 个月前 opus-4.6 的 47.7%,但在某公司私有仓库上下降最多 25.5%。作者建议审查 Agent 与人类审查者配合使用,并为其提供仓库自有知识。
LangChain 用 Deep Agents 测试框架评估开放权重模型,GLM-5 正确率 0.64(138 个用例通过 94 个),MiniMax M2.7 为 0.57(通过 85 个),与 Claude Opus 4.6 的 0.68、Gemini 3.1 Pro Preview 的 0.65、GPT-5.4 的 0.61 接近。
Google DeepMind 的 Gemini 4 Argon 已在 OpenRouter 上线,可通过 Google AI Studio 和 Google Cloud 调用。
推荐理由:原文给出 Gemini 4 Argon 的定价与三项基准成绩,读者可据此评估其在 OpenRouter 上的可用性与性价比。
Artificial Analysis 发布 Decision Index v1.0,从知识、推理、工具调用和分类四个基准评测决策模型的能力、成本和速度。
Ethan Mollick 称在 Gemini 4 发布前花了较长时间试用,认为它比之前的 Gemini 模型有明显跃升,是首个通过 Fable/Mythos/Astra 门槛的非 OpenAI/Anthropic 模型。
魔法原子 VLM Agent 框架 EchoPolicy-0 在 AI2 发起的 MolmoSpaces Combined 榜单以 75.4% 平均成功率位列全球第一,覆盖全部 4 个 v1 任务。
Composo 发布 DishwasherBench 0.1.0,用一台 Bosch SMV4HAX40G 的刚体物理仿真把装洗碗机做成语言模型基准,浏览器和 MCP 均可玩。
Z.ai 发布法律领域模型 GLM-Legal,基于 GLM-5.3-Flash(320B 总参数、18B 激活、1M 上下文)构建,在 Harvey LAB 上取得 19.17% 全通过率,约为其基座模型 6.67% 的 3 倍,并超过 Kimi K3(12.92%)与 Claude Fable 5(11.25%)。
Composo 开源 DishwasherBench v0.1.0,基于一台 Bosch SMV4HAX40G 的物理模拟,让模型和人类在浏览器中通过 MCP 比拼洗碗机装载,按 Eco 50 洗后干净程度计分。
小米 MiMo 宣布 MiMo-V2.6-Pro 在 Artificial Analysis 上线的 FrontierCode 1.1 榜单上以 45% 领跑开源权重模型。
DeepEval 团队发布 JevEval,用 Jev 替代生成式 LLM 担任评估裁判,把 LLM 评估从"生成判定"改为"结构化决策"。它将评估逻辑、语义判断与分数计算三者分离:人定义显式可审查的评估逻辑,Jev 返回概率分布而非生成文本,DeepEval 用固定公式算出确定性分数,解决传统 LLM-as-a-judge 不可解释、同输入两次运行分数不稳定的问题。
OpenBMB 的 MiniCPM-V 4.7 35B-A3B 在本地 VLM 测试中不仅比 Qwen 3.6 35B-A3 少用 10% token,还生成了更好的 3D 体素宝塔。效率与质量正成为多模态模型真正的战场。
OpenBMB 的 MiniCPM-V-4.7-35B-A3B 在真实智能体工作流测试中表现突出,在个人智能体基准中超越同级 35B MoE 模型,Lite Agent 测试(A1)取得完美结果,PA4 复杂智能体循环工作流(含大量上下文与工具调用)也表现强劲。该测试尚未计入其新增视觉等能力。
Sensor Tower 数据显示,Meta 的 Muse 首日留存为 73.3%,比 ChatGPT 的 41.3% 高出 32 个百分点,但 14 日留存为 22%,比 ChatGPT 的 26.8% 低 4.3 个百分点。
Artificial Analysis 推出 AA-3D 基准,让 21 个模型作为智能体在离线沙箱中把书面简报转化为 three.js 网页,由超 1000 名评委盲评产出逾 10000 票的 Elo 排名。
YouTube 频道 Jun Yamog 将 4 张英伟达 Tesla V100 装在 NVLink 载板上,在 4-bit 量化 Qwen3.8-Flash-Next 基准中长提示处理速度较 2 台 DGX Spark 快 40%、较 M5 Ultra 快 230%。
Stanford CS 329Z(Engineering AI Agents,2026 秋季)第 6 讲「Agent Design Patterns and Scaffolds」讲义公开,链接为 https://web.stanford.edu/class/cs329z/slides/lecture06.pdf。
Arena.ai 让 @petergostev 对 Meta 的 Muse Wonder(Max)进行测试,覆盖一次性 3D 场景、动画 HTML 和前端设计,并与 Astra、Opus 5.5、GPT-6.1 Sol、Claude Sonnet 5.5、Fable、Kimi 和 Mistral 对比,同时列出每次生成的费用。Muse Wonder 的 Arena 评分即将公布。
AI-critic 是一个对 ML 模型进行任务感知审计的开源项目,采用 MIT 许可证。仓库包含 index.html、script.js、styles.css 等前端文件,以及 README 和 .vscode 配置。
Cognition 联合 36 个开源仓库维护者推出 FrontierCode 1.1 编码基准,用 100 道私有任务考察 AI 的改动是否达到可合并标准,除测试外还评估过度改动、越界修改文件等行为。
LLM-Contract 是一款开源免费的 AI 测试工具包,可对 LLM、聊天机器人和 AI 智能体进行评测、提示词回归测试与 RAG 接地检查,支持 OpenAI、Anthropic、Google AI 及任何兼容 API。它提供结构化输出校验、Flakiness 追踪和 CI Gates,测试失败时自动阻止部署,并支持命令行运行与 CSV/Excel 导入导出。
autoresearch-adal 是一款 Windows 应用,用于在 Karpathy 的 Autoresearch 基准上对比 AdaL 与 Claude Code,可集中运行测试、并排查看分数、日志与输出文件。应用需 Windows 10 或 11,本地跑基准建议 8 GB 以上内存与至少 2 GB 空闲空间,并需填入 API key 或本地工具路径。
一位创始人把"现在融资还是继续自举"的真实决策,用同一段提示词分别跑过 ChatGPT、Claude 和 BAAB AI。三者结论一致:不要只因故事讲得好就融资;ChatGPT 给出六个月运营计划和指标清单,Claude 建议先自举约四个月、并坦言结论取决于它没有的数据,BAAB AI 则先判定公司处于 Baby 阶段、标注评估不完整,并把 Path A 拆成三个各自需要证据的决策。
HermesMade 扫描 6 个 AI/tech 子版块、提取 343 条痛点信号并归纳出 8 个痛点,据此开源了 6 个独立 CLI 工具,可用 bash install.sh 一键安装。
Apple 研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案上的表现,在覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据上对比其与人类标注者的一致性。
En Dash Consulting 开源 hotdogbenchmark,每周一 12:00 UTC 向 11 个大型 AI 模型提问“热狗是不是三明治”,要求一词作答,并发布一份一本正经的行业分析师报告。基准还追问汉堡与塔可,并用“热狗是三明治”和“不是三明治”两种系统提示词测试模型的受暗示程度。项目无需 API key,mock 模式可离线跑通全流程,真实运行每月成本仅几美分。
微软研究院推出 StudentSim,一种从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统,让 AI 辅导工具在接触真实学习者之前就能获得反馈信号。
MCPLab 是面向 MCP 服务器的测试与评估框架,可验证 LLM 智能体是否正确调用 MCP 工具,并在同一任务上对比 Claude、GPT-4 等不同模型,追踪工具调用模式、成功率与性能指标。
研究者构建 CRBugBench 基准,用 98 个开源 GitHub 仓库的 1,000 个审查任务和某大公司 800 个专有仓库任务,评估审查智能体能否发现人工确认的 bug。
Meta 发布前沿模型 Muse Wonder 的两个版本,Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3 上得 56 分,Muse Wonder 得 52 分,前代 Muse Spark 1.3 为 48 分。
Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3.2 上达到 Fable 级水平,该指数涵盖 AA-Briefcase v1.1。
Elorian 与 Scale AI 联合发布 Humanity's Sixth Sense(HSS)基准,用 522 道开放式题目测量多模态模型对画面隐含信息的直觉视觉推理,含 288 张图片和 234 段短视频、共 17.6 小时视频。
作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。