DeepSeek V4.1 Flash 1017 游戏特效实测:可用但创造力不及 Opus 5.5
作者用原为 Opus 5.5 编写的游戏特效提示词实测 DeepSeek V4.1 Flash 1017,结果显示该模型能产出可用结果,但细节处理与创造性明显不及 Opus 5.5。测试为初步性质,未涉及具体评分或参数数据。
作者用原为 Opus 5.5 编写的游戏特效提示词实测 DeepSeek V4.1 Flash 1017,结果显示该模型能产出可用结果,但细节处理与创造性明显不及 Opus 5.5。测试为初步性质,未涉及具体评分或参数数据。
作者将原本为 Opus 5.5 编写的游戏特效提示词用于 DeepSeek V4.1 Flash 1017 进行实测,认为该模型在细节和创造性上不及 Opus 5.5,但已达到实用水平。
Meta 发布开源权重模型 Muse Spark Open,并称其是当前最强的美国开源模型,同期还推出闭源模型 Muse Wonder 与 Muse Wonder Full。
推荐理由:文章把 Meta 开源与闭源模型的同期发布放进美国前沿实验室竞争格局里比较,并拆解其自定义许可的实际约束。
DeepSeek 官方发布 DeepSeek-V4.1-Flash-1017 更新公告,被调侃「友商:竞争归竞争,一点空气不给?鲸兄?」。该评论戏谑指向 DeepSeek 在多个专项基准中超越 GPT-5.6-Sol 的竞争态势,属纯互动玩笑,无实质内容。
分析认为 Anthropic 的增长放缓被过度解读,8 月波动受假期影响,9 月则受 OpenAI Astra 发布带来的尝试性迁移影响。在实际编程项目对比中,Opus 5.5 的协作效率优于 Astra。长期来看,高端任务将贡献大部分 ARR 并由 Anthropic 等模型主导,开源模型则将主导标准化任务。
Ethan Mollick 引用 ARC Prize 数据称,Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上得分 97.5%(provider adapter harness,花费 $4.8K),标准 harness 下为 49.8%;ARC-AGI-2 得分 91.3%,ARC-AGI-1 得分 98.5%。
Gemini 4 Argon于10月13日全面开放,Pro会员可在Gemini APP使用,Antigravity需100美元Ultra会员。作者实测认为其知识类专业能力强,Vals Index综合第一(68.9)且单次成本仅15.68美元,但CUA-bench仅4.83%排倒数第二。前端效果不及GPT-6 Astra,额度消耗快,中文写作味道重,整体体验糟糕,不建议订阅Ultra。
Ethan Mollick 称在 Gemini 4 发布前花了较长时间试用,认为它比之前的 Gemini 模型有明显跃升,是首个通过 Fable/Mythos/Astra 门槛的非 OpenAI/Anthropic 模型。
斯坦福大学团队发布乐高装配基准评测 BrickBench,有观点借此批评当前部分 AI 方向博士研究只是套用现成大模型测试特定场景、刷榜发文,科研含金量与创新深度下滑。
Greptile 的 Daksh Gupta 将在 AI Engineer New York 演讲,分享如何避免无意义的 AI 代码审查充斥 PR。演讲重点介绍结合完整代码库上下文、严谨评估基准及真实开发环境测试,精准定位高价值 Bug、减少审查噪音。
作者分析 MTEB(Multilingual, v2) 的 per-language 榜单,指出其分数按行取无权重均值,导致不同语言实际考的不是同一套题。
作者称 Claude Code 在视觉与创意任务中表现优于其他模型,包括 GPT-6 Astra,但账户额度消耗极快,即使刚充值也迅速见底。他认为 Opus 5.5 在这些任务中表现更好,由此引发对模型性能与成本效率的思考。
经过一年测试,Amazon 的 AI 助手 Alexa Plus 是目前最好的智能家居助手,能理解"我冷了"这类自然指令,天气查询和定时器响应从 2025 年的 10-15 秒缩短到 3-5 秒。但它在私人助理功能上仍不成熟,Echo Show 上的全屏广告也严重干扰体验。该助手在美国和加拿大可用,Echo 设备上需 Prime 会员或每月 19.99 美元订阅。
Will DePue 的实验让 GPT-6 Pro 与 Fable 5.1 对近三年重大数学发现排序,结果显示多数条目落在「今天」。GPT-6 Pro 榜单中 81% 的成果标注为今天发布;Fable 榜单中该比例为 59%,且 87% 来自 AI、13% 来自人类。
一位 LLM 代码研究者给 Gemini 3.8 Flash、GPT Astra 6、Opus 5 和 Fable 5 各 100 美元预算,让它们自主构建开源 PDF 编辑器。
Artificial Analysis 在 X 上祝贺第 9 份年度 State of AI 报告发布,并表示很高兴看到其基准测试贯穿报告全文。该报告由 Nathan Benaich 发布,内容涵盖 AI 构建更好的 AI、世界模型、物理 AI、地缘政治、网络防御及 12 个月预测。
Tessl 在 AI Native DevCon London 的分享指出,AI 编码智能体让 PR 数量增加,但审查环节反而成为新瓶颈,根源在于缺乏验证层。其方案是把产品意图写成可执行规格,由规划智能体拆解需求、多个验证智能体并行逐条检查预览环境,并同时结合规格与代码(而非仅看 diff)来判定实现是否符合意图。
构建好的 eval 能让你快速在所在领域或任务中占据前沿,这是 eval 能解锁的优势。原文强调,除了使用 eval,也要学会自己构建好的 eval,并认为这件事很值得投入。
微软研究院播客最新一期由 Jennifer Neville 谈 AI 评估,她回顾了自己在研究中原地打转的经历,以及多轮转折后才进入计算机科学的路径。她主张用更实用的评估推动当今 AI 系统。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界、满足用户需求,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时深入查看数据的重要性。
Jev-as-a-Judge 通过一致性提升了 LLM 评判器的可靠性,适合用于评判器、验证器和持续监控。该用法来自 Jev 最令人印象深刻的应用场景之一,作者长期从事 agent 评测、评判器与验证器方面的工作。
SemiAnalysis 通过逐项测量用量表变化,估算各订阅计划的 API 等价价值,结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。