当前 AI 基准测试遗漏了什么:模态、搜索、引用及其对安全评估的影响
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现,禁用搜索时聊天 UI 在两个基准上准确率均低于 API,启用网络搜索后准确率最多下降 8 个百分点,甚至逆转了某一基准的模态表现趋势。
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现,禁用搜索时聊天 UI 在两个基准上准确率均低于 API,启用网络搜索后准确率最多下降 8 个百分点,甚至逆转了某一基准的模态表现趋势。
一项针对 ChatGPT、Claude 和 Gemini 的审计研究覆盖七个系统、九个基准,发现 API 与聊天界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点,重测一致性高 2.1 个百分点。
研究提出跨境身份固化诊断框架 TIODF,对比直接事实提问与开放式叙事提问,测试 GPT-5.1 和 DeepSeek-V3.2 在英文和中文下对中国西南边境九个跨境族群的表征。
WSJ 报道亚马逊正洽谈以约 70 亿美元收购 Decart,此前 Nvidia 和 Anthropic 的收购谈判均已告吹。
OpenAI 已下线 GPTs,此前上个月大公司高管仍看好这一功能。Ethan Mollick 称,大型组织规划复杂,而所有实验室(不只是 OpenAI)不断突然变卦,让企业无所适从。
10 月 8 日,广东省委书记黄坤明到深圳调研并走进腾讯总部,马化腾在座谈中带着 28 岁的腾讯首席 AI 科学家姚顺雨并排而坐。姚顺雨本科毕业于清华姚班,2024 年加入 OpenAI 参与 operator 与 deep research 开发,提出 ReAct 方法,现兼任腾讯 AI Infra 部与大语言模型部负责人。
Insights 是一个 AI 内容平台,可将 RSS、播客、YouTube 视频、文章、URL、GitHub 仓库和图片转为摘要、生成文章与适配各平台的社媒帖子,并支持在 LinkedIn、Threads、Facebook 和 X/Twitter 上发布与排期。
Codex 将默认上下文长度从原来的 272k 提升至 500k,增幅约 80%,最大上下文长度可达 1M。此次调整旨在减少长上下文任务中的压缩频度,提升复杂长时任务的处理连贯性与细节保留能力。
OpenAI 的 Thibault Sottiaux(Tibo)宣布,Codex 和 Work 环境下 GPT-6.1 Sol 的默认上下文长度从 272k 提升至 500k,增幅约 80%。该数值经过充分测试,可降低上下文压缩的触发频率,用户仍可手动调整,最大上限为 1M。配合本次调整,OpenAI 在从订阅中扣除使用量时不会对 GPT-6.1 Sol 收取长上下文费用。
OpenAI 将 GPT-6.1 Sol 通过 Codex 和 ChatGPT Work 使用时的默认上下文长度从 272k 提升至 500k,增幅约 80%。官方称这有助于减少压缩发生,未来还会继续提高,用户仍可自行覆盖设置,该模型最大上下文长度为 1M。
Basicrum 推出开源真实用户监控(RUM)工具,用 Rust 编写轻量 beacon,可运行在 €5/mo 的 VPS 上,数据托管于欧盟并符合 GDPR、零第三方追踪。其 AI 层支持接入 OpenAI GPT-4o、Anthropic Claude 3.5 Sonnet、Google Gemini 1.5 Pro 等自带密钥,自动分析 LCP、INP、CLS 并给出优化建议。
学生开发者 Ajay Saravanan 推出 Free AP Practice,一个基于 SvelteKit + Svelte 5 的 AP 练习应用,可生成 AI 选择题并提供应用内辅导、书签和答题历史。
GitHub 项目 zyra23/ai-agent-pipeline-keeper 提出“自主待办编排”系统,让 AI 智能体按编码的工程规则持续评估、排序并执行待办事项,常规操作无需人工介入。
OpenAI 的 Tibo 宣布,GPT-6.1 Sol 在通过 Codex 和 Work 使用时的默认上下文长度从 272k 提升至 500k,增幅约 80%。官方称这有助于减少压缩(compaction)的发生,并有利于需要长时间保留大量上下文和细微差别的任务,同时表示未来还会进一步提高。用户仍可自行覆盖该设置,GPT-6.1 Sol 的最大上下文长度为 1M。
OpenAI 调整计费:从订阅额度中调用 GPT-6.1 Sol 时不再收取长上下文费用。该消息由 Tibo 在 X 上公布,未提及具体费率或生效时间。
OVI-CODE 是一款用 C++20 编写的终端编程智能体,可连接 OpenRouter、OpenAI、Anthropic 或 xAI/Grok,在 FTXUI 全屏界面中展示模型响应、工具调用与 diff。
作者用开源逆向工具 REA 配合 Codex 分析桌面客户端,通过提示词引导 AI 协同定位 Electron 应用关键代码链路,无需手动反编译即可理解内部运行机制。测试中发现 OpenAI 客户端存在未公开的 annotation 接口,并验证了其在网页端调用评论的能力。
DITA Craft 是一款 VS Code 扩展,新增可视化编辑器,可在格式化页面上编辑 DITA 主题,并与 XML 源码并排同步光标,每次改动只产生最小文本编辑,撤销、保存、Git diff 与校验照常工作。
Velocity CI 是一款针对 GitHub Actions 的智能构建加速套件,通过预测性缓存预热、依赖图分析和自适应并行化来优化 CI 流程。其配置支持 adaptive 与 conservative 两种加速策略,可动态分配资源并集成 Gradle 8.5+、Docker 等第三方工具。官方数据显示,大型项目构建时间可从 47 分钟降至 11.8 分钟,提升约 4.0 倍。
Shaz Universal AI 发布开源 TypeScript/JavaScript 通用 AI SDK,用一套严格类型 API 统一 Google Gemini、OpenAI、Anthropic Claude、Groq、DeepSeek、OpenRouter、Ollama 和 Mistral AI,切换供应商只需改一个配置参数。
The Verge 报道,特朗普宣布将 AI 重新命名为 super intelligence,并称继续使用 Artificial Intelligence 一词者为敌人,硅谷多位巨头相继跟进。
nous-token 是一个开源协议,通过网关代理追踪跨提供商的 AI token 消耗,并从提供商响应中提取 .usage 字段,为每次调用生成 ECDSA 签名收据。
硅谷多家科技巨头正跟随特朗普将 AI 改称“超级智能”。马斯克承诺把 SpaceXAI 更名为 SpaceXSI,Marc Benioff 宣布将 Salesforce 的 AIForce 改名为 SIForce,Nvidia 则称将投入 10 亿美元用于“超级智能研究”。微软 Satya Nadella 在呼吁为 AI 建立“紧急刹车”的帖子中也多次使用“超级智能”一词。
OpenAI 三名安全研究员被解雇,其中 Tomek Korbak 称理由是他就 METR 调查与外部实验室的沟通方式,而 METR 正是 OpenAI 自己请来调查其智能体 7 月入侵 Hugging Face 的独立实验室。
OpenAI 因在 AI 风险问题上的分歧解雇 3 名安全研究员。
Riley Brown 认为,如果一款软件只需 3 小时靠提示词就能做出来,用户绝不会为此付费。Anthropic 和 OpenAI 等前沿 AI 实验室正系统性地将这些场景内化为平台内置能力与交互式「Artifact」,逐步蚕食轻量套壳工具与简单生成类应用的商业生存空间。
ChatGPT 第三季度网页端流量环比仅增长 3.4%,增长曲线更接近成熟平台而非高速扩张的初创公司。David Hendrickson 据此提出疑问:现有 AI 用户的渗透率是否已触及阶段性瓶颈,消费级 AI 普及是否正遭遇饱和。
菲尔兹奖得主雅各布·齐默曼在获得菲尔兹奖、暂时告别学术界后,加入 OpenAI 安全团队。他此前长期攻关数学难题,因担忧能发现精妙数学缺陷的 LLM 以及即将到来的黑盒不可解释证明时代而转向 AI 安全。
Niko 是一款支持英语、德语、西班牙语的三语 Discord 机器人,由 OpenAI 驱动对话,能按用户记忆过往互动,并带有 lo-fi 咖啡馆风格。它包含 20+ cog 分组和 76 个斜杠命令,覆盖经济系统、Lavalink 音乐、审核、抽奖、工单、社交媒体通知等,并配有交互式 Components v2 UI。
llmbrake 是一个零运行时依赖的 TypeScript 库,包裹 OpenAI 兼容的 chat.completions.create 调用,按 token 用量以美元计价并为每个客户累计月度支出。
一篇评论文章认为,当前前沿生成式 AI 仍只是"高度增强的随机鹦鹉",无法具备真正的智能判断,却被包装成即将超越人类智能的技术兜售给公众和政府。文章称这类技术至多是人类既有风险的加速器,真正的危险来自使用它的人,而非 AI 本身。
SwiftData-SkillKit 发布,为 SwiftData 提供 AI 驱动的模型迁移与查询编排能力,支持自然语言生成 #Predicate 查询、版本迁移回滚与 iCloud 三方合并冲突解决。
一个日历追踪器上线,用于记录 OpenAI Codex 28 天挑战的每日进展。该挑战由 Tibo 于 10 月 4 日发起,承诺连续 28 天每天发布一项 Codex 改进或一次完整重置,挑战期为 10 月 5 日至 11 月 1 日。页面按太平洋时间统计已发布的改进与重置公告,并附原始来源链接,同时作为存档保留。
OpenAI 在一次发布中放出数百篇针对公开数学难题的 AI 生成论文,西北大学部分学生因此开始质疑是否还应继续留在数学领域。该校数学教授 Antonio Auffinger 表示,自己的优先事项已转向留住人才并帮助他们成长。引述的 Reihel 认为,资深数学家跳进来做学生论文题目违背学界规范,AI 正在抢走过去研究生需要花费数年完成的训练性课题。
开源项目 ai-news-digest 聚合 Anthropic、OpenAI、Google 与 GitHub 过去三个月的官方产品更新,涵盖新闻、changelog 与 release notes 三类来源。
NamesMT/starter-monorepo 是一个基于 Turborepo 的全栈 monorepo 模板,前端为 Nuxt 4 应用,主后端用 Hono,另含可选的 Convex 后端,并内置支持多用户实时协作的 AI/LLM Chat 组件。
Context Panel 是一款原生 macOS 应用与 WidgetKit 组件,可一眼查看 OpenAI、Anthropic、Google 的 AI 用量限额,并提供只读的 iPhone、iPad、Vision Pro、Apple Watch 和 Apple TV 伴侣端。它以账户为单位展示剩余容量、消耗速度、耗尽时间与重置时间,支持同一服务商多账号登录,账户凭证与用量快照均在本地处理。
驾驶教练模拟游戏 Teach My Little Sister How To Drive 的开发商 Easy Fox 表示,demo 玩家数一个月内增长超过二十倍,导致其每天在 AI 服务上花费超过 1000 美元,并已为此申请银行贷款。
作者让 GPT-4 跳过 CAD/CAM 直接为 CNC 等离子切割机生成 G-Code,代码首次加载即通过,但因缺乏视觉能力导致形状出错、T 字高度控制失败。
AI Marketplace 是一个从 GitHub、Azure DevOps、GitLab 仓库发现、安装、更新、迁移、热加载和卸载版本化 AI 包的工具,支持 Codex、Cursor、GitHub Copilot、Claude Code 和 DeepSeek Harness 等厂商。