Pangram 漏检 AI 改写摘要研究:漏掉 Muse-Glimmer 改写的 79.8%
东京都立大学新论文发现,AI 文本检测器 Pangram 漏掉了 Meta 的 Muse-Glimmer 改写的 79.8% 科学摘要,而 5,000 篇人类摘要中仅 1 篇被误标为 AI 生成。其漏检率主要取决于改写所用的 LLM 版本:Pangram 捕获了 93.5% 的 GPT-5 改写内容,却漏掉了另一个新模型改写的 79.8%。
东京都立大学新论文发现,AI 文本检测器 Pangram 漏掉了 Meta 的 Muse-Glimmer 改写的 79.8% 科学摘要,而 5,000 篇人类摘要中仅 1 篇被误标为 AI 生成。其漏检率主要取决于改写所用的 LLM 版本:Pangram 捕获了 93.5% 的 GPT-5 改写内容,却漏掉了另一个新模型改写的 79.8%。
blindbench 是一款可在 Windows 10/11 上运行的 AI 模型对比工具,通过隐藏公司名称和品牌进行盲测,给出答案真实性评分并检查推理失败,支持从 100+ 个 AI 语言模型中挑选对比。用户可从 GitHub Releases 下载 .exe 安装包,按向导安装后即可查看排行榜,应用不收集个人数据、不含广告。
作者分析 MTEB(Multilingual, v2) 的 per-language 榜单,指出其分数按行取无权重均值,导致不同语言实际考的不是同一套题。
韩国视觉创作者서오키(@oasis.seo.ai)对 Kling 4.0 完成三组实测,覆盖人物表演与角色稳定性、三张图片连续转场、实拍与卡通反复切换。她认为 Kling 4.0 能自然衔接视线、表情和手势,多图连接时原图风格与氛围基本保留,实拍与卡通切换无明显割裂,降低了反复生成和后期修补的成本。
Ethan Mollick 提到,不仅 Astra 击败了 Montezuma's Revenge,Opus 5 也做到了。但该 AGI 赌约的解决标准之一是 AI 要赢得一个已停办的奖项,它有点像弱化版图灵测试,因此 Metaculus 决定重建这个测试,以确认该标准是否已达成。
作者实测微信输入法、千问输入法、开源项目OpenLess、秘塔输入法四款,加上此前已测的Typeless、闪电说、网易叭哥说和豆包输入法,共八款AI语音输入法,统一用同一段含中英文混合、编号列表和专有名词的文字进行测试,以找出Vibe Coding的最佳搭配。
chessmark 上线了一个让语言模型通过工具调用下棋的平台,每局棋的请求、推理轨迹、工具调用和对话都完整存储并可回放。平台已记录 184 场排位赛、5052 步棋,模型共尝试 1774 次非法走子,其中 27 次因五次尝试内找不到合法走子而判负。排行榜按固定且带版本的配置计分,其他配置下的对局只记录不计分,人类也可与目录中任意模型对局。
DecoverAI 发布围绕虚构案件 USA v. Cascade Timber Holdings 的法律智能体评测基准,含 1,486 封 RFC 5322 .eml 邮件、26 个邮箱、51 项任务(10 项旗舰、18 项原子/检索/join、6 项 RLVR 试点、17 项诉讼技能),时间跨度 2021 年 11 月至 2023 年 12 月。
微软论文发现编码智能体在理解大量代码时容易出错,而非编辑大量代码时,建议用代码阅读与比较任务而非 diff 大小来评测。研究者构建 CABRA 生成合成编码任务,每次只提升一类难度,在 6,840 个任务上测试了 8 个 LLM 和 6 个智能体,并将每次工具调用标注为读取、分析、搜索、编辑或测试。
HiDream 发布原生全模态视频模型 HiDream-O1-Video-1.0,在 Artificial Analysis Video Arena 图生视频(含音频)榜首秀排名第 6。
Pine 发布为 AI Agent 构建的云端计算机 Pine Computer,开发者可通过 SDK 创建实例,用自然语言下达任务,由 Agent 在网站、文件和应用间规划并执行工作。
Epoch AI 发布 InnovationEval 评测,用一篇已发表的 on-policy self-distillation(SDPO)论文作为任务,让 AI 智能体在固定训练数据下自行提出并实现新的后训练算法,以是否达到或超过该论文指标来打分。
Agent Arena 不采用成对偏好投票,而是用因果追踪方法从真实世界的长时程智能体会话中测量五种信号。该方案由 Arena.ai 公布,具体细节见其推文串。
Agent Arena 不采用成对偏好投票,而是用因果追踪方法从真实世界的长时程智能体会话中测量五种信号。该方法由 Arena.ai 提出,具体细节见其推文串。
独立研究者 Ava Lovelace Zeno 于 2026 年 10 月 9 日在 ARC Prize 游戏服务器上用一个记分卡玩完 ARC-AGI-3 全部 25 个公开游戏,通关全部 183 关,共 7,372 步,人类基线为 17,135 步,服务器评分 100.0。
个人开发者 Joseph Rodriguez 用 Google TPU Research Cloud 的 TPU v4-32 从零预训练出 1.6B 参数的 Kisoku,训练数据约 0.5 万亿 token。
Epoch AI 推出 InnovationEval 评测,测试前沿 AI 模型能否在未见过论文的情况下独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。
作者称 Claude Code 在视觉与创意任务中表现优于其他模型,包括 GPT-6 Astra,但账户额度消耗极快,即使刚充值也迅速见底。他认为 Opus 5.5 在这些任务中表现更好,由此引发对模型性能与成本效率的思考。
Artificial Analysis 预告即将发布 AA-Robotics v0.1,用于评测当今前沿语言模型能否零样本、无指导地控制真实机械臂。该基准目前仅公布版本号与评测目标,尚未披露具体模型名单、任务细节或发布时间。
HeyGen Voice 在 Artificial Analysis 受控语音 TTS 竞技场以 Elo 1,201 登顶,超过 Qwen-Audio-3.1-TTS-Plus(1,182)和 Eleven v4 Turbo(1,166)。其发音鲁棒性得分 83.1%,定价 $30/1M 字符,生成速度为每秒 40 字符。
Artificial Analysis 让 GPT Image 2.5 Sunburst、Ideogram 4.5、FLUX 3 和 Nano Banana 2.1 对同一张照片连续执行 30 步房地产布景编辑,测试多轮编辑的一致性。
开发者用 Claude Code(Claude Opus 5.5)约 24 小时将 37signals 的 Rust 版 Campfire 移植为 Kotlin,在 Ryzen AI MAX+ 395 的 x86 机器上吞吐追平甚至超过 Rust。
NIMStats 通过 GitHub Actions 每小时对 22 个 NVIDIA NIM 模型跑一次基准测试,并把响应时间、吞吐量与趋势发布到静态交互面板,无需服务器或订阅,fork 后填入 NIM_API_KEY 即可自托管。
Pine AI 推出 Pine Computer,一个面向智能体任务的云电脑、harness 与运行时层。在 SaaS-Bench v1.1 上其 checkpoint 得分 78.3%,高于 Opus 5 搭配 Claude Code 的 74.3%,但整任务完成率为 27.4%,低于后者的 31.1%。
Claude Devs 在一个 11.6 万行的代码库中埋了 70 个 bug,测试智能体找 Bug 的表现。3 次运行中,单个智能体分别找到 14、15 和 27 个 bug,而一个工作流在 3 次运行中每次都稳定找到 66 个。
Open Codenames 是一款用图片版 Codenames 游戏来评测 LLM 的开源项目,玩家与 AI 队友对阵两个 AI 对手,AI 需自己看图、在游戏日志中推理并避免重复提示。
François Chollet 转发 ARC Prize 消息称,Kaggle 上的 ARC-AGI-2 分数已达到很高水平。ARC Prize 2026 榜单显示,tufa labs 以 88.06% 位列第一,Rabbithole 以 80.56% 排名第二。在保底奖金之外,15 万美元 Bonus Prize 将由所有得分超过 85% 的团队分享。
一个经专家验证的女性、和平与安全(WPS)基准排行榜上线,用同一套测试对领先 AI 系统打分排名,0.60 为及格线,0.75 以上为强。榜单同时纳入自研 Agent 与通用模型,并展示从有提示到稀疏提示的 WPS 能力落差。基准数据集含 30 行,可在 Hugging Face 查看和加载。
Eval engineering 是构建生产级评估系统、规模化治理 AI 行为的学科,把评估从部署前的一次性检查变成持续运行的基础设施。它要求对 100% 流量做领域特定评估,而非只抽样 10%,输出未通过评估就不上线。文章以 Air Canada 聊天机器人误答 bereavement 票价、被判赔 $812 为例,说明企业缺的不是政策而是让 AI 真正执行政策的系统。
Datology 发布数据筛选产品 Datology Curation Studio,并公布一组对照实验:用同一批公开数据源构建 10 万亿 token 的基线数据集与筛选数据集,训练配方保持一致,筛选数据在预训练和后训练阶段都取得更好结果,最大基线需要 6 倍预训练算力才能追平筛选数据的质量。
Yi-Chia Chen 在 ARC Prize 2026 的 ARC-AGI-3 上取得 59.17% 高分,超越 tufalabs 登顶高分榜。ARC Prize 官方账号公布了这一新纪录。
ARC Prize 公布 2026 赛季 ARC-AGI-2 高分榜,TUFA Labs 以 88.06% 排名第一。除保证奖金外另设的 15 万美元 Bonus Prize 将由所有得分超过 85% 的团队分享。榜单第 2 至第 5 名分别为 Rabbithole(80.56%)、Yi-Chia Chen(77.22%)、Nubanana(77.08%)和 _hans(67.64%)。
VideoDB Action Segmentation + Search 在 100 小时、2,835 段第一视角视频与 11,369 条文本查询的检索基准上,Hit@10 达 40.39%,领先 AWS Nova(35.40%)约 5 个百分点、Twelve Labs Marengo 3.5(32.87%)约 7.5 个百分点。
Arena 公布本周榜单:Nano Banana 2.1 在三个 Image Arena 模式进入前六,Multi-Image Edit 以 1431 分排第 4,Text-to-Image 第 5(1328 分),Image Edit 第 6(1428 分)。
同一提示词让 OpenAI Dots 与 Meta Muse 各自搭建并部署一个公开的 AI 服务状态看板,重复 8 次后 Dots 的 8 个应用全部通过 ChatGPT Sites 部署到 Cloudflare Workers 并可公开访问,Muse 的 8 次均未验证到公开应用。
经过一年测试,Amazon 的 AI 助手 Alexa Plus 是目前最好的智能家居助手,能理解"我冷了"这类自然指令,天气查询和定时器响应从 2025 年的 10-15 秒缩短到 3-5 秒。但它在私人助理功能上仍不成熟,Echo Show 上的全屏广告也严重干扰体验。该助手在美国和加拿大可用,Echo 设备上需 Prime 会员或每月 19.99 美元订阅。
一项实测对比显示,微调小型编码器在文本分类上仍大幅领先零样本决策模型:最差的 TheseusBERT(0.709 macro-F1)比最好的 Clef 27B(0.419)高 29 分,对 Tev1-4B 还快 34-91 倍。
skhynix 发布 LTM100,一个面向长期记忆(LTM)系统的端到端多用户负载基准,当前版本 v0.4.3,采用 Apache 2.0 许可。
联想天禧AI自研代码智能体框架TianxiCode配合DeepSeek-v4.1-Flash,在SWE-bench-Live(Lite分榜)以71%问题解决率登顶全球第一,并通过官方Verified核验。TianxiCode具备跨文件多跳检索、自驱动规划与多轮工具调用、闭环补丁生成与测试驱动自愈三大能力,未来将应用到联想AI硬件产品中。
Will DePue 的实验让 GPT-6 Pro 与 Fable 5.1 对近三年重大数学发现排序,结果显示多数条目落在「今天」。GPT-6 Pro 榜单中 81% 的成果标注为今天发布;Fable 榜单中该比例为 59%,且 87% 来自 AI、13% 来自人类。