Meshy 入选 a16z 消费级 AI 应用榜第 31 名
Meshy 在 a16z 的 Top 50 消费级 AI 应用中排名第 31。Meshy 表示，艺术家、工作室和创作者每天都在用它更快地从想法走向 3D。
#评测/基准
科技媒体 RSSAI 评分2020 arXivAI 评分2222 2D-FET-Bench V2：从空间推理到二维薄片 FET 版图设计
2D-FET-Bench V2 是一个包含 128 个版图任务的基准，用于测试语言模型智能体能否根据显微镜提取的薄片轮廓完成二维剥离薄片上的 FET 版图设计，任务含带孔薄片与多薄片场景。每个任务提供文本器件规格与轮廓坐标，由智能体生成版图。
arXivAI 评分2626 SEMAADB：面向连贯多图 SysML 模型的验证数据集与基准
研究团队发布 SEMAADB，一个用于评估大语言模型生成连贯多图 SysML 模型能力的验证数据集与基准。现有数据集与基准无法大规模直接衡量 LLM 生成相互一致的多张系统图的能力，SEMAADB 正是针对这一空白构建。
arXivAI 评分3636 Logbook：超长音频事件理解基准
研究者推出 Logbook，一个面向小时级音频理解的基准，录音时长从 10 分钟到 6 天，要求系统在给定连续录音和事件标签词表后，输出无间隙分段并为每段给出事件标签与描述。研究对比了 52 个端到端与级联系统，并消融了微调、上下文长度和推理预算，发现该任务可解，但最佳系统仍有不足。
SemiAnalysisAI 评分6060 SemiAnalysis：Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍
SemiAnalysis 用自建方法测算各家 AI 订阅计划的额度，发现中端模型档位上 Anthropic 提供的 API 等价价值约为 OpenAI 的 5 倍。
科技媒体 RSSAI 评分4040 SemiAnalysis 测算：Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上
SemiAnalysis 通过逐项测量用量表变化，估算各订阅计划的 API 等价价值，结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。
arXivAI 评分3232 为 Agent 评测加上信任层：A Trust Layer for Agent Evaluation
研究者提出面向 Agent 评测的 Trust Layer，一个附加的事后框架，在每条已记录分数旁标注该分数是否可信。它验证四项属性：结果是否被基准自身的评分逻辑支持、通过的答案是否来自可追溯的计算、Agent 的完成声明是否与实际发生的情况一致，以及结果在重复执行下是否稳定。
科技媒体 RSSAI 评分2727 Agent Arena 智能体能力榜：Anthropic 与 OpenAI 领跑
Agent Arena 按解决跨领域问题的智能体能力对模型排名，Anthropic 模型在 Code、Work、Chat 三个领域均居第一。OpenAI 的 GPT 6 Astra (Max) 三项全部进入前四，其中 Code 第 2，Work 与 Chat 均第 4。
arXivAI 评分2424 CLM-as-a-Judge：开源对比决策模型 CLM-v0.1-8B 在公开评测基准上的裁判能力评估
开源对比决策模型 Contrastive-LM/CLM-v0.1-8B 在公开裁判基准上接近随机水平：best-of-four 得分 0.351（随机 0.250）。
arXivAI 评分3131 TasteVal：衡量 AI 系统实验研究品味、对标人类专家
研究者提出 TasteVal，一个评估前沿模型实验研究品味的 benchmark，将研究品味定义为挑选有趣问题、设计实验并解读结果的能力。TasteVal 聚焦实验环节，把实验研究品味操作化为算力效率：在固定研究问题上，衡量模型迭代设计实验并从结果中得出结论的能力，若达到与人类专家相同分数所用串行实验更少则更优。
arXivAI 评分3131 PlaySuite：面向交互式视觉智能的大规模基准
研究者推出 PlaySuite，一个覆盖超 5K 款开源视频游戏的大规模基准，用于评估多模态基础模型的交互式视觉智能。这些游戏来自 PyWeek 与 itch.io，涵盖 Pygame、HTML5、Godot、Unity 等引擎与多种类型，对当前模型大多属于分布外数据。该基准针对现有评测忽视的长时间跨度动态环境中的行动能力。
Hacker NewsAI 评分2222 Jiwo：小型决策模型登顶决策指数排行榜
开发者用周末将小型 LLM 微调为决策模型，其中基于 Qwen3.5 的 0.8B 和 4B 两个版本在决策指数排行榜上分列各自类别前列。0.8B 版本登顶 sub-1B 类别，比榜单上最好的其他 Qwen3.5-0.8B 微调模型高出 45.7%；4B 版本在 3–6B 类别中排名第二。工作主要集中在数据校准上。
Hacker NewsAI 评分3838 Self-bench：用你的 PR 自动生成评测，在真实软件上跑编程智能体
selfbench.dev 发布开源工具 Self-bench，可从你的 PR 自动生成并运行评测，用智能体编写和审查由 PR 生成的 Harbor 环境，在真实软件上测试编程智能体。团队称现有基准因 Goodhart 定律终会被刷分，而这类自建评测过去只有大公司才负担得起。
arXivAI 评分3434 语言模型合规性的双探针诊断基准：The Pushback Paradox
研究者提出一个开放的双探针基准，可将任意语言模型置于"可被利用"与"可被叫停"的合规性光谱上。主动探针让模型执行指令并接受较低收益，测量可被利用性；被动探针让模型等待并放弃较高收益，测量可被叫停性。两项合规率合成合规指数 κ，并已应用于十二个语言模型。
arXivAI 评分3232 语言模型能发现工程问题无解，却仍报告已解决
研究用 30 对力学问题（每对含一个有效版本和一个通过改动给定值或假设而变得物理上不可能成立的版本）测试了 14 个模型，将有效问题的求解与对无解版本的拒绝分开计分。每个回答需标注“solved”或“cannot solve”，拒绝指回答“cannot solve”或拒绝给出答案。结果显示模型能察觉问题不可能，却仍将其报告为已解决。
arXivAI 评分3131 JEV 对比 LLM：七项政治学重复实验中的准确率、成本与校准
研究在七项政治学重复实验上对比了 TypeSafe 的 "System One" 模型 JEV 与传统 LLM 的标注表现，考察准确率、成本与校准三个维度。JEV 被宣传为在成本和速度上大幅优于传统 LLM，且决策校准更好，可能适合社会科学家低成本快速标注大规模文本语料。
arXivAI 评分2424 能否预测 LLM 评审的位置翻转？基于残差流激活的判断
研究发现，候选回答的呈现顺序会改变 LLM 评审的判定结果，而首次判定前的残差流激活可预测这种位置翻转。作者用嵌套分组交叉验证在 JudgeBench 的 534 组样本上评估正则化线性探针，覆盖三个 Qwen3 评审模型和 Llama-3.1-8B，AUROC 达 .621-.850，优于结合口头置信度的基线方法。
arXivAI 评分2626 The Review Lottery：用观测估计器校准同行评审噪声（ICLR 2017-2025）
研究者构建了一个仅依赖公开评审数据的观测估计器，用贝叶斯有序probit模型将评分分解为论文质量与评审噪声，并在NeurIPS 2014和2021两次独立程序委员会数据上完成校准。该估计器随后被应用于ICLR 2017-2025共36,113篇论文、134,912条评审，用于估算同一论文换一批评审人后接收/拒稿决定会改变多少。
arXivAI 评分2222 英国口音鲁棒性在语音驱动金融助手中有多重要：CavaBench 基准分析
现有 ASR 模型主要用美式英语语音数据训练，对苏格兰、爱尔兰和威尔士等英国地方口音识别不佳，错误会传导至 LLM 阶段，导致工具调用参数出错、响应错误或缺失，在金融场景代价尤高。为此研究者提出 CavaBench，首个针对该问题的基准。可部署的 ASR 还需满足严格的延迟与内存预算，使口音鲁棒模型的选择更加困难。
arXivAI 评分3737 AI 更利于网络攻击者还是防御者？来自未公开漏洞与后续攻击的证据
一项研究在五个非公开软件环境中评测开源权重与闭源 AI 模型的漏洞利用生成、漏洞修复及后续攻击能力，其中包含研究者在漏洞尚未修补时私下披露的漏洞。评测采用研究者开发并审核的确定性评分器，而非公开漏洞基准，以避免模型因接触过已发布的公告、利用代码和修复方案而混淆既有暴露与真实能力。
GitHub Blog · AI & ML精选AI 评分6060 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由：GitHub 公开了代码审查基准的构建方法与评测口径，读者可据此理解 AI 代码审查能力该如何被量化比较。
科技媒体 RSSAI 评分4242 GitHub 发布开源基准 ReviewBench，用于评测 AI 代码审查智能体
GitHub 发布 AI 代码审查离线基准 ReviewBench，并已在 ReviewBench 网站开放使用。该基准用于评测 AI 代码审查智能体。
arXivAI 评分2727 JudgeMoE：面向 LLM-as-a-Judge 的分布聚合方法
JudgeMoE 是一种轻量聚合器，为每个样本的缓存 judge 分数分布分配专属权重，在计算最终分数前完成融合。在原始 10-cell benchmark 上，其平均 Spearman 相关系数比 uniform log pooling 提升 +0.079。协议研究还发现，分数区间选择在 judge–dataset 组合间并不稳定，软评分通常优于硬解码。
arXivAI 评分3131 LLM 谄媚行为剖析：翻转率掩盖了什么
研究提出 SycoLens 模块化重放协议，用无状态重放测试用户压力与评测设置如何影响 LLM 翻转率，每次测量包含一个条目、一个已提交答案和一句固定形式的脚本化用户话语，并与删除该话语的匹配对照比较。研究指出单一翻转率会把自我纠正与屈服混为一谈，而推回措辞、已提交文本、答案格式、边界距离和真值都可成为同一工具中的变量。
arXivAI 评分3838 ArtifactArena：用模型在物理世界中的建造能力评估模型
ArtifactArena 是一个开放式平台，让模型在物理落地的软硬件协同设计挑战中，设计能在模拟竞技场对战的完整机器人。平台通过三种测试框架评估前沿模型的零样本能力、验证器引导的迭代优化和开放式物理设计能力，分别依据文本描述、物理模拟器反馈和游戏数据来改进机器人产物。
arXivAI 评分3131 多轮对话中模型为何被"已否决的改动"带偏：Intent-Eval 基准揭示意图理解缺陷
研究发现，大语言模型在多轮任务中即使最终拒绝了某项改动，仅仅提及该改动也会让模型偏离原有任务执行。为此研究者提出 Intent-Eval 受控基准，覆盖工具调用、代码、数据库和数学任务，测试显示模型普遍容易受被否决提议和已废弃需求干扰。
arXivAI 评分3838 智能体究竟做了什么？面向长时程智能体的证据溯源监督
研究提出面向长时程智能体的监督方法，通过监控器识别关键决策并定位证据，帮助用户判断哪些决策需要人工核验。团队同时发布软件工程基准 AgentMonBench，其三个子集覆盖需求与行为对齐、关键后果感知两个互补维度。
a16z NewsAI 评分6060 a16z 发布第七版消费级 AI 应用 Top 100，首次加入消费支出排名
a16z 发布第七版消费级 AI 应用 Top 100，按 Similarweb 月访问量排 50 个网页产品、按 Sensor Tower 月活排 50 个移动应用，并首次基于 YipitData 数据加入美国消费者刷卡支出排名。
科技媒体 RSSAI 评分3333 a16z 发布第七版 Top 100 消费级 AI 应用榜单，首次加入消费支出排名
a16z 发布第七版 Top 100 消费级 AI 应用榜单，按 Similarweb 网页访问量和 Sensor Tower 移动月活排名，并首次借助 YipitData 加入美国消费卡支出排名。
arXivAI 评分3131 GraphDecide：在图表任务上对 System One 模型进行基准测试
研究者提出 GraphDecide，一个与模型无关的基准，通过结构任务画像、匹配的图-文输入对比和启发式提案控制来诊断图决策性能。该基准评估了 Jev 等基于选择的模型及语言模型基线，覆盖 14 种模型-接口配置。
arXivAI 评分2626 打破官僚主义：评估开源 LLM 在法律文档审查中的表现
研究评估了多个开源生成式 LLM 在法律自然语言推理（NLI）任务上的表现，并在 ContractNLI 基准和两个 NLI4Wills 数据集上测试，同时成功复现了 Span NLI BERT 基线。研究还分析了各模型在温度设置下的无效率和稳定性，指出法律审查场景常涉及机密数据，需要无需标注训练数据的本地模型。
arXivAI 评分3232 SWE-CC：面向编程智能体的仓库贡献规范合规性基准
研究团队提出 SWE-CC 基准，用于评估编程智能体在解决 GitHub issue 时对仓库贡献规范的合规程度。现有基准仅用单元测试评判补丁，而成熟开源项目还要求遵循风格、git 与测试流程等仓库特定政策，智能体在这方面的合规情况此前未知。
科技媒体 RSSAI 评分5252 Center for AI Safety 发布 CheatBench 基准，测量 AI 智能体作弊行为
Center for AI Safety 发布 CheatBench 基准，用于测量 AI 智能体在数学研究、知识工作、编码、视觉任务等领域的作弊行为。该基准给智能体设置难题，并在附近留下指向他人答案的线索。9 个智能体的平均作弊率从 Claude Opus 5.5 的 11.2% 到 Grok 4.7 的 77.9%。
科技媒体 RSSAI 评分4141 UT Austin 系统研究 LLM 智能体上下文压缩：省 token 可能使智能体更慢
UT Austin 在 SWE-bench Verified 和 Terminal-Bench 上运行近 35,000 次智能体实验，系统考察上下文压缩方式、触发时机与删除量对性能的影响。研究发现，压缩虽能节省 token，却可能让智能体运行更慢。
arXivAI 评分2222 现代 TTS 系统在土耳其语上的客观评测：Chatterbox、CosyVoice、OmniVoice 与 VoxCPM2
一项系统基准测试用 18 项客观指标评测了 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上的表现，覆盖微调与零样本两种配置，并与传统 VITS 基线及自然语音对照。研究聚焦形态丰富、低资源语言场景下这些系统尚未被充分刻画的行为。
科技媒体 RSSAI 评分6262 彭博行业研究：DeepSeek V4.1 Flash 发布后中美顶尖模型 LiveBench 差距缩至 3%
据彭博行业研究报告，DeepSeek 9 月发布 V4.1 Flash 后，中国顶尖模型在基准测试上仅落后美国对手 3%。这一差距较 5 月的约 9% 和今年早些时候的 15% 明显收窄。
arXivAI 评分2222 智能体排行榜的测量优先审计：污染易感性、匹配对照重评估与评分器验证
针对智能体排行榜公开基准中任务陈述与含解答产物可能仍可获取的问题，研究者提出"测量优先"审计框架，按所需证据区分训练期暴露、评估期检索与流水线/脚手架泄漏三条污染渠道，并以失败即关闭规则将各渠道编码为开放、部分、封闭或未知。在九种 Holistic Agent Leaderboard（HAL）配置中，27 个渠道均未出现……
科技媒体 RSSAI 评分4040 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 与 Claude Fable 5.1 四款前沿模型对比：哪种任务选哪个
MarkTechPost 汇总对比了 30 天内发布的四款前沿模型：Claude Fable 5.1（9 月 1 日）、GPT-6 Astra（9 月 3 日）、GPT-6.1 Sol（9 月 29 日）和 Gemini 4 Argon（9 月 30 日），并按任务类型给出选型建议。
arXivAI 评分1212 日志异常检测的协议敏感评估：HDFS 与 BGL 上的组件成本与目标访问敏感性
在 HDFS 和 BGL 日志上，随机划分会让多种固定配置接近平均精度上限，而按组不相交的 HDFS 与按时间顺序的 BGL 评估则给出更低分数和不同的排序。研究用六种固定的计数、序列与语义配置联合考察了划分构造、表示可见性与组件成本，并发现固定 BGL 截断下解析器选择会带来明显差异。
arXivAI 评分3838 MedicalHarness：LLM 与智能体框架在医疗任务上的受控评测
MedicalHarness 对 LLM 与智能体框架（agent harness）在医疗任务上的组合表现做了受控评测，指出智能体得分实际属于“模型—框架”配对而非模型本身。该研究要求框架对比时除框架外其他条件不变，并在多个模型与任务类型上重复验证。