Agent Plasticity：用经验学习效率衡量智能体自我提升
论文提出 agent plasticity 指标，衡量智能体把经验转化为持久提升的效率，即用 held-out 分数增益除以学习成本。
#评测/基准
Hacker NewsAI 评分5454 Hacker NewsAI 评分2222 决策模型能否弃权？四款本地模型与 Jev 1.13 的弃权能力测试
一项测试用 18 条合成消息考察 Nimble 9B、Clef Flash 9B、Tev1 4B、Laya 421M 四款本地模型与托管 Jev 1.13 能否在无法明确判断时选择弃权。
RadarAIAI 评分2222 Artificial Analysis 将发布 Intelligence Index v5
Artificial Analysis 宣布 Intelligence Index v5 将于十月下旬推出，称其是对 AI 前沿基准测试的一次重大飞跃。v5 的变化包括新增 Terminal-Bench Science，以及一个使用私有数据集的新编程基准。更多消息待公布。
RadarAIAI 评分5858 Arena 完成 2 亿美元 B 轮融资，估值升至 31 亿美元
AI 模型评测平台 Arena 完成 2 亿美元 B 轮融资，估值 31 亿美元，由 Lightspeed Venture Partners 和 Khosla Ventures 领投，Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
RadarAIAI 评分1212 TypeSafe AI 的 jev 在邮件分类校准上优于 40 个决策模型
TypeSafe AI 的 jev 在邮件分类任务上校准表现优于测试的另外 40 个决策模型。该结论来自 Shrivu Shankar 的测试，TypeSafe AI 官方转发并强调"保持校准"。
RadarAIAI 评分3838 Harvey LAB-AA v1.1 为法律智能体基准引入幻觉门控评分
Artificial Analysis 与 Harvey 联合发布 Harvey LAB-AA v1.1，为法律智能体基准 LAB 新增幻觉检查，要求正确回答不含重大错误陈述，并推出新指标 Hallucination-Gated All-Pass Rate。
RadarAIAI 评分1212 Artificial Analysis 祝贺 State of AI 报告发布
Artificial Analysis 在 X 上祝贺第 9 份年度 State of AI 报告发布，并表示很高兴看到其基准测试贯穿报告全文。该报告由 Nathan Benaich 发布，内容涵盖 AI 构建更好的 AI、世界模型、物理 AI、地缘政治、网络防御及 12 个月预测。
TechCrunch · AIAI 评分6262 AI 排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资，估值 31 亿美元，由 Lightspeed Venture Partners 和 Khosla Ventures 领投，Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
Tessl BlogAI 评分3838 AI Agent 评估需要可执行规格（Executable Specs）
Tessl 在 AI Native DevCon London 的分享指出，AI 编码智能体让 PR 数量增加，但审查环节反而成为新瓶颈，根源在于缺乏验证层。其方案是把产品意图写成可执行规格，由规划智能体拆解需求、多个验证智能体并行逐条检查预览环境，并同时结合规格与代码（而非仅看 diff）来判定实现是否符合意图。
RadarAIAI 评分3838 Perplexity Decider 登顶 DecisionBench
Perplexity Decider 在 DecisionBench 上排名第一，同时成本最低。据 Rohan Goel 分享，Decider V1.1 在 949 个共享文本用例上达到 93.9% 准确率，中位延迟 534 ms，每 1k 次决策成本 $0.016。
RadarAIAI 评分6565 Artificial Analysis 评测 Google Nano Banana 2.1，两榜居第 4 且价格为前代一半
Artificial Analysis 评测 Google 于 10 月 6 日发布的图像模型 Nano Banana 2.1，在 AA-Image-T2I v2.0 和 AA-Image-Editing v2.0 两个榜单均排名第 4。
RadarAIAI 评分6060 Odyssey 发布基础世界模型 Odyssey-3
Odyssey 发布基础世界模型 Odyssey-3，称其在 Physics-IQ 上创下新的 SOTA。该模型可驱动机器人、训练 AI 并生成交互式体验，今天即可免费体验。
RadarAIAI 评分6363 Odyssey 发布世界基础模型 Odyssey-3 并开放研究预览
Odyssey 发布其最强世界基础模型 Odyssey-3，并向公众开放免费研究预览。模型可从提示词构建环境，并实时预测人物移动或事件触发带来的变化，用户能以第一或第三人称走过场景，相机也可独立移动。
Hacker NewsAI 评分6262 Edge Delta 开源 AI SRE Arena：面向 Kubernetes 上 AI SRE 智能体的开放基准
Edge Delta 在 GitHub 开源 Project Arena，一个面向 Kubernetes 上 AI SRE 智能体的厂商中立基准，可部署一次性集群、注入故障、保存任意产品的调查记录并用可配置的 judge 打分。
Hacker NewsAI 评分4747 ATLAS：评估智能体在搜索密集型任务上的表现
研究团队预览了新基准 ATLAS，包含 547 个深度与广度研究任务，用于评估智能体在依赖网络搜索的真实工作流中的准确性与完整性。测试显示，成本低于 $1/任务的搜索智能体行 F1 均未超过 0.5，即便最贵的智能体也漏掉约 1/3 的黄金结果；在固定模型框架下，Exa 定义了成本-性能帕累托前沿，不同搜索后端得分相差 16%。
Hacker NewsAI 评分6666 Samaya 研究：前沿 AI 模型在盈利预测上超过分析师共识
Samaya 发布研究称，在自建的金融预测 harness 下，最新前沿模型预测盈利意外的表现超过分析师共识，其中 GPT-6 Astra 在预测误差、命中率等多数指标上表现最好。
Hacker NewsAI 评分3636 Show HN：Jevman 让 AI 决策模型玩 Pac-Man 并排名
Jevman 让 6 个 AI 决策模型各与经典街机幽灵对战 100 局，并按平均分排名，分数在彼此误差范围内即视为并列。该项目开源，任何部署在 HTTP 端点后的模型都能参赛：游戏在每个路口以 JSON 发送迷宫状态并索取方向，每题限时 2 秒，超时由备用规则接管。提交的对局由 CI 逐局回放核验分数，模型以自报成绩进入排行榜。
RadarAIAI 评分5858 Arena 发布 Arena Alignment Index 智能体安全与对齐基准
Arena 推出 Arena Alignment Index 基准，基于 27 个模型的 90K+ 真实智能体会话，测量越权操作（UA）、虚假归因（FA）和虚假完成（DC）三类信号。
RadarAIAI 评分6262 Arena 完成 2 亿美元 B 轮融资并发布 Alignment Index 智能体安全基准
Arena 宣布以 31 亿美元估值完成 2 亿美元 B 轮融资，并发布衡量 AI 智能体安全与对齐的 Alignment Index。该基准基于 90K+ 真实智能体会话、覆盖 27 个模型，从 Unauthorized Action、False Attribution、Deceptive Completion 三个信号评估，首批公布 20 多个前沿模型结果。
Hacker NewsAI 评分3838 用 Jev 和 OpenAI Decisions API 分类邮件：40 个模型在邮件安全任务上的对比测试
Abnormal 用 1,985 封非公开合成邮件测试了 TypeSafe 的 Jev、OpenAI Decisions API、34 个自托管开源决策模型和 4 种前沿 LLM 配置共 40 个模型。
GitHubAI 评分2222 ai-benchgauge：在菜单栏并排对比 AI 榜单与账户配额
开源工具 ai-benchgauge 把 Artificial Analysis 与 Arena 的 Top 20 榜单并排放进 macOS 菜单栏或 Windows 托盘，并可在榜单上方显示 CC Switch 支持的账户配额与重置时间。
RadarAIAI 评分2222 OpenRouter 测 GPT-6 Luna 决策速度：全球请求延迟 180ms
OpenRouter 测试显示 GPT-6 Luna 是当下最快的 Decisions 模型，全球请求延迟为 180ms。Jev 和 Perplexity Decider 紧随其后。
RadarAIAI 评分6262 Perplexity 开源临床决策模型 pplx-decider v1.1
Perplexity CEO Aravind Srinivas 宣布开源权重决策模型 pplx-decider v1.1，称其在临床决策上质量最佳、成本最低。引用信息显示，该模型在 669 道临床决策题中答对 643 道，Jev 答对 628 道，单次决策成本低 42%，速度大致相当，权重可下载并在医院内部运行。
arXiv cs.AIAI 评分2929 跨模型审查何时有效？LLM 验证中的第二模型评审实验
一项受控实验用 30 个工件、150 个植入错误和 900 次审查会话，测试不同模型交叉审查是否优于同模型审查。
arXiv cs.AIAI 评分4242 KlinikeBench：评估语言模型在临床问诊中的综合表现
研究团队推出 KlinikeBench，一个包含 333 个临床医生编写任务的基准，每个任务提供虚拟患者、临床工具和任务专属成功标准，超过 35 位临床医生参与编写与评估。在 31 个模型、7 个模型家族中，表现最好的模型（如 GPT-6-astra 和 Claude Opus 5）任务成功率不足 30%，尽管其诊断准确率达到 90.7%。该基准揭示了诊断准确率与交互式临床评估能力之间的显著差距。
arXiv cs.AIAI 评分3030 AI 天气模型会漏报极端天气吗？研究对比十二个物理与 AI 模型未发现 AI 特有缺陷
一项研究用十个月欧洲地面观测数据，将十二个物理与 AI 预报模型对照 ECMWF IFS 评估 10 m 风速、2 m 气温、太阳辐射和降水，未发现 AI 模型在极端值尾部存在统一的特有缺陷。部分 AI 模型在极端条件下仍比 IFS 更准，另一些则明显退化，物理模型间也有类似差异。所有模型都表现出高值低估、低值高估的条件误差模式，尾部表现取决于模型、变量和评估设置，而非是否由 AI 生成。
arXiv cs.AIAI 评分2424 LLM 智能体在信息物理系统中的规划策略战略评估
研究团队提出一个受控基准，用四种编码执行器（预定义、顺序、分层、搜索）在辐射状馈线上为 40 个产消者控制需求响应，LLM 仅声明或建议类型化策略并协调通信。基于 Llama-3.3-70B 的实验显示，强制搜索在五个基线种子中均为最优解；目标替换注入使模式一致率保持 1.0，但累计电压缺口增加 2.68 倍。
arXiv cs.AIAI 评分2222 3D-DefectBench：面向细粒度 3D 生成缺陷的视觉语言模型评估流水线受控析因研究
研究者提出 3D-DefectBench，一个用于严格分析评估流水线的大规模基准，覆盖几何、纹理与提示词遵循三类共九种细粒度二元缺陷，并可选人类严重度标注。该基准通过平衡析因设计在 84 种推理设计中变化 VLM、相机协议、视觉输入与提示词模式，发现模型选择是与人类标注一致性的主导变异来源，而紧凑的六视图 RGB 协议与更密集视图及加入深度或法线通道的配置表现相当。
arXiv cs.AIAI 评分4141 SPATIALUNCERTAIN：VLM 能否识别不可靠空间观测（以及为何不能）？
研究团队提出 SPATIALUNCERTAIN 评测框架，考察视觉语言模型在遮挡导致证据缺失、透视导致证据误导两种失效模式下能否判断当前视角是否可靠。在八个开源与闭源 VLM 上测试发现，模型行为并不跟随视觉证据的可靠性：证据消失时不会更谨慎，透视冲突下判断更多跟随投影外观而非未变的物理 3D 关系。
arXiv cs.AIAI 评分2424 PBT-Bench：面向 AI 智能体基于属性的测试基准
PBT-Bench 是覆盖 40 个真实 Python 库、100 道基于属性测试问题的基准，每题注入语义 bug 共 365 个（平均 3.65 个），要求智能体从文档推导不变量并写出 Hypothesis @given 策略。
arXiv cs.AIAI 评分2828 打破镜像：基于激活引导缓解 LLM 评估器中的自我偏好偏差
研究提出用轻量级引导向量在推理时缓解 LLM 评估器的自我偏好偏差，无需重新训练，可将不合理的自我偏好降低最多 97%，显著优于提示词和直接偏好优化基线。团队构建了区分合理与不合理自我偏好的数据集，并用对比激活添加（CAA）和基于优化的两种方法构造引导向量。但引导向量在合理自我偏好和无偏一致场景下表现不稳定，表明该偏差可能跨越多个或非线性方向。
arXiv cs.AIAI 评分4848 TasteVal：衡量 AI 系统实验研究品味、对标人类专家的基准
研究者提出 TasteVal 基准，以计算效率衡量 AI 的实验研究品味，即模型在固定研究问题上迭代设计实验并得出结论的能力。该基准含 8 个开放式任务，由 Researcher 模型设计实验、固定 Coder agent 执行，预算上限为 40 H100 小时或 120 小时。
arXiv cs.AIAI 评分2222 类型化决策模型中候选覆盖与拒绝策略迁移的基准测试
研究对比 Laya、Jev 与 Qwen2.5-7B-Instruct 在候选集和任务变化下的拒绝策略迁移，发现源域校准常无法保持目标工作点：在 DBpedia 上校准的 Jev 策略会拒绝 69.3% 的 Emotion 测试输入，而 Emotion 策略则完全失去检测能力。
arXiv cs.AIAI 评分3939 LUMOS：追踪 LLM 参数化知识从训练数据到行为输出的因果链
研究者提出诊断框架 LUMOS，基于训练语料完全透明的 OLMo 2，沿"训练数据曝光→行为输出"的因果链追踪 LLM 的参数化知识。结果显示模型内部对罕见事实的编码可分性达 84%，但行为表达仅 54%，该检索差距随规模扩大而收窄；模型自省时对已训练内容准确率 83%，对未见内容降至随机基线 49%，且思维链提示只会抬高置信度而非改善校准。
arXiv cs.AIAI 评分2929 JudgeProfile：理解并引导 LLM 评判者的主观性
研究团队提出 JudgeProfile 框架，将 LLM 评判拆解为感知（跨清晰度、正确性、细节等属性比较两个回答）与优先级（各属性对最终选择的影响权重）两部分，并构建了 SubjectiveSet 数据集，包含来自 17 个公开数据源的 50,013 对回答，由 21 个 LLM 评判者在 87 个属性上评估。
arXiv cs.AIAI 评分3737 SWE-Game：编码智能体能否构建我们想要的游戏？
SWE-Game 是一个包含 247 个任务的基准，基于 41 款可执行的 Godot 参考游戏，覆盖 2D 和 3D 的 13 个玩法类别，涵盖从需求简报生成游戏、按设计文档实现、骨架补全、83 个注入故障修复到 Godot 转 Unity 移植五类任务。
arXiv cs.AIAI 评分4747 JEV-as-a-Judge：置信时接受，不确定时升级
JEV-as-a-Judge 提出用只输出标签概率的决策型评审 JEV 做评估，由置信度决定直接采纳还是升级给推理型评审。在十六个生成式与奖励模型评审对比中，凡结论可直接从文本读出的场景，JEV 与 GPT-6 差距在 3 分以内，费用仅为其 0.36%，中位延迟 0.15 秒；在数学、代码、逻辑等需推导的场景则落后。
arXiv cs.AIAI 评分2929 WebRider：面向实时网页辅助的人格化意图控制器
WebRider 将网页任务委派形式化为“意图契约”，记录目标、约束、证据义务、答案形式与任务本地人格控制，并采用顶层控制器、中层受守护可执行动作、工具层（浏览器、搜索、地图）的分层架构。
arXiv cs.AIAI 评分3030 大语言模型个性化能力基准测试：SDR-Arena 与 SDR-Bench
研究者提出 SDR-Arena 框架与 SDR-Bench 语料库，用于评测"双方"生成式个性化——即内容需打动独立目标的接收方，覆盖 22 个行业、3500 家企业的 5 万条客户成功案例。
arXiv cs.AIAI 评分3939 OSGuard：面向计算机使用智能体的安全基准
研究团队推出 OSGuard，一个用于评估计算机使用智能体安全性的双粒度基准套件，包含 324 条人工标注的动作级样本和 45 个基于 40 个 OSWorld 任务改造的风险增强执行任务。