清华持股公司星动纪元 VPP2 世界动作模型登顶 RoboDojo 榜单
清华持股公司星动纪元自研的世界动作模型 VPP2 在 RoboDojo 仿真榜单排名第一，超越 GPT-6-Astra 及英伟达等头部模型。该模型的核心逻辑是视频预测质量决定动作上限，团队将视频预测与动作学习解耦，并设计了三阶段训练策略。材料称其不依赖外挂和额外数据。
#评测/基准
RadarAIAI 评分6060 GitHubAI 评分2424 motao123/ai-model-rankings：聚合 LMArena、Artificial Analysis 等榜单的纯静态 AI 模型排名站
motao123/ai-model-rankings 是一个纯静态 AI 模型榜单聚合站，通过 GitHub Actions 每天 UTC 0 点抓取 LMArena、Artificial Analysis、SuperCLUE、LiveCodeBench 和 HF Open LLM Leaderboard v2 数据，写回仓库后由 GitHub Pages 渲染，零后端零成本。
量子位AI 评分6262 星动纪元VPP2登顶RoboDojo榜单，世界动作模型综合成功率32.26%
星动纪元自研的世界动作模型VPP2登顶RoboDojo仿真榜单，综合平均成功率32.26%、平均得分39.26分，两项指标均列第一，领先GPT-6-Astra的22.48%和28.97分。
RadarAIAI 评分5353 研究称 Gemini 2.5 Pro 与 Flash 医疗建议质量比肩医生
Ethan Mollick 引用一项评测称，在急诊场景中，已过时的 Gemini 2.5 Pro 和 Gemini 2.5 Flash 在无法访问患者病历的情况下给出的建议，被其他医生评为与医生质量相当，且未发现安全问题。他补充说，此后模型已显著提升。
arXiv cs.CYAI 评分2727 哪些个人信息能提升 LLM 的下一位置预测？
一项基于深圳 5000 名居民 sociodemographic 记录与移动轨迹的研究发现，在 GPT-5、GPT-5.5 和 Claude Opus 4.6 的 1000 组配对预测中，行为历史将 top-1 准确率从 5.6% 提升至 18.5%（历史从零增至六天），而年龄、性别、职业、收入等 sociodemographic 属性未带来可检测的整体增益。
RadarAIAI 评分5151 AI 模型评测平台 Arena 完成 2 亿美元 B 轮融资，估值升至 31 亿美元
AI 模型评测平台 Arena 于 10 月 8 日宣布完成 2 亿美元 B 轮融资，估值达 31 亿美元，由光速创投和 Khosla Ventures 共同领投。
RadarAIAI 评分5858 Mistral Large 4 进入 Agent Arena 前十五实验室，总排名第 43
Arena 宣布 Mistral Large 4 进入 Agent Arena 前十五实验室，基于超 5000 个真实智能体会话，该预览版净改进分为 -6.6%，总排名第 43，比前代 Mistral Medium 3.5（-12.60%）高出 11 位。
arXiv cs.CLAI 评分2424 SOL：用双切片 Wasserstein 距离度量文本分布之间的差距
研究者提出 SOL，一种基于双切片 Wasserstein 距离的文本分布度量方法，将每条序列表示为固定 Transformer 下隐状态的经验测度，再比较这些测度的分布，并证明当 Transformer 为单射时 SOL 是度量。实验显示 SOL 能检测分布性失败、还原预期模型趋势并提供稳定的基于样本的估计，研究还用它重新评估了多个在 OpenWebText 上训练的模型。
arXiv cs.CLAI 评分2424 FA-Bench：面向强制对齐与 ASR 的干净及噪声语音音素级与词级时间戳准确率基准
FA-Bench 是一个统一评测强制对齐与 ASR 时间戳准确率的开放框架，固定了文本归一化、数据划分、音素映射与评分脚本，在干净及四种退化语音上覆盖 21 个开源模型和 9 个商业 API。它采用基于容差的 F1 作为主指标，消除了标准 MAE 在对话语音中造成的 9% 至 14% 分数虚高，并发现 Whisper 时间戳平均偏早约 150 ms，多个商业 ASR API 偏晚超过 50 ms。
arXiv cs.CLAI 评分2929 近乎持平的 LLM 排名对 Family-DIF 引导的基准重组是否稳健？
研究用五个基准的题目级回答和一种无需家族标签的谱近似 MIRT 方法检验：在 owner-disjoint 折中，用一半数据筛出跨模型家族低残差 DIF 的题目，再以冻结权重为另一半模型打分。
arXiv cs.CLAI 评分2929 CiteVQA：为可信文档智能打造的证据归因基准
多模态大模型文档理解评测 CiteVQA 发布，要求模型在给出答案的同时返回元素级 bounding-box 引用，并以 Strict Attributed Accuracy（SAA）联合评估二者。
arXiv cs.CLAI 评分2424 同行评审真的在衰退吗？跨会议与跨时间的评审质量分析
研究提出一套基于证据的评审质量比较框架，并应用于 ICLR、NeurIPS 和 *ACL，通过多维度量化标准和 LLM 与轻量级测量方法分析评审质量。跨时间分析显示，各会议和年份的评审质量中位数并未出现一致下降，与"评审质量衰退"的流行说法相矛盾。
arXiv cs.CLAI 评分3131 FastBench：流式 VLM 能否感知高动态真实世界视频流？
研究者推出 FastBench，用于评测流式视频大语言模型在高动态真实视频流中的感知能力，包含 8 个领域、6 类能力共 306 组 QA 对，并附人工标注的证据区间。
arXiv cs.CLAI 评分4040 WOVEN：将视觉世界建模编织进多模态 LLM
研究者提出 WOVEN，一个面向视觉转换推理的训练数据源与基准，按场景、动作和推理类型组织监督信号，包含 36,076 个样本、20 种场景类型、5 种动作类型和 8 种推理类型。
arXiv cs.CLAI 评分3838 SpaceCast-Bench：评估视觉语言模型的预测性空间推理
研究者推出 SpaceCast-Bench，首个直接诊断预测性空间推理的基准，基于 observe-transform-infer 框架，从 182 个真实场景构建 3,862 道题，覆盖静态感知、局部预测、全局预测三个层级共 16 种任务。
arXiv cs.CLAI 评分4141 Chronos 让代码智能体推理软件演化历史
Chronos 是一个测试时框架，将已合并的 pull request 蒸馏为结构化经验卡片，并通过代码层、开发者意图与组织关系的类型化图连接，让基于 LLM 的代码智能体利用仓库历史。
arXiv cs.CLAI 评分2222 MiniVer-V：为短视频核查识别最小充分证据
研究者提出 MiniVer-V 短视频事实核查基准，包含 195 条短视频、三分类判定标注（supported、refuted、insufficient）和 5,510 个多模态证据单元，覆盖视觉关键帧、语音转写和网络检索外部来源。
arXiv cs.CLAI 评分3434 HarnessSQL：面向真实数据库环境的 SQL 智能体 harness 原生训练框架
HarnessSQL 是一个 harness 原生后训练框架，在监督微调与强化学习中保留完整多轮交互结构，让模型直接在目标 SQL harness 内训练。
arXiv cs.CLAI 评分2727 专用决策模型 Jev 与通用 LLM 对比：知识、推理与多语言任务基准测试
专用"System One"决策模型 Jev 在 13 个多项选择基准上与 19 个 LLM 对比，在知识与常识任务上媲美前沿 LLM，并在 MMLU-Redux 和 ARC-Challenge 上取得最佳成绩。
arXiv cs.CLAI 评分3232 ReTurn：多模态多轮对话中的选择性历史使用基准
研究者提出 ReTurn 基准，包含 7,000 个覆盖视觉与音频证据的基础任务，用于评估多模态模型的选择性历史使用能力。在 13 个全模态、视觉语言和音频语言模型上，开放式准确率中位数从直接输入的 93.7% 降至对话中的 72.3%。行为探测显示，高问题召回率可能与较弱任务应用并存，竞争性媒体会使回答偏离历史目标，监督式适配仅带来部分提升。
arXiv cs.CLAI 评分1515 Jev 能否理解立场？Jev 与通用 LLM 的立场检测对比评测
研究在 VAST（英文文本）和 ZS-CSD（中文对话）两个立场检测数据集上评测了专用决策模型 Jev，并与四个通用 LLM 及两个微调模型对比。Jev 在 VAST 上表现与 GPT-5.6 相当并优于其他通用 LLM，但在 ZS-CSD 上落后于更强的 LLM，尤其在区分"支持"与"反对"时。分析显示该局限可能与理解回复关系和立场方向有关，而非仅由对话长度导致。
arXiv cs.CLAI 评分2727 TRACE：诊断智能体评测中的验证器脆弱性
针对 LLM 智能体评测中验证器分数被直接当作能力变化的问题，研究者提出 TRACE 协议，通过定向修改评测的某一部分、对比配对运行并重新打分未变轨迹，来区分分数变化源于智能体还是评测本身。
arXiv cs.CLAI 评分2424 UXBench Pro：多轮对话交互中的个性化用户体验基准测试
研究者推出 UXBench Pro，包含来自 12 个任务场景、82 个领域的 1000 个真实用户交互测试实例，每个实例配有刻画七种可解释行为特征的 FACTORS 用户画像。该基准提出双视角评估范式，结合个性化 User Reward Model（URM）与用户模拟器 Sim4Eval，并引入 URMBench 和 USimBench 两个元基准检验评估器还原真实人类偏好与行为的可靠性。
arXiv cs.CLAI 评分3737 用 Prolog 探测语言模型的长程演绎推理能力
研究团队构建了 ProloNg 合成测试平台，用 Prolog 演绎逻辑考察 LLM 的长程推理能力，最难题目的推理深度达 22、上下文长度 62k。他们测试了 5 个前沿 LLM 家族的 8 个推理模型，发现性能随推理深度增加大幅下降，多数模型在深度超过 10 后接近随机水平。
arXiv cs.CLAI 评分2424 决策模型作为评判者时的对抗性线索：请求呈现方式的作用
在 200 个未使用过的 DROP 和 GSM8K 源聚类上，给候选答案加一个冒号即可使 Jev 的误接受率从 1.0% 升至 26.0%（三个输出标签），在已发布的四标签评分指令与排序 JSON 键下从 3.0% 升至 26.5%，而插入式呈现下两种候选变体均被拒绝。
arXiv cs.CLAI 评分2727 BeliefScope：诊断大语言模型中的证据驱动修正与压力诱导偏移
研究团队提出 BeliefScope，一个受控黑盒框架，用于区分大语言模型对同一命题的响应变化究竟来自相关证据还是来自不添加事实的用户定向压力。该框架在 36 个 Qwen/Llama 模型家族上开展研究，并对 12 个家族（含 Gemma3-12B）做定向检查，结果显示模型层面的广泛差异在匹配控制、解码或响应接口下可能改变，而部分模型内部的窄范围模式保持稳定。
arXiv cs.CLAI 评分2222 提示词 vs 规则：语音用户模拟器中语音自然度行为的审计与控制
研究审计了基于 LLM 提示的 tau-Voice 与规则注入算法在语音用户模拟器中实现不流畅、打断和反馈三种自然度行为的效果。结果显示，提示词方式不可靠，生成的语音与指令不一致，位置和分布不如指令所暗示的自然；而基于规则、无需模型的算法能产生更可控、更多样且更贴近自然语音的行为。研究认为，未经用户模拟专门训练的 LLM 不足以单独代表真实用户行为，需要语言学驱动的确定性方法或专用模型来弥补差距。
arXiv cs.CLAI 评分2222 用社会语言学方法构建与测量用户模拟中的角色保真度
一项 pilot 研究提出用社会语言学方式定义用户角色：将角色写成具体的文体特征频率，而非依赖标签或描述让模型外推，从而把作者身份验证文体计量学和基于词典的内容分析这两种无需模型的工具用作保真度诊断指标。
arXiv cs.CLAI 评分2424 AI4Fire：大语言模型在野火任务上的评测
AI4Fire 对 6 个核心模型在 5 项野火任务上做零样本评测，并对比"裸跑"与"有依据"两种设置，另扩展 29 个模型。加入只读 SQL 工具后，所有核心模型的数据库准确率从最高 16% 提升到至少 88%；但无核心模型能胜过直接重复当日人力配置这一简单规则，两个开放权重模型大多照抄历史火灾日的中位数。
arXiv cs.CLAI 评分2424 大语言模型用于机器翻译质量标注：人类与模型双双面临挑战
研究评估了 LLM 在 MQM 和 ESA 两种机器翻译质量评估方案下与人类标注者的一致性，覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。
arXiv cs.AIAI 评分2727 IndustrialVLA-Bench：面向开源机器人策略模型的可追溯多轴评估
IndustrialVLA-Bench 在统一报告框架下评估了六个已发布的 VLA 与 WAM 系统，分别考察 LIBERO 干净能力、LIBERO-Plus 非语言鲁棒性、LIBERO-Para 指令敏感性和实际执行成本。
arXiv cs.AIAI 评分4040 105 个语言模型的单词选择趋同：serendipity 占 46%
一项研究用 96 个单轮提示（如"说出一种树"）测试 105 个语言模型，每个提示每模型问 8 次并按精确匹配计分，结果模型在 46% 的情况下都选了 serendipity。
arXiv cs.AIAI 评分2626 Agent 技能检索中的同能力风险暴露：SameCapRisk-Bench 基准发布
研究提出 SameCapRisk-Bench，包含 890 个单元和 1,314 个查询案例，覆盖五种机制与十二种冲突类型，用于评估技能检索中"主题匹配但资源、流程或输出要求冲突"的同能力风险暴露。
arXiv cs.AIAI 评分4141 VISTA：面向视觉设计稿到 Web 应用编码智能体的端到端基准
VISTA 是面向编码智能体的端到端基准，将多页设计稿（Figma 渲染、结构与文本需求）转化为可运行的全栈 Web 与 Android 应用。它覆盖 18 个应用的 8,487 个人工标注交互组件（126 个 Web 页面、576 个 Android 屏幕），并提供可执行评测器给出定位、行为与联合得分。
arXiv cs.AIAI 评分2020 APEX：无假设的基于投影嵌入检验度量，用于生成分布评估
APEX 是一个基于 Sliced Wasserstein Distance 的无假设生成分布评估框架，用 CLIP 和 DINOv2 作为特征提取器，不依赖传统 FID 等参数化度量。该框架对视觉退化表现出优于现有基线的鲁棒性，并在数据集内和跨数据集上保持稳定，可在域外数据集上实现高稳定性评估。
arXiv cs.AIAI 评分2424 PostEDA-Bench：面向 PPA 收敛与 DRC 修复的分层 EDA 基准
研究者推出 PostEDA-Bench，一个覆盖 DRC-Essential、DRC-Reasoning、PPA-Mono、PPA-Multi 四类共 145 项任务的分层基准，用于评估 LLM 智能体在 EDA 签核后 DRC 修复与 PPA 收敛上的表现。
arXiv cs.AIAI 评分3636 $OneMillion-Bench：语言智能体离人类专家还有多远？
研究者推出 $OneMillion-Bench（$OMB），包含 400 个专家编写的任务，覆盖法律、金融、工业、医疗和自然科学五大领域，用于评估语言智能体在经济相关场景中的表现。
arXiv cs.AIAI 评分3232 LLM 数学推理鲁棒性研究：用数学等价变换对高等数学题做基准测试
研究者提出 GAP（Generalisation-and-Perturbation）方法，通过表面重命名与内核重写两类可解释变换，自动生成数学等价变体，并在 1938 至 2024 年全部 1,051 道 Putnam 竞赛题上构建出 6,306 题的 PutnamGAP 语料库。对 18 个商业与开源模型的评测显示，所有模型准确率均下降，内核重写下最为严重，且该差距不随模型能力增强而缩小。
arXiv cs.AIAI 评分4141 AgentTime：AI 智能体能否预估并控制自身运行时长？
研究者提出 AgentTime 基准，用 222 个来自 18 个来源的任务测试智能体能否按指定时长工作、预测运行时间并事后估算耗时。在时长遵循实验中，Claude Code 中的 Fable 5.1 与要求时长的典型偏差达 2.9 倍，而 Codex 中的 GPT-6 Astra 仅为 1.2 倍；158 次可分类的 Astra 运行中有 14 次在看似完成后显式休眠。
arXiv cs.AIAI 评分4040 Humanity's Sixth Sense：多模态模型直觉视觉推理基准测试
研究者推出 Humanity's Sixth Sense（HSS）基准，用于评测多模态大模型（MLLMs）的直觉视觉推理能力，涵盖图像与视频输入，按时间、空间、社交和抽象结构分类。人类参与者准确率达 93.1%，而最强模型 GPT-6-astra 即使开启最大推理努力也仅达 53.6%。引入动态视觉操作的智能体设置可缩小差距但未能弥合。