微软研究院发布 StudentSim：用 AI 学生模拟器替真人试课，优化 AI 导师
微软研究院发布研究系统 StudentSim，基于公开去标识化的学习者记录为每位学生训练个性化“AI 学生模拟器”，模拟其独立作答及收到讲解后的反应变化。该系统采用两阶段训练，覆盖国际象棋、第二语言英语写作和数学三类任务，并推出 StudentSimEval 评测基准。
#评测/基准
RadarAIAI 评分3838 RadarAIAI 评分3838 阿里 Qwen 开源 BlenderWorld：223 道题、2651 条标准的 3D 建模基准
阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld，一个评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准，采用 MIT 许可证，代码与数据集已发布至 GitHub、Hugging Face 和 ModelScope。
RadarAIAI 评分1818 Hao AI Lab 推出 AI 侦探推理基准测试：100 个地址、10 名嫌疑人、12 小时破案
Hao AI Lab 发布 AI 侦探推理基准测试，每个案件设 100 个地址、10 名嫌疑人和 12 小时时限，要求指认凶手、动机与藏身之处。侦探团队分两个角色：Holmes 负责推理决策，可选 GPT6-Astra、Jev 或证据计数启发式方法；The Irregulars 负责搜索，使用 Jev 智能体或搜索启发式方法。
RadarAIAI 评分3838 GPT6-Astra 与 Jev 智能体解谜表现对比
在 100 个较简单的解谜案例中，GPT6-Astra 带领 12 个 Jev 智能体解出 96 个，GPT6-Astra 单独解出 57 个，Jev 集群单独解出 38 个。这些案例中每个谎言都来自单个证人，而每个真实事实会出现两次，因此一个只统计线索的基于规则的领导者加上 Jev 集群能解出 97/100。
RadarAIAI 评分2020 GPT6-Astra 与 Jev 集群抗贿赂证人测试
Hao AI Lab 测试了 GPT6-Astra 与 Jev 集群在 100 个更难的案例中对抗被收买证人的表现。GPT6-Astra 加 Jev 集群得分 93，仅 GPT6-Astra 为 59，仅 Jev 集群为 42，基于规则的领导者加 Jev 集群仅 0–1。结论是面对有组织的谎言，需要一个会追问"是谁在说话"的推理型领导者。
Hacker NewsAI 评分5858 Mercor 研究：90% 美国工作时间对应的任务缺乏 AI 基准覆盖
Mercor 发布 Labor Index 的 Benchmark Map，将 29 个基准的提示词映射到美国劳工部 O*NET 的 923 个职业和 18797 项任务上，发现 923 个职业中只有 208 个有任务被至少 5 条基准提示词覆盖，22 个职业族中有 6 个完全没有此类职业，据此估计 90% 的美国工作时间花在现有基准几乎未覆盖的任务上。
Hacker NewsAI 评分5858 StarSkirmish v0.2 基准发布：让 LLM 写星际争霸机器人，GPT-6 Astra 居首
StarSkirmish 发布 v0.2 基准，让每个 LLM 在一小时内用 C++ 写一个 Protoss 机器人，再与人类编写的机器人对战，以平均胜率计分。
RadarAIAI 评分3434 Databricks 用领域知识注入提升 LLM 对 npm 二进制恶意包的检测
Databricks 提出在推理阶段注入领域知识，提升 LLM 对 npm 包内嵌二进制恶意载荷的检测能力。其扫描器自 2025 年 11 月起收集样本，在 11,413 个经 OSV 核验的包版本中，3.8%（432 个）捆绑二进制，这类包无法得出明确恶意结论的比例为 14.4%，是纯源码包 6.2% 的两倍多。团队用五种 .node 载荷测试九款模型，并设计能力画像作为加权条件编码恶意技术。
Databricks BlogAI 评分3434 Databricks 如何用领域知识注入提升 LLM 对 npm 二进制恶意包的检测
Databricks 针对 npm 恶意包中占比 3.8%（432 个包版本）的捆绑二进制样本，提出在推理阶段注入预计算静态证据的"能力画像"方案，而非微调模型权重。在 9 个模型上测试显示，含二进制包无法得出明确恶意结论的比例为 14.4%，是纯源码包 6.2% 的两倍以上。
arXiv cs.AIAI 评分3434 SWE-Nexus：从测试执行自动组合软件工程任务
SWE-Nexus 是一个全自动流水线，通过测试执行构建仓库级实现任务，由四个构建智能体筛选测试、适配追踪与评估协议并生成行为规范。其基准包含来自 105 个仓库、六种编程语言的 600 个任务（116 个原子任务、484 个组合任务），在三种智能体脚手架下评测 12 个模型，最佳配置单次尝试解决 37.8% 的任务。
arXiv cs.AIAI 评分2323 Frame Evidence：多图空间推理中参考系与视觉证据的基准测试
研究者推出 Frame Evidence 基准，包含 320 组匹配三元组和 960 道中文多选题，用于检验多图空间推理中参考系与视觉证据变化时答案是否仍正确。在 288 道留出题上，GPT three-shot 单项准确率达 50.00%，但最佳三帧组准确率仅 5/48（10.42%），由 GPT two-shot 取得。少样本提示与任务适配能提升单项准确率，却未持续改善联合正确性。
arXiv cs.AIAI 评分3838 DroneCATS 基准：多模态 LLM 作为通用视觉-语言-动作智能体控制无人机
研究者提出 DroneCATS 基准，让 MLLM 通过四类动作直接控制无人机，覆盖目标可见性、目标运动、场景与模拟器变化，并扩展至真实无人机、多无人机及"指挥官+子智能体"套件，评测了十款从前沿到小型开源的 MLLM。
arXiv cs.AIAI 评分2727 MemSyco-Bench：评测 Agent 记忆引发的谄媚问题
研究者提出 MemSyco-Bench，一个评测 Agent 系统中记忆诱发谄媚行为的基准，覆盖五项任务：判断 Agent 能否拒绝将记忆当作事实证据、遵守记忆的适用范围、解决记忆与客观证据的冲突、跟踪记忆更新，以及用有效记忆做个性化。现有记忆基准只关注记忆是否正确存储、检索或更新，忽略了检索到的记忆如何影响下游推理与决策。相关资源已向社区开放。
arXiv cs.AIAI 评分3030 Moment-Video：诊断视频 MLLM 对瞬时视觉事件的时间保真度
研究者推出 Moment-Video 基准，用于评估视频 MLLM 对瞬时视觉事件的时间保真度，包含 1,000 个人工核验的视频问答对，覆盖 7 个领域、25 个子类及四类任务。在 34 个专有与开源 MLLM 的评测中，表现最佳的 Seed-2.0-Pro 总体准确率仅 39.6%，多数开源模型低于 25%。诊断显示，即便采样帧覆盖全部标注事件区间，模型仍存在大量错误，且视频越长性能越差。
arXiv cs.AIAI 评分2424 ChaosBench-Logic v2：大规模评估 LLM 对动力系统的逻辑推理
ChaosBench-Logic v2 是一个包含 40,886 道题、覆盖 165 个动力系统、27 个 FOL 谓词与 78 条公理边的基准，并配套 CARE 评估协议。
arXiv cs.AIAI 评分2424 AXIOM：通过约束扰动与校准对代码 LLM-as-a-Judge 进行基准测试
研究者提出 AXIOM，一个基于扰动的框架，用于构建代码评估基准。它通过质量约束语义扰动控制程序质量分布，再经混合质量校准筛选语义多样的程序并简化人工标注，据此构建了包含 1,962 道多语言代码评估问题的 AXIOMBENCH。
arXiv cs.AIAI 评分4444 编码智能体的报告遗漏了什么：CTXGAP 测量执行上下文与报告之间的任务状态差距
CTXGAP 测量研究发现，编码智能体在按需回答任务状态问题时准确率达 93.6%，但仅读报告的监督者只能恢复 52.0%，与全上下文读者的 92.7% 相差 40.7 个百分点。在 30 个已验证修复的最终检查点上差距仍有 34.8 个百分点，完整终端回滚可将恢复率提升至 73.6%，但仍不及全上下文。该研究将基于报告的任务状态可恢复性确立为一项补充评估维度。
arXiv cs.AIAI 评分3030 CompMat-Bench：面向计算材料科学的 AI 智能体基准测试
研究者推出 CompMat-Bench，一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准，通过预先复现研究步骤来评估智能体准备输入与分析输出的能力，从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%，更长工作流与减少指导会以不同方式限制不同智能体表现，失败多归因于科学错误而非软件使用错误。
arXiv cs.AIAI 评分3131 从模拟公民到模拟审议：LLM 智能体在代表性与交互上的挑战
研究用全国调查、受控审议实验和真实审议民调评估六款 LLM 能否模拟公众审议，发现智能体常产生过度集中的意见，无法可靠复现人口统计差异。在模拟审议中智能体虽会交换论点并频繁改变立场，但在看不到彼此发言时也会出现类似变化，而仅重述初始立场则大幅减少立场变动。
arXiv cs.AIAI 评分3030 LLM 何时会援引错误法律？诊断 LLM 在时间性法律推理中的失败
研究将"确定案件适用哪一版法律"形式化为 Temporal Applicable-Law Determination（TALD），并构建了覆盖《民法典》施行前后、含 51,956 份中国民事判决的 TALD-Bench。
arXiv cs.AIAI 评分3434 Harness-Bench：跨模型与真实工作流评估 Agent Harness
研究者推出 Harness-Bench，一个在真实 Agent 工作流中评估配置级 harness 效应的诊断基准，包含 106 个沙箱离线任务，在共享任务环境、预算和评测协议下对比多种模型后端与代表性 harness 配置。
arXiv cs.AIAI 评分3131 WorkflowPerturb：面向多智能体工作流指标评估的校准压力测试基准
WorkflowPerturb 是一个用于评估多智能体工作流指标的受控基准，包含 4,973 条黄金工作流和 44,757 个扰动变体，覆盖 Missing Steps、Compressed Steps、Description Changes 三类扰动，严重程度分为 10%、30%、50%。
arXiv cs.AIAI 评分2222 ChaosBench-Logic：面向混沌动力系统逻辑与符号推理的基准
研究者提出 ChaosBench-Logic，用统一一阶逻辑（FOL）本体覆盖 30 个动力系统、11 个语义谓词，生成 621 道题，涵盖多跳蕴含、跨系统类比、反事实推理、偏见探测和多轮对话七类任务。
arXiv cs.CLAI 评分2222 面向跨模态与跨解剖部位的放射学报告评估：更对齐的 LLM 评判模型研究
研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现，提出新指标 VERT，其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健；对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升，后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关，但易在遗漏类错误上计数失准。
arXiv cs.CLAI 评分2828 MLLMs 能读懂房间吗？评估多方社交互动中欺骗行为的多模态基准
研究者提出 MIDA——一个包含同步视频与文本、每条陈述均有可验证真值标签的多模态数据集，用于评估 MLLMs 在多方社交互动中的欺骗识别能力。对 12 个开源与闭源 MLLMs 的基准测试显示，即便 GPT-4o 也难以可靠区分真实与欺骗性陈述。
arXiv cs.AIAI 评分2929 AVC-Reward：以事件为中心的音视频一致性评估框架
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，研究者提出以事件为中心的一致性评估框架，在事件层面解耦音视频并跨模态交叉验证，聚合成粗到细的三级一致性指标。
arXiv cs.CLAI 评分3434 LLM 能否表示复数谓述中的真值间隙？HomogeneityNLI 基准揭示 Bivalence Bias
研究者构建 HomogeneityNLI 诊断数据集（1,000 个最小对，覆盖 10 种逻辑条件），评测 7 个开放权重模型，发现普遍存在 Bivalence Bias：零样本下无模型能在超过 15% 的场景中同时识别两种极性的真值间隙，否定式复数定指在 84% 的情况下被判定为 False。
arXiv cs.AIAI 评分2626 CodeHealth 能否预测智能体代码审查的 token 成本：一项针对 465 个智能体编写 PR 的预注册研究
一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本，结果显示三个 LLM 的 CodeHealth 系数均为负，每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关，且调整被评分文件大小后关联消失，研究者将其解释为文件大小的中介效应。
arXiv cs.CLAI 评分2222 Jev 用于科学决策：评估语义选择及其后果
研究将 Jev 作为语义决策组件进行评测，在 10 个科学案例的 20 个 Choices 上比较 12 种模型配置，每个重复 5 次，分别测量语义选择、下游输出与最终结论标签。Jev 在语义完全正确率上与另外 5 种配置持平，并在成功响应中取得最低中位延迟。三个对比模型在一个 culture-history 问题上出现 7 次错误选择，改变了下游计数却保留了正确的最终标签。
arXiv cs.CLAI 评分2727 医疗领域大语言模型评估方法入门指南
一篇综述系统梳理了医疗 LLM 评估的四大关键领域：研究设计原则、统计方法、能力评估与临床应用评估。能力评估涵盖多项选择、智能体和多轮 benchmark，以及 token 用量与延迟等运行指标；临床应用评估则涉及自由文本输出准确性验证，如人工审核和 LLM-as-a-judge，以及临床试验方法。文章强调评估方法需与研究问题对齐。
arXiv cs.CLAI 评分3939 Φ-Bench：大语言模型能否工程化支撑自身运行的基础设施？
研究者发布 Φ-Bench，一个基于真实 LLM 训练与推理代码库构建的基准，含 85 项任务，覆盖九类 LLM 基础设施，任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中，表现最强的 Claude Opus 5 仅得 36.53%，且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
arXiv cs.CLAI 评分3434 RefactorPlatform：用于仓库级重构智能体受控评估的开源测试框架
RefactorPlatform 是一个开源评估框架，通过固定环境、显式变化模型骨干（OpenRouter 与 GitHub Copilot CLI）、执行模式（基线、检索增强、多智能体）和提示词具体度，对仓库级重构智能体进行受控评估。
arXiv cs.CLAI 评分2121 M³R-Bench：面向证据溯源的多模态隐喻理解统一基准
研究者推出 M³R-Bench，一个包含 1,000 个人工标注图文实例的基准，联合标注隐喻发生、Target-Source 映射与情感，并提供分阶段解释。
arXiv cs.CLAI 评分2222 超越相关性检索：面向评分标准的文档集选择与排序
针对现有检索评估只对单文档独立打分、忽略文档间冗余与互补的问题，研究者提出评估-诊断-优化框架，并构建 SetwiseEvalKit——覆盖短文本与长文本场景的三级九维文档集评估基准，含约 28K 条高质量评分标准。
arXiv cs.CLAI 评分3131 LLM-as-a-Judge 中温度设置的必要性研究
一项超百万次大规模评测研究发现，LLM-as-a-Judge 中低温度能带来一致且错误少的输出，尤其在小模型上，但一致性不等于判断可靠，低温度会收窄推理探索范围。研究通过四种推理人格刻画评判行为，发现高温重复采样结合多数投票，或高温推理加低温决策，可在不损害清晰样本的前提下提升模糊样本的一致性，代价是额外推理开销。
arXiv cs.CLAI 评分3131 BASIS：评估交互场景下超越指令的信念感知解决方案
研究者提出 BASIS 基准，用于评估 LLM 智能体能否推断用户请求背后的心理状态、识别信念与现实的不匹配，并据此给出合适方案。评估显示，当前模型在生成解决方案时往往忽略用户心理状态，而当这类信息被明确引出并提供时，方案质量持续更高。研究还通过通用 CoT 提示词对比、心理状态信息干预、针对性训练和多智能体协作实验，验证了考虑心理状态的实用价值。
arXiv cs.AIAI 评分3434 更强的评审模型看得更少：LLM 评测中的部署完整性盲区
研究提出 DIB-Bench，用 7,560 个评分样本、六类篡改和从正则到 GPT-5-nano 的评审阶梯衡量 LLM 评测的部署完整性盲区：评审模型越强，越容易接受被篡改的输出，平均接受率从规则式的 88.6% 升至 GPT-5-nano 的 94.1%。
arXiv cs.CLAI 评分3030 语言是智能体安全护栏的攻击面：LinguaGuardBench 揭示多语言请求下的判定翻转
研究者构建 LinguaGuardBench，将 TS-Bench AgentDojo-Traj 的 1,220 条标注步骤中的用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语，工具调用与标签保持逐字节一致，以检验护栏判定是否随语言变化。
arXiv cs.CLAI 评分2424 财报电话会 NLP 基准何时算"会后"？论文提出 Availability Contract
针对财报电话会 NLP 基准中预测目标早于文本或音频输入完成的"事件内时序错配"，论文提出 Availability Contract，要求基准明确输入边界、输入可用性证据、结果起点及所支持结论。
arXiv cs.AIAI 评分3636 INFUSE：面向智能体系统间接提示注入的统一表面基准
研究者推出 INFUSE，一个覆盖长周期智能体工作流全生命周期的间接提示注入（IPI）端到端基准，包含 40 个真实任务和 56 种攻击场景（分属五类威胁）。