Databricks 如何用领域知识注入提升 LLM 对 npm 二进制恶意包的检测
Databricks 针对 npm 恶意包中占比 3.8%（432 个包版本）的捆绑二进制样本，提出在推理阶段注入预计算静态证据的"能力画像"方案，而非微调模型权重。在 9 个模型上测试显示，含二进制包无法得出明确恶意结论的比例为 14.4%，是纯源码包 6.2% 的两倍以上。
#评测/基准
Databricks BlogAI 评分3434
The DecoderAI 评分7171 Google Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%，但测试方法影响结果
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 测试环境取得 97.5% 得分，成本 4800 美元，成为继 OpenAI 之后第二家跨过 95% 的实验室，仅次于 GPT-6 Astra 的 99.9%。
RadarAIAI 评分3838 Arena 解读 Reflection AI Beam-1.0-501B-A23B 位列 Agent Arena 开源模型第 12 名
Reflection AI 的 Beam-1.0-501B-A23B 以 -3.67% Net Improvement 位列 Agent Arena 开源模型第 12 名，成为榜上排名最高的美国开源模型，超过 Hy3、MiMo V2.5 Pro 和 MiniMax M3。
RadarAIAI 评分6262 Reflection 首个模型 Beam 在 Artificial Analysis 智能指数得 30 分，居美国开源权重模型第二
Artificial Analysis 评测 Reflection 首个开源权重模型 Beam，在 Artificial Analysis Intelligence Index 得 30 分，居美国开源权重模型第二，仅次于 Meta 的 Muse Spark Open（39），高于前一日发布的 NVIDIA Nemotron 3.5 Super VL（26）。
RadarAIAI 评分6262 The Verge 一周实测 Nvidia RTX Spark N1X 五款笔记本
The Verge 三位编辑用一周时间测试五款搭载 Nvidia RTX Spark N1X 芯片的 Windows on Arm 笔记本，包括 Surface Laptop Ultra、Asus ProArt P16、Lenovo Yoga 9n 和 HP OmniBook Ultra，售价 $2,599.99 至 $6,999.99。
RadarAIAI 评分6262 Perplexity 上线 Gemini 4 Argon，称其在 WANDR 创下新纪录
Perplexity 宣布 Gemini 4 Argon 在 WANDR 上创下新纪录，并已面向 Perplexity 的 Pro 和 Max 订阅用户开放。原文未披露具体分数、WANDR 的评测内容及开放地区等细节。
RadarAIAI 评分7171 Google Gemini 4 Argon 在 ARC-AGI-3 达 97.5%，数学与软件工程仍落后前列
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 取得 97.5%，成本 4800 美元，成为继 OpenAI 之后第二家越过 95% 的实验室，但仍低于 GPT-6 Astra 的 99.9%。
RadarAIAI 评分6262 Liquid AI 发布决策模型 d1-ultra，以 65 分登顶 Artificial Analysis Decision Index v1.0
Liquid AI 发布决策模型 d1-ultra，在 Artificial Analysis Decision Index v1.0 上以 65 分排名第一，领先 Jev 1.14 的 57 分以及 GLiDE 和 Microsoft-Decision-1 的 54 分。
RadarAIAI 评分2222 Mistral Large 4 在 Ulam 私有基准 STEMBench 工程与天文学项目得分亮眼
Mistral Large 4 在 Ulam 私有基准 STEMBench 的工程和天文学项目中得分不错。该结果由 Mistral AI 在 X 上公布，原文未披露具体分数。
arXiv cs.AIAI 评分3434 SWE-Nexus：从测试执行自动组合软件工程任务
SWE-Nexus 是一个全自动流水线，通过测试执行构建仓库级实现任务，由四个构建智能体筛选测试、适配追踪与评估协议并生成行为规范。其基准包含来自 105 个仓库、六种编程语言的 600 个任务（116 个原子任务、484 个组合任务），在三种智能体脚手架下评测 12 个模型，最佳配置单次尝试解决 37.8% 的任务。
arXiv cs.AIAI 评分2323 Frame Evidence：多图空间推理中参考系与视觉证据的基准测试
研究者推出 Frame Evidence 基准，包含 320 组匹配三元组和 960 道中文多选题，用于检验多图空间推理中参考系与视觉证据变化时答案是否仍正确。在 288 道留出题上，GPT three-shot 单项准确率达 50.00%，但最佳三帧组准确率仅 5/48（10.42%），由 GPT two-shot 取得。少样本提示与任务适配能提升单项准确率，却未持续改善联合正确性。
arXiv cs.AIAI 评分3838 DroneCATS 基准：多模态 LLM 作为通用视觉-语言-动作智能体控制无人机
研究者提出 DroneCATS 基准，让 MLLM 通过四类动作直接控制无人机，覆盖目标可见性、目标运动、场景与模拟器变化，并扩展至真实无人机、多无人机及"指挥官+子智能体"套件，评测了十款从前沿到小型开源的 MLLM。
arXiv cs.AIAI 评分2727 MemSyco-Bench：评测 Agent 记忆引发的谄媚问题
研究者提出 MemSyco-Bench，一个评测 Agent 系统中记忆诱发谄媚行为的基准，覆盖五项任务：判断 Agent 能否拒绝将记忆当作事实证据、遵守记忆的适用范围、解决记忆与客观证据的冲突、跟踪记忆更新，以及用有效记忆做个性化。现有记忆基准只关注记忆是否正确存储、检索或更新，忽略了检索到的记忆如何影响下游推理与决策。相关资源已向社区开放。
arXiv cs.AIAI 评分3030 Moment-Video：诊断视频 MLLM 对瞬时视觉事件的时间保真度
研究者推出 Moment-Video 基准，用于评估视频 MLLM 对瞬时视觉事件的时间保真度，包含 1,000 个人工核验的视频问答对，覆盖 7 个领域、25 个子类及四类任务。在 34 个专有与开源 MLLM 的评测中，表现最佳的 Seed-2.0-Pro 总体准确率仅 39.6%，多数开源模型低于 25%。诊断显示，即便采样帧覆盖全部标注事件区间，模型仍存在大量错误，且视频越长性能越差。
arXiv cs.AIAI 评分2424 ChaosBench-Logic v2：大规模评估 LLM 对动力系统的逻辑推理
ChaosBench-Logic v2 是一个包含 40,886 道题、覆盖 165 个动力系统、27 个 FOL 谓词与 78 条公理边的基准，并配套 CARE 评估协议。
arXiv cs.AIAI 评分2424 AXIOM：通过约束扰动与校准对代码 LLM-as-a-Judge 进行基准测试
研究者提出 AXIOM，一个基于扰动的框架，用于构建代码评估基准。它通过质量约束语义扰动控制程序质量分布，再经混合质量校准筛选语义多样的程序并简化人工标注，据此构建了包含 1,962 道多语言代码评估问题的 AXIOMBENCH。
arXiv cs.AIAI 评分4444 编码智能体的报告遗漏了什么：CTXGAP 测量执行上下文与报告之间的任务状态差距
CTXGAP 测量研究发现，编码智能体在按需回答任务状态问题时准确率达 93.6%，但仅读报告的监督者只能恢复 52.0%，与全上下文读者的 92.7% 相差 40.7 个百分点。在 30 个已验证修复的最终检查点上差距仍有 34.8 个百分点，完整终端回滚可将恢复率提升至 73.6%，但仍不及全上下文。该研究将基于报告的任务状态可恢复性确立为一项补充评估维度。
arXiv cs.AIAI 评分3030 CompMat-Bench：面向计算材料科学的 AI 智能体基准测试
研究者推出 CompMat-Bench，一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准，通过预先复现研究步骤来评估智能体准备输入与分析输出的能力，从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%，更长工作流与减少指导会以不同方式限制不同智能体表现，失败多归因于科学错误而非软件使用错误。
arXiv cs.AIAI 评分3131 从模拟公民到模拟审议：LLM 智能体在代表性与交互上的挑战
研究用全国调查、受控审议实验和真实审议民调评估六款 LLM 能否模拟公众审议，发现智能体常产生过度集中的意见，无法可靠复现人口统计差异。在模拟审议中智能体虽会交换论点并频繁改变立场，但在看不到彼此发言时也会出现类似变化，而仅重述初始立场则大幅减少立场变动。
arXiv cs.AIAI 评分3030 LLM 何时会援引错误法律？诊断 LLM 在时间性法律推理中的失败
研究将"确定案件适用哪一版法律"形式化为 Temporal Applicable-Law Determination（TALD），并构建了覆盖《民法典》施行前后、含 51,956 份中国民事判决的 TALD-Bench。
arXiv cs.AIAI 评分3434 Harness-Bench：跨模型与真实工作流评估 Agent Harness
研究者推出 Harness-Bench，一个在真实 Agent 工作流中评估配置级 harness 效应的诊断基准，包含 106 个沙箱离线任务，在共享任务环境、预算和评测协议下对比多种模型后端与代表性 harness 配置。
arXiv cs.AIAI 评分3131 WorkflowPerturb：面向多智能体工作流指标评估的校准压力测试基准
WorkflowPerturb 是一个用于评估多智能体工作流指标的受控基准，包含 4,973 条黄金工作流和 44,757 个扰动变体，覆盖 Missing Steps、Compressed Steps、Description Changes 三类扰动，严重程度分为 10%、30%、50%。
arXiv cs.AIAI 评分2222 ChaosBench-Logic：面向混沌动力系统逻辑与符号推理的基准
研究者提出 ChaosBench-Logic，用统一一阶逻辑（FOL）本体覆盖 30 个动力系统、11 个语义谓词，生成 621 道题，涵盖多跳蕴含、跨系统类比、反事实推理、偏见探测和多轮对话七类任务。
arXiv cs.CLAI 评分2222 面向跨模态与跨解剖部位的放射学报告评估：更对齐的 LLM 评判模型研究
研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现，提出新指标 VERT，其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健；对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升，后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关，但易在遗漏类错误上计数失准。
arXiv cs.CLAI 评分2828 MLLMs 能读懂房间吗？评估多方社交互动中欺骗行为的多模态基准
研究者提出 MIDA——一个包含同步视频与文本、每条陈述均有可验证真值标签的多模态数据集，用于评估 MLLMs 在多方社交互动中的欺骗识别能力。对 12 个开源与闭源 MLLMs 的基准测试显示，即便 GPT-4o 也难以可靠区分真实与欺骗性陈述。
arXiv cs.AIAI 评分2929 AVC-Reward：以事件为中心的音视频一致性评估框架
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，研究者提出以事件为中心的一致性评估框架，在事件层面解耦音视频并跨模态交叉验证，聚合成粗到细的三级一致性指标。
arXiv cs.CLAI 评分3434 LLM 能否表示复数谓述中的真值间隙？HomogeneityNLI 基准揭示 Bivalence Bias
研究者构建 HomogeneityNLI 诊断数据集（1,000 个最小对，覆盖 10 种逻辑条件），评测 7 个开放权重模型，发现普遍存在 Bivalence Bias：零样本下无模型能在超过 15% 的场景中同时识别两种极性的真值间隙，否定式复数定指在 84% 的情况下被判定为 False。
arXiv cs.AIAI 评分2626 CodeHealth 能否预测智能体代码审查的 token 成本：一项针对 465 个智能体编写 PR 的预注册研究
一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本，结果显示三个 LLM 的 CodeHealth 系数均为负，每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关，且调整被评分文件大小后关联消失，研究者将其解释为文件大小的中介效应。
arXiv cs.CLAI 评分2222 Jev 用于科学决策：评估语义选择及其后果
研究将 Jev 作为语义决策组件进行评测，在 10 个科学案例的 20 个 Choices 上比较 12 种模型配置，每个重复 5 次，分别测量语义选择、下游输出与最终结论标签。Jev 在语义完全正确率上与另外 5 种配置持平，并在成功响应中取得最低中位延迟。三个对比模型在一个 culture-history 问题上出现 7 次错误选择，改变了下游计数却保留了正确的最终标签。
arXiv cs.CLAI 评分2727 医疗领域大语言模型评估方法入门指南
一篇综述系统梳理了医疗 LLM 评估的四大关键领域：研究设计原则、统计方法、能力评估与临床应用评估。能力评估涵盖多项选择、智能体和多轮 benchmark，以及 token 用量与延迟等运行指标；临床应用评估则涉及自由文本输出准确性验证，如人工审核和 LLM-as-a-judge，以及临床试验方法。文章强调评估方法需与研究问题对齐。
arXiv cs.CLAI 评分3939 Φ-Bench：大语言模型能否工程化支撑自身运行的基础设施？
研究者发布 Φ-Bench，一个基于真实 LLM 训练与推理代码库构建的基准，含 85 项任务，覆盖九类 LLM 基础设施，任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中，表现最强的 Claude Opus 5 仅得 36.53%，且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
arXiv cs.CLAI 评分3434 RefactorPlatform：用于仓库级重构智能体受控评估的开源测试框架
RefactorPlatform 是一个开源评估框架，通过固定环境、显式变化模型骨干（OpenRouter 与 GitHub Copilot CLI）、执行模式（基线、检索增强、多智能体）和提示词具体度，对仓库级重构智能体进行受控评估。
arXiv cs.CLAI 评分2121 M³R-Bench：面向证据溯源的多模态隐喻理解统一基准
研究者推出 M³R-Bench，一个包含 1,000 个人工标注图文实例的基准，联合标注隐喻发生、Target-Source 映射与情感，并提供分阶段解释。
arXiv cs.CLAI 评分2222 超越相关性检索：面向评分标准的文档集选择与排序
针对现有检索评估只对单文档独立打分、忽略文档间冗余与互补的问题，研究者提出评估-诊断-优化框架，并构建 SetwiseEvalKit——覆盖短文本与长文本场景的三级九维文档集评估基准，含约 28K 条高质量评分标准。
arXiv cs.CLAI 评分3131 LLM-as-a-Judge 中温度设置的必要性研究
一项超百万次大规模评测研究发现，LLM-as-a-Judge 中低温度能带来一致且错误少的输出，尤其在小模型上，但一致性不等于判断可靠，低温度会收窄推理探索范围。研究通过四种推理人格刻画评判行为，发现高温重复采样结合多数投票，或高温推理加低温决策，可在不损害清晰样本的前提下提升模糊样本的一致性，代价是额外推理开销。
arXiv cs.CLAI 评分3131 BASIS：评估交互场景下超越指令的信念感知解决方案
研究者提出 BASIS 基准，用于评估 LLM 智能体能否推断用户请求背后的心理状态、识别信念与现实的不匹配，并据此给出合适方案。评估显示，当前模型在生成解决方案时往往忽略用户心理状态，而当这类信息被明确引出并提供时，方案质量持续更高。研究还通过通用 CoT 提示词对比、心理状态信息干预、针对性训练和多智能体协作实验，验证了考虑心理状态的实用价值。
arXiv cs.AIAI 评分3434 更强的评审模型看得更少：LLM 评测中的部署完整性盲区
研究提出 DIB-Bench，用 7,560 个评分样本、六类篡改和从正则到 GPT-5-nano 的评审阶梯衡量 LLM 评测的部署完整性盲区：评审模型越强，越容易接受被篡改的输出，平均接受率从规则式的 88.6% 升至 GPT-5-nano 的 94.1%。
arXiv cs.CLAI 评分3030 语言是智能体安全护栏的攻击面：LinguaGuardBench 揭示多语言请求下的判定翻转
研究者构建 LinguaGuardBench，将 TS-Bench AgentDojo-Traj 的 1,220 条标注步骤中的用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语，工具调用与标签保持逐字节一致，以检验护栏判定是否随语言变化。
arXiv cs.CLAI 评分2424 财报电话会 NLP 基准何时算"会后"？论文提出 Availability Contract
针对财报电话会 NLP 基准中预测目标早于文本或音频输入完成的"事件内时序错配"，论文提出 Availability Contract，要求基准明确输入边界、输入可用性证据、结果起点及所支持结论。
arXiv cs.AIAI 评分3636 INFUSE：面向智能体系统间接提示注入的统一表面基准
研究者推出 INFUSE，一个覆盖长周期智能体工作流全生命周期的间接提示注入（IPI）端到端基准，包含 40 个真实任务和 56 种攻击场景（分属五类威胁）。