SolBehave：评估 LLM 生成智能合约的行为正确性
研究者推出 SolBehave 基准，用差分模糊测试、历史交易回放和 DCR 图引导的合成交易回放三类测试，在 250 个真实以太坊合约上评估 LLM 生成 Solidity 合约的行为保真度。
#评测/基准
arXiv cs.AIAI 评分3939 arXiv cs.AIAI 评分2424 Jev-ToM：在类型化决策模型中评估心智理论
Jev-ToM 在来自 9 个心智理论（ToM）基准、覆盖 6 类能力的 11,117 道英文文本问题上，对比了 5 个类型化决策模型与 7 个生成式基线。TypeSafe Jev 取得 73.2% 的 source-balanced 准确率（含原生控制项），在全部 6 类能力上排名第一或第二，并在信念、目标/欲望/意图和情感上领先。
arXiv cs.AIAI 评分2929 FaithAlign：面向理论级自动形式化的忠实性对齐评测基准
研究者提出 FaithAlign，首个理论级忠实性评测基准，包含 460 个条目和 4,982 条短语级标注链接，将忠实性评估建模为上下文感知的"先对齐再标注"问题。
arXiv cs.AIAI 评分4646 LLM 在同行评审中表现如何？来自金融与会计领域的证据
GPT-4o 对 2024 年 AFA 和 NBER 金融会议论文的评审打分，比作者声誉更能预测论文能否在未来两年发表于三大金融顶刊——得分高一个标准差的论文发表概率高 44%。该信息来自模型对正确性和表述的判断，而其对原创性和重要性的判断不携带任何预测信息，强调重要性的评审指南也无帮助。这一"正确性 vs 贡献性"的分野在会计论文和更新的 GPT-5 上同样成立。
arXiv cs.AIAI 评分2424 PRISM：用反事实探针校准黑盒 LLM 评判器
PRISM（Probe-based Residual Inference of Scoring Misalignment）通过固定被评内容、测量属性被强调或弱化时的分数变化，将评判器响应建模为代理 Jacobian，并用岭回归在人工标签上学习对基线分数的校正。
arXiv cs.AIAI 评分2323 AffectWorld：面向情绪驱动未来世界预测的基准测试
AffectWorld 是一个评估"情绪-动作-世界状态"链条的世界模型基准，包含 1,498 个日常视频样本，覆盖世界状态一致性、情绪-动作一致性和因果一致性三项任务，并设 233 个反事实样本检验情绪改变是否带来动作与后果的相应变化。
arXiv cs.AIAI 评分2626 CaLLM：缓解 LLM-as-a-judge 偏见的多元校准框架
研究者提出 CaLLM，一个事后多元校准框架，可同时约束 LLM 评委在多个已知或未知群体上的系统性偏见。理论上 CaLLM 能约束所有误差结构可被现有表示捕获的群体偏见，加入显式偏见组还能进一步降低残余偏见，并给出了其提升评委准确率而非牺牲准确率换校准的条件。在成对偏好基准上，CaLLM 降低了指定与未指定偏见组的多元校准误差，同时提升了评委的预测性能。
arXiv cs.AIAI 评分3232 SWEPatchTest：评估超越复现的软件测试
SWEPatchTest 是一个测试生成基准，包含来自 SWE-bench Pro、SWE-bench Multilingual 和 DeepSWE 的 619 个任务及 82,579 个候选补丁，通过联合衡量问题复现、正确补丁接受与错误补丁拒绝来评估测试质量。
arXiv cs.AIAI 评分4444 Interaction-as-a-Judge：用计算机使用智能体交互评估交互式应用
研究提出 Interaction-as-a-Judge 评估范式，让 computer-use agents（CUAs）直接与应用交互，以弥补现有 LLM 评估只看代码分析和单元测试的不足。
arXiv cs.AIAI 评分3838 ProtoArena：AI 智能体能发现并利用真实世界的跨组件协议漏洞吗？
研究团队推出 ProtoArena，一个黑盒、多组件动态基准，包含 80 个跨组件漏洞利用环境，覆盖 11 个协议与应用领域、7 类攻击。在评估的 5 个 LLM 中，Claude Opus 4.8 成功率最高：L1 引导下 48.8%，效果导向的黑盒 L3 下仅 12.5%。在 DNSBomb 优化实验中，其峰值下行响应与平均查询输入字节率之比超过 171,000 倍。
arXiv cs.AIAI 评分3535 Jev、LLM 评审与专用安全分类器的首次受控对抗对比：同一攻击，不同裁判
研究首次对 TypeSafe AI 的 Jev 做受控对抗评测，用同一 payload、同一策略在四类任务上对比 Jev、五个 GPT 与 GLM 评审及 Llama Guard 3、Prompt Guard 2。
arXiv cs.AIAI 评分2424 GIFT-Eval-CTX：面向上下文预测模型评测的基准
研究者推出 GIFT-Eval-CTX 基准，用于检验预测方法能否把已验证的未来信息转化为准确的数值轨迹。该基准基于 GIFT-Eval 构建，覆盖 20 个数据集、10,000 个实例，每个实例提供由 LLM 发现与确定性代码校验的智能体流水线生成的 Macro 与 Micro 结构化效应。
arXiv cs.AIAI 评分2626 审计失败归因：标签可预测性与评判模型行为
针对失败归因基准中 LLM 评判模型可能依赖表面线索而非跨步骤核查的问题，研究者提出输入限制、线索跟随、残差准确率和聚合四项测试。在三个基准上，简单预测器即可匹敌或超越 GPT-4.1；在 Who&When Pro 系统中，仅读取单步推理的分类器能找出 95-100% 的故障步骤，而注入错误后微调评判模型虽领先 GPT-4.1 达 41 分，但加入任务推理后骤降 31-99 分。
arXiv cs.AIAI 评分2222 HelpMeOut：面向家庭任务执行错误感知监测的神经心理学基准
HelpMeOut 是一个面向家庭任务执行错误感知监测的具身 AI 基准，将日常动作错误研究转化为 20000 组配对活动片段，覆盖九类神经心理学错误。智能体需观察流式人类活动轨迹，判断执行是否正确并尽早诊断结构化错误。对学习型监测器、符号方法、变化点检测和前沿 LLM 提示基线的评估显示，这些方法作为错误监测器表现不佳，常漏检执行出错的情况。
arXiv cs.AIAI 评分3232 LatentRiskBench：衡量企业智能体的状态依赖风险
研究者提出 LatentRiskBench，用于评估企业智能体中依赖工作流状态的安全风险，即同一动作在不同上下文下可能合规也可能违规。实验显示，动作级评估仅能检出 0.09 的状态依赖违规，而状态级评估可达 0.96，现有护栏方法若不显式作用于工作流状态则基本无法覆盖此类风险。该基准已被 EMNLP 2026 Industry Track 接收，数据集与代码已公开。
arXiv cs.AIAI 评分2020 Tanawpamana：面向菲律宾文化遗产地的视觉语言模型基准测试
研究团队发布 Tanawpamana Dataset 与 Tanawpamana Benchmark，后者包含 4,046 项任务，用于评估视觉语言模型对菲律宾文化遗产地的识别与知识。
arXiv cs.AIAI 评分2222 区分 LLM 放射报告问答中的可答性与信息抽取
针对 RadQA 单一 F1 混淆"报告是否含答案"与"答案在哪个片段"两个决策的问题，研究者提出将假答案率与过度弃答率同 F1 并列报告，并把 F1 变化拆分为抽取项与可答性项。
arXiv cs.AIAI 评分2424 3D 医学视觉基础模型自监督基准测试与可迁移性估计
研究在相同的 14 个分割、分类与回归任务上对 23 个 3D 医学基础模型候选进行基准测试，发现没有任何候选能在所有分割任务或所有分类回归任务中稳居前三。研究同时评测可迁移性估计器，其中 InsightRank 借助任务适配的冻结特征统计与架构感知成对比较，在 23 个模型池上分割任务平均 Kendall tau-b 为 0.431，分类与回归为 0.352。
arXiv cs.AIAI 评分2727 Know-Thy-Not：双编码器视觉语言模型的无训练定向否定
双编码器视觉语言模型在否定理解上系统性失败，对"没有狗的猫"和"有狗的猫"打分几乎相同，该问题源于单嵌入框架的固有缺陷。研究者提出无训练方法 Know-Thy-Not（KTN），在图像侧引入拒绝维度直接惩罚被否定概念，并发布首个需要真正拒绝才能通过的基准 COCO-Confusion。
arXiv cs.AIAI 评分2929 claimcheck：衡量并提升规格说明的忠实度
研究者构建了覆盖 Dafny、Lean 4、Isabelle 和 Rocq 四种形式语言的规格形式化端到端基准，共 3,234 行，每行将自然语言需求与形式化产物配对，其中三分之一为保持语义的改写。他们提出 claimcheck，先将形式化产物翻译回英文，再由独立 judge 模型判断其与需求是否表达同一保证，在四种语言上较单次调用基线提升 8.2 至 9.8 个百分点的宏召回率。
arXiv cs.AIAI 评分2626 MultINav-Bench：超越可达性的交互式导航基准与 MultINav-Agent 智能体框架
研究者提出 MultINav-Bench，一个基于 MolmoSpaces 的 3K episode ObjectGoal 基准，覆盖通道、容器及混合任务，并附带交互必要性标注，评估协议分别衡量导航成功率、交互有效性与成本。
arXiv cs.AIAI 评分3434 CWE-bench：将 AI 智能体安全评测从攻击转向防御
研究者推出 CWE-bench，一个包含 120 个仓库审计与修复任务的私有基准，覆盖 73 种 CWE 类型、8 种编程语言和 OWASP Top 10 2025 全部类别。智能体仅获知仓库与威胁模型描述，需自行定位并修复漏洞，补丁须在通过程序化验证器拦截攻击的同时保持原有功能。最佳智能体达到 68% pass@1 和 81% pass@4，且不同语言与漏洞类别的难度差异显著。
arXiv cs.AIAI 评分2424 ProbabilityBench：用精确真值不确定性评估与校准模型
研究者推出 ProbabilityBench，在同行评审、隐蔽信息传递和信用风险三个模拟文本域中提供实例级精确类别概率，并解析计算精确类别概率与 Bayes error。
arXiv cs.AIAI 评分2424 UA-Bench：面向水下声学信号识别的大型音频语言模型基准测试
研究者提出 UA-Bench，据称首个面向大型音频语言模型（LALMs）的水下声学信号识别大规模基准，包含 375,051 条音频记录，覆盖探测脉冲、通信波形与舰船辐射噪声三类信号，并附三级标签体系（13 个叶类）、多轮对话模板及信源信道元数据。
arXiv cs.AIAI 评分2222 比较 GenAI、机器学习与人工审阅在 eDiscovery 中的效果
针对 Redgrave LLP 案例研究中 Relativity 生成式 AI 审阅工具 aiR 达 88% 召回率、其机器学习工具 RAL 仅 64% 召回率的结论，分析指出两者方法目标不同、评估者间存在分歧，结果不可直接比较。
arXiv cs.AIAI 评分3232 StableJudge：面向 LLM-as-a-Judge 的轻量级对抗防御框架
StableJudge 是一个将提示注入缓解外置为可复用评分前能力的轻量级防御框架，核心是 0.13B 的 Sentry 组件，可在评估前定位被注入的文本片段并做定向清洗。该框架用对抗性演化攻击训练，并从评委模型的输出分布中导出确定性的细粒度标量分数。在留出科学摘要和分布外攻击变体上，StableJudge 提升了受攻击时的分数恢复能力，同时基本保持通用性能，代码与数据将开源。
arXiv cs.AIAI 评分2929 VLA-GAUGE：系统评估视觉-语言-动作模型的泛化性与鲁棒性
研究团队提出诊断框架 VLA-GAUGE，在统一可执行任务表示下评估 12 个视觉-语言-动作（VLA）模型的零样本泛化与扰动鲁棒性。结果显示平均 Zero-Shot Score 仅 22.3%，SimpleVLA-RL 仅 8.0% 位列倒数第二；三种组合扰动配置下平均 R-Score 为 9.3。
arXiv cs.AIAI 评分2020 PatTransBench：面向专利机器翻译的 IPC 分层多维评测基准
PatTransBench 是一个包含 12,000 条中英/日/韩专利机器翻译（PatMT）评测基准，含 6,000 条短文本与 6,000 条长文本句对，按 IPC 分层采样并覆盖三个语对的双向翻译。
arXiv cs.AIAI 评分2222 VisExMEM：基于视觉证据的可解释多模态评估指标
研究者提出无参考评估器 VisExMEM，将图像描述拆解为原子断言、定位视觉证据并逐条验证，再平均为全局分数。基于 Qwen3.5 训练的 4B 和 9B 模型在八个基准上，VisExMEM-9B 的描述性综合分超过 VQAScore 11.7 分，与 GPT-5.6 Sol 保持竞争力。团队同时发布含 600 个人工标注图文对和 8.7K 原子断言的 AGITA-Bench。
arXiv cs.AIAI 评分3131 SLDBench v2：主动式缩放定律发现
SLDBench v2 将缩放定律发现场景从 8 个扩展到 127 个，覆盖语言模型预训练、下游性能和视觉语言迁移，并从中选出 30 个参考幂律拟合 R² ≤ 0.8 的挑战场景。
arXiv cs.AIAI 评分2727 WildTrace：评估真实大规模 LLM 后训练中的训练数据检测
研究团队提出 WildTrace，一个面向真实大规模后训练场景的训练数据检测基准，覆盖 SFT、DPO、RL 各阶段模型，并针对四类任务构建分布匹配、成员标签可验证的评估集。结果显示，表现最好的检测方法平均 AUC 仅 0.529，接近随机猜测的 0.5。分析还表明，评估协议会显著影响检测性能的测量结果。
arXiv cs.AIAI 评分2727 APB：面向 LLM 多轮知识推理的主动探测基准
研究者提出 Active Probing Benchmark（APB），将猜谜式概念识别转化为多轮主动探测的交互推理任务，覆盖八个学科领域、960 个专业难度目标概念。评测发现一个反直觉现象：多数开源推理模型的表现显著低于其标准指令版本，说明它们在交互场景中难以用过程性推理可靠调用专业知识。APB 同时提供可扩展的基准生成流程。
arXiv cs.AIAI 评分2323 面向香港 AEC 行业的消防安全规范解读基准
研究团队与领域专家合作构建了香港消防安全规范的本地化基准数据集，包含选择题和开放式问题，用于评测 12 个主流闭源与开源模型。表现最好的闭源模型在选择题上达到 80-90% 准确率，开源模型普遍落后；但在开放式评测中，专家人工评估显示准确率仅为 50-70%，表明 LLM 在专业合规任务上仍有较大提升空间。
arXiv cs.AIAI 评分2626 Dream2Discern：用困难潜变量变体预测多智能体系统运行时故障
Dream2Discern 是一种运行时审计器，通过自身预测损失引导的隐式增强来训练：Dream 阶段对表示算子施加扰动以生成困难潜变量变体，Discern 阶段用原始标签从这些变体学习预测执行结果，变体随训练不断再生，无需额外采集轨迹或验证结果。在 AFTraj-2K 和 StepShield 上，其轨迹级加权准确率均超过 90%，优于同类故障审计器，并兼顾预测准确性与及时性。
arXiv cs.AIAI 评分3434 LLM Agent 基准评测何时不可靠：一项关于 oracle 失效与配置依赖测量的实证研究
一项实证研究审计了 LLM Agent 评测框架的 oracle 可靠性，发现某 Agent 基准的奖励函数缺陷会在评分前改变环境状态，经回放修正后 4,320 个 episode 的数据库通过标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。
arXiv cs.AIAI 评分3939 面向智能体环境的可扩展弱到强验证器加固方法
研究者提出一种可扩展的全自动弱到强验证器加固方法，先建立智能体无法直接修改的隔离验证器沙箱，再用 hacker-fixer 循环发现并修复验证器漏洞。该方法应用于 Terminal Bench、KernelBench 和 SETA，大幅降低攻击成功率，且随循环迭代次数增加防御持续增强，优于静态非迭代基线。其早期版本已被 Terminal Bench 官方仓库采用，用于审计环境中的漏洞利用。
arXiv cs.AIAI 评分1818 面向 Nastaliq 乌尔都语攻击性内容检测的可解释系统：语料构建、Transformer 基准测试与词级归因
该研究公开了 7604 条 Nastaliq 乌尔都语 Facebook 评论语料，并在统一网格搜索协议下微调四种乌尔都语 Transformer，与十二个特征分类器基线对比。最佳配置 MuRIL 达到 87.05% 准确率和 87.06% macro F1，较最强基线提升 5.52 个百分点。词级 SHAP 归因显示，归因质量集中于高频侮辱词，但也延伸至句法中性虚词和源页面特有的政治词汇。
arXiv cs.AIAI 评分3838 从人类软件演进合成智能体原生界面：DeskIF-Bench 与 ANIS 框架
研究者提出 DeskIF-Bench，用 255 个跨 6 款桌面应用的任务，在固定任务、智能体与验证器的情况下改变软件版本，测量界面变化对 LLM 智能体表现的影响，结果显示最新版本始终优于最旧版本。
arXiv cs.AIAI 评分3131 FlipAct：衡量语言模型何时行动的敏感度与判定标准
研究者提出 FlipAct，一种针对物理状态下工具使用的诊断方法，用标注工具属性上的规则计算答案与分级证据分数，将 Yes/No 边界固定为零，并通过 2×2 问题组在知识不变时翻转状态。
arXiv cs.AIAI 评分3434 CodeWalk：通过遍历问题图生成编程基准
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成编程基准，整个构建过程程序化，无需语言模型生成或验证。