arXiv cs.AI· Tae-Eun Song·· 10 天前AI 评分29
跨模型审查何时有效？LLM 验证中的第二模型评审实验
When Does a Second Model Help? Cross-Model Review in LLM Verification
AI 导读
一项受控实验用 30 个工件、150 个植入错误和 900 次审查会话，测试不同模型交叉审查是否优于同模型审查。
正文 · AI 翻译
摘要：大型语言模型如今能生成代码、文档和分析，并越来越多地被用于审查此类输出。我们探究在什么情况下由另一个模型进行二次审查会有帮助。基于作者此前的预印本（这些预印本在单一模型内改变了上下文、重复次数和角色结构），我们在一个受控实验中测试模型独立性：30 个工件、150 个植入错误、10 种审查条件，以及由来自两家开发商的三个审查模型进行的 900 次审查会话。在该实验中，(1) 顶级跨模型审查员在新会话中的 F1 与同模型审查（CCR）无显著差异，这并未确立等价性；(2) 两者发现的错误部分不同（Jaccard 41.2%）；(3) 在两次审查调用下，一次 CCR 加一次跨模型审查比两次 CCR 审查匹配到更多植入错误（56.7% 对 42.7%；Holm 校正 p=.006），但并不显著多于由顶级跨模型审查员进行的两次审查，因此模型差异与审查员能力未被区分开。轻量级跨模型审查员的得分不高于同模型审查。向审查员隐瞒需求会提高两个较低层级的 F1，但不会提高最高层级，这些未经检验的点估计的模式取决于如何对失败会话计分。在分析之前，我们审计了所有会话记录，排除了一个来源不确定的基线运行和 14 次失败调用；包含所有会话的结果也已报告。对来自另一个基准的公开检测器输出的部分检查既未重复也未反驳主要比较。记录、工件和脚本可应作者要求提供。
| 评论： | 16 页，2 幅图，7 张表。是 arXiv:2603.12123 和 arXiv:2603.21454 的后续。v2：更正了表 1 中的两个条件标签（CCR 仅看到工件；SA 在新会话中运行）及依赖的解释；增加了审查提示、按严重程度划分的 TP/FP 明细以及局限性；说明了每个审查员的运行方式；弱化了案例研究。除删除了 B5 百分比外，数字未变 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；软件工程 (cs.SE) |
| 引用为： | arXiv:2610.01471 [cs.CL] |
| （或 arXiv:2610.01471v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01471 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Tae-Eun Song [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 11:12:36 UTC（225 KB）
[v2]
2026 年 10 月 6 日星期二 01:50:15 UTC（227 KB）
来源：arXiv cs.AI · arxiv.org