arXiv cs.AI· Hanqi Duan, Xiang Li·· 3 天前AI 评分31
TADDLE：检测 LLM 生成同行评审缺陷的工具增强智能体
TADDLE: A Tool-Augmented Agent for Detecting Deficient LLM-Generated Peer Reviews
AI 导读
TADDLE 是一个工具增强智能体，用于检测 LLM 生成同行评审中的缺陷，并配套发布了首个专家标注基准。该基准包含 50 篇 ICLR 2025 论文的 1,800 条评审，由 18 位领域专家按六类缺陷（另加无缺陷标签）进行多标签标注。
正文 · AI 翻译
摘要：LLM 生成的同行评审在各大会议上日益普遍，但其缺陷却难以察觉，因为它们一律行文流畅、结构良好。现有工作要么对作者身份进行分类而不评判质量，要么用为人类撰写的评审设计的特征来评分质量；此前没有任何系统能在单个缺陷类型层面检测 LLM 生成评审中的缺陷。为弥补这一空白，我们提出 TADDLE——一个用于检测有缺陷的 LLM 生成同行评审的工具增强智能体，并为此任务构建了首个专家标注基准。我们的基准包含对 50 篇 ICLR 2025 论文的 1,800 条评审，由 18 位领域专家依据六类缺陷分类体系（外加一个非缺陷标签）进行多标签标注。TADDLE 将检测分解为四个专门的分析工具——Verify、Correct、Complete 和 Transform——由智能体进行编排；一个整合器通过两阶段半监督学习将其输出综合为二分类和多标签分类。实验表明，TADDLE 在二分类检测和多标签分类任务上表现强劲。我们在 此 https URL 发布了基准和代码。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.26911 [cs.AI] |
| （或 arXiv:2605.26911v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26911 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hanqi Duan [查看邮箱]
[v1]
2026年5月26日星期二 12:07:44 UTC（1,506 KB）
[v2]
2026年10月13日星期二 11:11:04 UTC（446 KB）
来源：arXiv cs.AI · arxiv.org