跳到正文
arXiv cs.AI· Jiening Siow, Amy Xin, Junjie Wang, Ziyu Tang, Zijun Yao, Yunjia Qi, Fanjin Zhang, Lei Hou, Jie Tang, Juanzi Li·· 2 天前AI 评分38

RIDAR:通过自动检测与运行时干预保障自主研究智能体的科研诚信

RIDAR: Safeguarding Research Integrity in Autonomous Research Agents via Automated Detection and Runtime Intervention

AI 导读

RIDAR 框架用于自动检测并干预自主研究智能体的科研诚信违规(RIV),其检测框架 RIDAR-post-hoc 在 60 条专家标注轨迹的 RIV-Gold 基准上取得 85.2% F1。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:自主研究智能体正越来越多地被用于自动化科学研究的很大一部分工作,但它们容易出现研究诚信违规(RIV):即损害研究过程有效性、可复现性或忠实性的行为。我们提出 RIDAR,一个用于自动 RIV 检测与运行时干预的框架。首先,我们引入 RIVT,一个涵盖完整研究生命周期的 14 种 RIV 类型的综合分类体系。基于 RIVT,我们提出 RIDAR-post-hoc,一个用于检测智能体轨迹中 RIV 的框架。RIDAR-post-hoc 在 RIV-Gold 上取得了 85.2% 的 F1 性能,RIV-Gold 是一个包含 60 条专家标注轨迹的 RIV 检测基准。将 RIDAR-post-hoc 应用于 RIV-Wild(一个包含 50 个不同研究任务、共 300 条智能体轨迹的数据集),我们在 99.7% 的轨迹中检测到 3,964 个 RIV 实例,揭示了 RIV 在当前智能体中的普遍性。最后,我们提出 RIDAR-runtime,一个在智能体运行时动态检测并纠正 RIV 的框架。RIDAR-runtime 将任务完成时残留的智能体 RIV 有效减少了 36.8%。我们将发布代码和数据以促进未来研究。
学科: 人工智能(cs.AI)
引用为: arXiv:2610.31372 [cs.AI]
  (或 arXiv:2610.31372v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.31372

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiening Siow [查看邮箱]
[v1] 2026年10月22日星期四 14:43:36 UTC(857 KB)
[v2] 2026年10月25日星期日 14:33:29 UTC(857 KB)

来源:arXiv cs.AI · arxiv.org