arXiv cs.AI· Oleg Zendel, Kun Ran, Chenglong Ma, Nguyen Khoi Vo, Shuai Wang·· 1 天前AI 评分24
RMIT-ADM+S 团队在 TREC RAG 2026 的研究智能体、检索器消融与开源权重复现
RMIT-ADM+S at TREC RAG 2026: Research Agents, Retriever Ablations, and Open-Weight Replication
AI 导读
RMIT-ADM+S 团队基于 ClimbMix 语料库参加 TREC 2026 RAG 赛道，提交了 7 个使用 OpenAI 专有模型与开源权重模型的研究智能体运行。
正文 · AI 翻译
摘要：我们描述了 RMIT-ADM+S 团队使用 ClimbMix 语料库参加 TREC 2026 检索增强生成（RAG）赛道的情况。我们使用专有的 OpenAI 模型和开放权重模型提交了七个研究智能体运行，探索了不同的检索策略、写作模型和智能体工作流。提交前的消融实验确定，写作模型选择和相邻块扩展是影响答案质量的主要因素。在 NIST 的官方评估中，七个运行中有六个在所有三个评分标准/要点集合上超过了赛道中位数。我们表现最好的运行 brief-hybrid 在我们提交的运行中实现了最高的全项目覆盖率，并在 Batch-1 关键覆盖率上并列赛道最高值（0.892）。人工并排偏好在不同评估批次中有所不同：开放权重的 owa-glm5 尽管自动覆盖率较低，但在 Batch 1 中领先，而 sol-research-first 在 Batch 2 中领先。这些发现凸显了自动覆盖率指标与人工偏好之间的差异，以及低成本开放权重模型在研究智能体系统中的潜力。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | H.3.3；I.2.7 |
| 引用为： | arXiv:2611.16425 [cs.IR] |
| （或此版本的 arXiv:2611.16425v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2611.16425 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Oleg Zendel [查看电子邮件]
[v1]
2026年11月12日星期四 07:34:28 UTC（4,047 KB）
来源：arXiv cs.AI · arxiv.org