arXiv cs.AI· Yehua Huang, Penglei Sun, Zebin Chen, Zhenheng Tang, Xiaowen Chu·· 10 小时前AI 评分22
OmniReview：大规模审稿人推荐基准与 LLM 增强框架 Pro-MMoE
OmniReview: A Large-scale Benchmark and LLM-enhanced Framework for Realistic Reviewer Recommendation
AI 导读
OmniReview 数据集整合多源学术平台并经消歧流程构建，包含 202,756 条已核验审稿记录，同时提出从召回率到精准专家识别的三层分级评测框架。配套的 Pro-MMoE 框架将 LLM 生成的学者语义画像与任务自适应 MMoE 架构结合，以保留细粒度专业特征并动态平衡冲突的评测目标。实验显示 Pro-MMoE 在 7 项指标中的 6 项达到 SOTA。
正文 · AI 翻译
摘要：学术同行评审仍是学术验证的基石，但该领域在数据和方法上面临一些挑战。从数据角度看，现有研究受限于缺乏大规模、经过验证的基准，以及过于简化的评估指标，无法反映现实世界的编辑工作流程。为弥补这一空白，我们提出 OmniReview，这是一个通过整合多源学术平台构建的综合数据集，通过消歧流程涵盖全面的学者档案，产出 202, 756 条经过验证的评审记录。基于这些数据，我们引入一个三层分级评估框架，从召回率到精确专家识别来评估推荐结果。从方法角度看，现有的基于嵌入的方法存在语义压缩的信息瓶颈和可解释性有限的问题。为解决这些方法局限，我们提出多门混合专家学者画像（Pro-MMoE），这是一个将大语言模型（LLM）与多任务学习协同的新型框架。具体而言，它利用 LLM 生成的语义画像来保留细粒度的专业细微差别和可解释性，同时采用任务自适应 MMoE 架构来动态平衡相互冲突的评估目标。综合实验表明，Pro-MMoE 在七项指标中的六项上达到最先进性能，为现实的审稿人推荐建立了新的基准。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.08896 [cs.IR] |
| （或 arXiv:2602.08896v2 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.08896 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Penglei Sun [查看电子邮件]
[v1]
2026年2月9日星期一 16:57:35 UTC（921 KB）
[v2]
2026年11月10日星期二 06:32:58 UTC（524 KB）
来源：arXiv cs.AI · arxiv.org