arXiv cs.AI· Pushp Garg, Vaibhav Prajapati, Himangshu Sarma·· 3 天前AI 评分20
R-DEIM Net：一种高效的理由增强双专家交互模型，用于复述检测
R-DEIM Net: An Efficient Rationale-Augmented Dual-Expert Interaction Model for Paraphrase Detection
AI 导读
R-DEIM Net 是一个 76M 参数的双专家架构，用于复述检测并生成人类可读的理由。它由交互专家（多尺度 2D 卷积与注意力头，支持可变输入长度）和推理专家（Flan-T5-small 解码器生成理由作为辅助监督）组成，通过池化解码器隐藏状态作为分类特征。
正文 · AI 翻译
摘要：近期释义检测的进展揭示了一个根本性的权衡：大语言模型准确率高但计算需求大，而高效的 Siamese-BERT 变体虽具备实际可扩展性，却在理由生成的透明度上有所降低。我们提出 R-DEIM Net，一种 7600 万参数的双专家架构，探索中等规模模型能否在释义检测上达到有竞争力的准确率，同时实现人类可读的理由生成。该架构结合两个专门组件：一个交互专家，通过多尺度二维卷积和注意力头捕捉词元级相似模式，支持可变输入长度；以及一个推理专家，使用 Flan-T5-small 解码器生成理由作为辅助监督。我们不对生成文本重新编码，而是提取并池化解码器隐藏状态作为分类的补充特征。在 Quora Question Pairs 数据集上，R-DEIM Net 通过 10 折交叉验证达到 90.07% 的准确率和 90.16% 的 F1 分数。这代表了与强大的基于 Transformer 的基线（例如 MFAE BERT：90.54% 准确率）以及近期基于大语言模型的方法（LLaMA-70B）相比具有竞争力的性能，同时使用的参数预算大幅更小。该模型在预测的同时生成理由，为辅助性人类可读描述提供了潜力。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.30100 [cs.CL] |
| （或 arXiv:2609.30100v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.30100 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Pushp Garg [查看电子邮件]
[v1]
2026年9月24日星期四 16:44:26 UTC（558 KB）
[v2]
2026年10月12日星期一 18:53:43 UTC（558 KB）
来源：arXiv cs.AI · arxiv.org