arXiv cs.CL· Zhi Rao, Yucheng Zhou, Qianran Sun, Yiqing Huang, Longcan Yuan, Jiayi Hou, Chengwen Yao, Lin Cheng, Donghui Sun, Xiaoxin Chen, Jun Wan·· 9 天前AI 评分27
SignRAG：统一检索增强的无标注手语翻译框架
SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
AI 导读
SignRAG 是一个面向 decoder-only LLM 的无标注手语翻译统一框架，结合分层预训练、目标域检索增强与检索感知强化微调。在 CSL-Daily 上，它是首个在所有报告指标上超越有标注监督方法的无标注方法，并在多个 SLT 基准上取得 SOTA。代码与不同规模模型已在 GitHub 开源。
正文 · AI 翻译
作者：Zhi Rao、Yucheng Zhou、Qianran Sun、Yiqing Huang、Longcan Yuan、Jiayi Hou、Chengwen Yao、Lin Cheng、Donghui Sun、Xiaoxin Chen、Jun Wan
摘要：当代仅解码器大语言模型（LLM）已在广泛领域展现出强大能力。然而，现有的无注释手语翻译（SLT）预训练范式大多围绕传统的编码器-解码器预训练语言模型设计，这限制了它们直接应用于仅解码器 LLM。为解决这一局限，我们提出 SignRAG，一个结合分层预训练、目标域检索增强和检索感知强化微调的统一框架。分层预训练首先学习具有语言学依据的手语表示，然后将手语编码器与 LLM 联合对齐，缓解跨模态优化不平衡。对于下游适配，SignRAG 通过目标域检索库为基于参数的微调提供补充，提供实例特定的翻译线索。为确保检索到的上下文被恰当使用，我们进一步引入检索效用引导的强化微调（RUG-RFT），它结合翻译质量和检索效用奖励，鼓励有益的检索使用，同时抑制有害依赖。在多个 SLT 基准上的实验确立了新的最先进性能。特别地，据我们所知，SignRAG 是首个在 CSL-Daily 上所有报告指标上均超越注释监督方法的无注释方法。我们的代码已发布在 \href{this https URL}{GitHub}，并附有不同规模的模型以支持未来学术研究。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.11371 [cs.CL] |
| （或 arXiv:2610.11371v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11371 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rao Zhi [查看电子邮件]
[v1]
2026年10月8日星期四 07:03:24 UTC（498 KB）
来源：arXiv cs.CL · arxiv.org