跳到正文
arXiv·· 12 天前AI 评分32

UNREAL:用单一模型统一检索与长上下文

UNREAL: Unifying Retrieval and Long-Context with a Single Model

AI 导读

UNREAL 是一个模型原生的证据选择框架,用同一套模型内部机制同时覆盖语料检索与长上下文推理。它直接从冻结 LLM 的内部表示中编码文本块并生成检索查询,仅新增不到 500K 可训练参数。

来源:arXiv · arxiv.org