arXiv cs.AI· Shengxiang Gao, Chao Lei, Jey Han Lau, Linhao Luo, Jianzhong Qi·· 10 天前AI 评分22
Reward on Path：为知识图谱问答学习中间监督信号
Reward on Path: Learning Intermediate Supervision Signals for Knowledge Graph Question Answering
AI 导读
针对知识图谱问答中答案标签监督噪声大、LLM 精炼监督成本高的问题，研究者提出 RoP 框架，用非对称目标从答案标签中学习轻量级、以问题为条件的路径奖励。该奖励经蒸馏与 GRPO 在线策略优化两阶段训练 LLM 关系路径生成器，在多个 KGQA 数据集上 F1 较答案标签方法提升至少 2.6%，且无需昂贵的 LLM 监督构建。
正文 · AI 翻译
摘要：知识图谱问答（KGQA）旨在通过在知识图谱（KG）上进行推理来回答用户问题。近期方法利用由答案标签导出的监督信号，或由大语言模型（LLM）精炼后的监督信号，来训练模型检索 KG 证据以支持基于 LLM 的答案推理。然而，由答案导出的监督信号将每条通向答案的路径都视为正确，因而产生带噪的训练信号；而由 LLM 精炼的监督信号虽能缓解这种噪声，却代价高昂。为解决这些局限，我们提出路径奖励（Reward on Path，RoP），一个以非对称目标从答案标签中学习轻量级、以问题为条件的路径奖励的框架。通向同一答案的路径作为一个包被联合监督，使奖励模型能够学习它们的相对贡献，而每条路径则因检索到非答案实体而单独受到惩罚。随后，学习到的奖励分两阶段训练基于 LLM 的关系路径生成器：奖励蒸馏将奖励诱导出的对候选路径的偏好迁移到生成器中，而基于 GRPO 的在线策略优化进一步在自生成路径上精炼策略。生成的路径在 KG 中落地，以检索用于答案推理的证据。在多个 KGQA 数据集上的实验表明，RoP 相比由答案导出的方法将 F1 提升至少 2.6\%，同时优于 LLM 精炼方法，且无需昂贵的监督信号构建。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.10791 [cs.AI] |
| （或 arXiv:2605.10791v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10791 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shengxiang Gao [查看邮箱]
[v1]
2026年5月11日星期一 16:21:47 UTC（275 KB）
[v2]
2026年10月1日星期四 15:40:30 UTC（496 KB）
来源：arXiv cs.AI · arxiv.org