arXiv cs.AI· Anand Swaroop, Maheep Chaudhary, Kevin Zhu, Sunishchal Dev, Vasu Sharma·· 3 天前AI 评分27
LIFT：基于似然的干预忠实度训练，提升 LLM 链式推理忠实性
LIFT: Likelihood-Based Intervention Faithfulness Training
AI 导读
研究者提出 LIFT，通过将推理步骤替换为领域匹配但无关的事实、测量答案对数概率下降来自动为每步推理打因果影响分，并在高分的 CoT 轨迹上微调，同时优化忠实度与准确率。该方法在 Mistral-7B-Instruct、Qwen3-8B 和 Qwen3-4B-Instruct 三个模型及三个基准上提升了忠实度，准确率与仅针对准确率微调的模型相当，且无需人工标注。
正文 · AI 翻译
摘要：思维链（CoT）推理提高了 LLM 在复杂任务上的准确率，但 CoT 往往不忠实；也就是说，模型并不依赖所陈述的推理步骤来得出答案。现有的提高忠实度的方法需要人工标注。我们提出 LIFT，它通过每个推理步骤的因果影响自动为其打分：我们将其替换为一个领域匹配但不相关的事实，并测量答案对数概率的下降。我们在干预成功扰乱推理的高分 CoT 轨迹上进行微调，同时优化忠实度和准确率。LIFT 在三个模型（Mistral-7B-Instruct、Qwen3-8B 和 Qwen3-4B-Instruct）和三个基准上提高了忠实度，准确率与仅针对准确率微调的模型相当。
| 评论： | 13 页，3 张图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.13334 [cs.AI] |
| （或 arXiv:2509.13334v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.13334 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anand Swaroop [查看电子邮件]
[v1]
2025 年 9 月 10 日星期三 07:07:17 UTC（22,530 KB）
[v2]
2026 年 10 月 12 日星期一 21:45:58 UTC（84 KB）
来源：arXiv cs.AI · arxiv.org