arXiv cs.AI· Ryan Solgi, Jiayi Tian, Zheng Zhang·· 9 天前AI 评分24
LoRi：面向隐式推理的低秩蒸馏框架
LoRi: Low-Rank Distillation for Implicit Reasoning
AI 导读
研究者提出 LoRi 低秩蒸馏框架，通过一阶和二阶统计量在共享低秩张量子空间中对齐教师与学生的推理轨迹，将推理内化到隐式思维链（iCoT）中。在 LLaMA 和 Qwen 等多个模型家族的数学推理基准上，该方法持续提升性能，在多步难题上接近显式 CoT 准确率，并优于此前的 iCoT 蒸馏方法。
正文 · AI 翻译
摘要：隐式思维链（iCoT）方法旨在将推理内化于大型语言模型中，但往往不如显式 CoT 提示。我们通过实证发现，隐藏状态推理轨迹呈现低秩结构。受此观察启发，我们提出了一种低秩蒸馏框架，通过使用一阶和二阶统计量在共享低秩张量子空间中对齐教师和学生的轨迹来迁移推理。由此得到的公式捕捉了推理的全局结构，同时支持紧凑的潜在推理过程。我们在数学推理基准上跨多个模型系列（包括 LLaMA 和 Qwen）在不同规模下评估了该方法。我们的方法持续提升性能，尤其是在具有挑战性的多步任务上，接近显式 CoT 的准确率并优于先前的 iCoT 蒸馏方法。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.05315 [cs.CL] |
| （或 arXiv:2606.05315v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05315 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ryan Solgi [查看电子邮件]
[v1]
2026年6月3日星期三 18:05:50 UTC（1,259 KB）
[v2]
2026年10月7日星期三 18:39:29 UTC（1,261 KB）
来源：arXiv cs.AI · arxiv.org