arXiv cs.CL· Tianyu Zheng, Hong Wu, Jiaji Zhong·· 10 天前AI 评分22
APCD：面向可靠大语言模型生成的自适应路径对比解码
APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation
AI 导读
研究者提出自适应路径对比解码（APCD），一种无需重训练或微调的多路径对比解码框架，通过熵驱动路径扩展在高不确定性决策点自适应展开解码，并用散度感知路径对比动态调节并行路径间的对比交互。在四个 LLM 主干、八个覆盖通用与医学问答的基准上，APCD 在事实准确率上持续优于强推理时基线，同时保持有竞争力的推理效率。
正文 · AI 翻译
摘要：可靠的文本生成对于在现实世界应用中部署大型语言模型（LLM）至关重要，尤其是在医学等高风险领域。为了提高事实可靠性，人们提出了各种推理时方法，包括修改 token 概率分布的逻辑值级方法，以及操纵中间模型表示的表示级方法。然而，大多数现有方法在单一解码轨迹上运行，限制了它们探索替代推理路径的能力，并使它们容易受到错误累积的影响。为了解决这一局限，我们提出了自适应路径对比解码（APCD），一种自适应多路径对比解码框架，无需模型重新训练或微调即可提高事实可靠性。APCD 包含两个关键组件：熵驱动路径扩展，仅在高不确定性决策点自适应地扩展解码过程；以及散度感知路径对比，根据并行解码路径之间的分布散度动态调节它们之间的对比交互，以平衡多样性和连贯性。我们在四个 LLM 主干模型上，跨八个基准（涵盖通用领域和医学问答任务）评估了 APCD。实验结果表明，APCD 在事实准确性方面始终优于强大的推理时基线，同时保持具有竞争力的推理效率。这些结果证明了 APCD 在不同模型和任务上的鲁棒性和泛化性，凸显了其作为可靠 LLM 部署的实用多路径解码框架的有效性，尤其是在医学等高风险领域。代码可在 此 https URL 获取。
| 评论： | 这是提交给 ESWA 的扩展期刊版本。它建立在先前撤回的会议稿件（ACL 格式）之上。核心研究工作保持不变，并进行了大量扩展，包括额外的消融实验和更深入的分析，以满足期刊要求 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.09492 [cs.CL] |
| （或 arXiv:2605.09492v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.09492 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tianyu Zheng [查看电子邮件]
[v1]
2026年5月10日星期日 11:57:39 UTC（468 KB）
[v2]
2026年5月20日星期三 15:55:09 UTC（1 KB）（已撤回）
[v3]
2026年10月7日星期三 13:32:01 UTC（906 KB）
来源：arXiv cs.CL · arxiv.org