arXiv cs.CL· Buxin Su, Bingxuan Li, Cheng Qian, Yiwei Wang, Jin Jin, Bingxin Zhao·· 12 小时前AI 评分36
重新审视合成推理依据监督在疾病预测中的作用
Rethinking Synthetic Rationale Supervision for Disease Prediction
AI 导读
在五年阿尔茨海默病及相关痴呆（ADRD）预测任务上，504 组配置的大规模对照实验发现，先输出推理依据再给标签的 Rationale First SFT 相比仅标签微调会持续显著损害预测性能，该退化跨模型族与数据规模存在，换用推理型基座模型也未解决。
正文 · AI 翻译
摘要：人们普遍认为，使用合成理由进行监督微调能够提升临床预测，因为它不仅教会模型预测什么，还教会模型为什么这样预测。我们在基于纵向健康史对阿尔茨海默病及相关痴呆症（ADRD）进行五年预测的任务上检验了这一假设。在此设定下，我们使用正确标签生成训练理由，然后微调模型，使其先输出理由、再输出标签。在一项包含 504 种配置的大规模对照实验中，我们发现，与仅使用标签的微调相比，“理由优先”的监督微调（Rationale First SFT）会持续且显著地损害预测性能。这种性能下降在不同模型家族和数据规模下均持续存在，并且使用面向推理的基座模型也无法解决。一项采用固定协议的心血管疾病（CVD）验证实验重现了类似结果。关键在于，这一失败并不能用理由质量差来解释：人类专家标注确认，生成的理由在医学上是准确的，并且忠实地基于患者特定证据；少样本实验表明，同样的理由在作为推理时演示而非训练目标使用时，反而能提升性能。一个简单的标签顺序干预阐明了其机制：将预测放在同一理由之前，可以恢复预测性能。这表明，让预测以生成的理由为条件，是导致性能下降的原因之一。我们希望这项工作能为更精确地理解基于理由的监督何时以及如何有帮助、何时没有帮助铺平道路，从而指导用于高风险临床预测的语言模型的负责任开发。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.10279 [cs.AI] |
| （或使用 arXiv:2606.10279v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.10279 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Buxin Su [查看邮箱]
[v1]
2026年6月9日星期二 01:00:04 UTC（1,104 KB）
[v2]
2026年10月20日星期二 23:45:46 UTC（2,628 KB）
来源：arXiv cs.CL · arxiv.org