arXiv cs.AI· Tanzeel Abbas, Ahmad Kamran Malik, Nafees Qamar, Sana Liaqat·· 1 天前AI 评分31
PECA：面向小型语言模型临床推理的可微长度控制与简洁性适配
Parameter-Efficient Conciseness Adaptation: Differentiable Length Control for Concise Clinical Reasoning in Smaller Language Models
AI 导读
PECA 在 QLoRA 监督微调目标中加入单个可微简洁项，通过提高超出 token 预算后的序列结束概率实现长度控制，无需偏好数据、辅助模型或专有教师模型，单张消费级 GPU 即可完成。
正文 · AI 翻译
摘要：小型语言模型（SLM）使得在大型专有模型成本过高的场景中部署临床自然语言处理成为可能，而参数高效微调则使其能够在普通硬件上进行专门化训练。训练之后仍存在一个障碍：在医学任务上，这些模型的回答长度远超临床问题所需。在临床决策支持和床旁使用中，时间紧迫，即使底层推理合理，这种冗长也难以付诸行动。现有的长度控制方法依赖于偏好优化、奖励模型或专有教师模型，这削弱了使 SLM 具有吸引力的可及性。我们提出了参数高效简洁性适配（PECA），它在 QLoRA 监督微调目标中加入了一个可微的简洁性项。由于 token 数量是离散且不可微的，PECA 改为在生成超过 token 预算后提高序列结束概率，这是一个在常规训练中优化的平滑信号，无需偏好数据、无需辅助模型，仅需一块普通 GPU。在一个基于 medical-o1-reasoning-SFT 语料库微调的 17 亿参数模型上，PECA 将平均响应长度减少了 72.8%，同时将多项选择诊断准确率从 40.8% 提升至 44.0%。对简洁性强度的扫描描绘出一条可解释的准确率-长度前沿，用于平衡简洁性与诊断完整性。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.17128 [cs.CL] |
| （或 arXiv:2611.17128v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tanzeel Abbas 先生 [查看电子邮件]
[v1]
2026年11月12日星期四 17:21:12 UTC（1,556 KB）
来源：arXiv cs.AI · arxiv.org