arXiv cs.CL· Yishen Chen, Qi Dong, Yukun Zhang·· 14 小时前AI 评分24
Hierarchical Alignment：用块级 LoRA-DPO 做 LLM 偏好微调
Hierarchical Alignment: Block-Level LoRA-DPO for Preference Tuning in Large Language Models
AI 导读
研究提出 Hierarchical Alignment，将解码器深度划分为 Local、Intermediate、Global 三个区域，把固定 LoRA 预算限制在连续块内做 DPO 偏好微调。
正文 · AI 翻译
摘要：偏好调优通常会将适配器更新分布到每一个 Transformer 层。我们研究了固定 LoRA 预算的放置位置如何影响直接偏好优化（DPO）。分层对齐将解码器深度划分为局部、中间和全局区域，并将 LoRA 更新限制在选定的连续块内。在 Qwen 和 Llama 模型上，三随机种子的滑动窗口扫描揭示了中间深度附近存在广泛的低损失盆地。在可训练参数完全匹配的情况下，Middle 在 Qwen2.5-7B 和 Llama-3.1-8B 上取得了比全深度分配更低的留出 DPO 损失。生成层面的证据则更具变异性。LLM 评判员和一项盲法人类研究在 Qwen 上未能区分 Selected 与 All；在 Llama 上，两个成对评判员倾向于 All，而人类置信区间包含零。训练后适配器的干预实验表明，学习到的深度组件会影响优化目标；移除 Llama 的 Selected 窗口也会降低生成质量。在 Qwen2.5 的 3B、7B 和 14B 上，Middle 与 All 在 Qwen3-Max 下仍无法区分；在 3B 和 14B 上，两者均优于 Base。在我们的实现中，Middle 相比参数匹配的全深度分配还使用更少的峰值内存，并采取更短的步长。总之，这些结果支持将中间深度作为固定预算偏好调优的实用起点，尽管最佳窗口及其行为价值仍需针对每种设置进行验证。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.12044 [cs.CL] |
| （或 arXiv:2510.12044v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.12044 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yukun Zhang [查看电子邮件]
[v1]
2025年10月14日星期二 00:58:34 UTC（2,443 KB）
[v2]
2026年10月24日星期六 15:54:38 UTC（137 KB）
来源：arXiv cs.CL · arxiv.org