arXiv cs.AI· Kapil Wanaskar, Gaytri Jena, Vinija Jain, Aman Chadha, Amitava Das·· 3 天前AI 评分36
ECLIPTICA：通过 CITA 实现可切换 LLM 对齐的框架
ECLIPTICA -- A Framework for Switchable LLM Alignment via CITA - Contrastive Instruction-Tuned Alignment
AI 导读
ECLIPTICA 将 LLM 对齐变为指令驱动、运行时可切换：自然语言对齐指令作为显式行为契约，动态调节立场、拒绝边界与详细程度。其 CITA 方法结合 SFT 与对比偏好优化，在 Llama-3.1-8B 上达到 86.7% 指令对齐效率，超过 DPO（56.1%）、GRPO（36.1%）和 PPO（20.4%）。
正文 · AI 翻译
摘要：大型语言模型（LLM）中的对齐在很大程度上仍是静态的：训练完成后，策略即被冻结。DPO、GRPO 等方法通常将某一种行为烙印进权重，除提示词技巧或昂贵的重新对齐外，几乎不提供运行时控制。我们提出 ECLIPTICA，将对齐视为指令驱动且可在运行时控制：自然语言对齐指令充当明确的行为契约（立场、拒绝边界、冗长度），在安全要求、用户角色和治理约束不断演变的情况下实时调节行为。
我们提出 CITA（对比指令微调对齐），将 SFT 与对比偏好优化相结合，并以参考模型作为显式几何锚点。这产生了一个稳定的黎曼图卡，并使指令更新保持在共享邻域内，从而使各状态彼此邻近且可遍历，以实现可靠切换。
为将策略切换与普通指令遵循区分开来，我们发布了 ECLIPTICA 基准：3000 个受控案例（300 个提示 x 10 种指令类型），其中用户请求固定不变，仅对齐指令发生变化。在 Llama-3.1-8B 上，跨五个套件（ECLIPTICA、TruthfulQA、Conditional Safety、Length Control、LITMUS），CITA 达到 86.7% 的指令对齐效率，优于 DPO（56.1%）、GRPO（36.1%）和 PPO（20.4%）。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.06157 [cs.LG] |
| （或 arXiv:2601.06157v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.06157 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Vinija Jain [查看电子邮件]
[v1]
2026年1月6日星期二 08:28:26 UTC（3,372 KB）
[v2]
2026年10月11日星期日 20:38:41 UTC（3,372 KB）
来源：arXiv cs.AI · arxiv.org