LLM 条件控制中的有效性-流畅性权衡：一项系统性研究
On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study
研究系统考察了 LLM 概念注入与移除场景下的多种条件控制方法，发现高效激活引导（activation steering）方法往往以流畅性大幅下降为代价。激活引导在指令微调模型上的效果远不如基座模型，而简单提示词与完整监督微调适合概念注入、却不擅长概念移除。低成本文本指标与昂贵的 LLM-as-judge 评分高度相关。
作者Iuri Macocco†, Pau Rodríguez Lopez, Arno Blaas, Luca Zappella, Marco Baroni†*, Xavier Suau Cuadros*
控制大型语言模型（LLM）的输出是其可靠部署的核心挑战，然而对其中涉及的权衡仍缺乏清晰理解。当前的条件控制方法在评估时往往只狭隘地关注其注入或移除目标概念的有效性，而忽视了生成质量。我们系统地研究了注入和移除场景下的多种条件控制方法。我们发现，高效引导方法往往以流畅性大幅下降为代价实现条件控制。此外，我们发现了一个关键但此前被忽视的与训练范式的交互作用：激活引导方法在指令微调模型上的效果远不如在基础模型上。另一方面，简单提示和完整的监督微调是概念注入的可行选择，但在概念移除方面表现不佳。最后，低成本计算的文本指标与高成本的LLM作为评判者的评分高度相关，并为条件控制方法的行为提供了洞见。
- † Universitat Pompeu Fabra
- * 同等贡献
相关阅读和更新。
激活引导已成为一种强大的方法，用于引导生成模型的行为朝向期望的结果，例如减轻毒性。然而，大多数现有方法对所有输入统一施加干预，在不需要引导时降低模型性能。我们引入了动态缩放激活引导（DSAS），一种与具体方法无关的引导框架，将何时引导与如何引导解耦。DSAS…
*同等贡献者
在语音助手系统的语境中，引导指的是用户发出后续命令，试图指示或澄清前一轮对话的现象。我们提出了STEER，一种引导检测模型，用于预测后续轮次是否是用户试图引导先前命令。为引导用例构建训练数据集因冷启动问题而面临挑战。为克服这一点，我们…
来源：Apple Machine Learning Research · machinelearning.apple.com