并非所有漂移都是机制：追踪 LLM 中的提示词适配

Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs

AI 导读

研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响，发现适配所处位置决定了任务信息如何传递到输出：优化文本主要改变回复构建，输入级提示词将影响写入内容表征，逐层 prefix 则通过注意力维持直接控制，在 MoE 模型中还引发不同的专家路由模式。常见的表征级度量对通用上下文变化反应强烈，无法可靠区分有用适配与匹配的安慰剂。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：基于提示的适配提供了多种方式来特化一个冻结的语言模型，从自然语言提示优化到学习连续提示。这些方法通常通过下游性能进行比较，尽管相似的输出未必源于相似的内部计算。我们研究了离散提示优化、提示微调和前缀微调如何改变稠密和专家混合语言模型的处理过程。我们的分析表明，适配的位置预测了任务信息如何被传递到输出：优化后的文本主要改变响应的构建，输入级提示将其影响写入内容表示，而逐层前缀则通过注意力维持直接控制。在 MoE 模型中，这些差异进一步诱导出不同的专家路由模式。与此同时，常见的表示级测量对通用上下文变化反应强烈，无法可靠地区分有用的适配与匹配的安慰剂。我们认为，理解提示适配需要将表示漂移与漂移中与模型任务计算对齐并被因果使用的部分区分开来。这一视角为选择、评估和解释提示适配方法提供了实用指导。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.18412 [cs.LG]
	（或 arXiv:2610.18412v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.18412 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

发件人：Gleb Molodtsov 先生 [查看电子邮件]
[v1] 2026年10月13日星期二 13:52:52 UTC（562 KB）

来源：arXiv cs.AI · arxiv.org