arXiv cs.AI· Kounianhua Du, Jianxing Liu, Kangning Zhang, Wenxiang Jiao, Yuan Lu, Jiarui Jin, Jianghao Lin, Weiwen Liu, Yong Yu, Weinan Zhang·· 3 天前AI 评分31
FleetPilot：细粒度引导实现真实场景下的 LLM 个性化
FleetPilot: Fine-Grained Steering Empowers Real-World LLM Personalization
AI 导读
FleetPilot 是一个细粒度、按实例定制的大语言模型个性化引导框架，可从用户数据动态生成样本级干预向量并注入模型前向传播。它通过 match contrast 提取用户相关信号、细粒度引导组件挂钩 attention 与 MLP 层激活、查询条件聚合模块合成上下文相关增强。
正文 · AI 翻译
摘要：随着大语言模型（LLM）的快速演进，对能够使模型行为适配个体用户偏好的有效个性化技术的需求日益增长。个性化 LLM 必须从有限、异构且不断演化的交互历史中推断用户与查询相关的偏好。现有方法主要依赖上下文内个性化、参数化适配或个性化奖励建模，但分别会带来上下文管理、模型优化与部署，或多候选生成与评分方面的持续性成本。当用户观测稀疏，且与每个查询相关的偏好证据随上下文和时间变化时，这些局限尤为突出。为应对这些挑战，我们提出 \modelname，一种细粒度且针对实例定制的引导框架，它从用户数据中动态生成样本级干扰向量，并将其注入模型前向传播以实现个性化适配。我们的方法引入：匹配对比，用于产生与用户相关的信号；细粒度引导组件，通过从注意力和 MLP 层挂钩激活来捕获细微信号；以及查询条件聚合模块，将这些信号合成为上下文相关的增强。在多种场景（包括短到长文本生成和网页函数调用）中的大量实验验证了 \modelname 的有效性和兼容性。结果表明，我们的方法持续带来显著的性能提升，并在快速变化和数据稀疏环境中展现出极大优势。此外，\modelname 使我们无需训练周期，仅带来轻微的存储或推理延迟开销。这些使 \modelname 成为一种强大且可实际部署的方法。实现见 \footnote{this https URL}。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14970 [cs.AI] |
| （或 arXiv:2610.14970v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14970 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kounianhua Du [查看邮箱]
[v1]
2026年10月10日星期六 14:44:50 UTC（787 KB）
来源：arXiv cs.AI · arxiv.org