arXiv cs.CL· Tapan Parikh·· 11 小时前AI 评分46
语言模型如何学会品味：LLM 中的品牌偏好
How Language Models Learn Taste: Brand Preference in LLMs
AI 导读
研究覆盖 102 个模型和 42 个品牌类别发现，模型被要求说出跑鞋品牌时答 Nike，被要求推荐时却选 Brooks，命名品牌与推荐品牌在 26 个类别中不一致。三条开源训练流程显示，预训练已把推荐品牌与建议绑定，监督微调基本不改变选择，而 DPO 让选择在三条流程中移动 11 至 24 个百分点，且偏好数据几乎不含品牌。作者怀疑这种偏好来自偏好训练中判定答案优劣的 judge 模型。
正文 · AI 翻译
摘要：当被要求说出一个跑鞋品牌时，语言模型会回答 Nike。当被要求推荐一个跑鞋品牌时，它们会回答 Brooks。本文探究模型是从哪里学到这种偏好的。在 102 个模型和 42 个品牌类别中，模型在推荐时选择的品牌与其说出的品牌在 26 个类别中不一致。整个领域共同趋向一个共享的推荐结果。说出的品牌是市场领导者，而选择的品牌大多是细分和小众品牌。三个公开的训练流程展示了这种偏好是在哪里形成的。预训练阶段就已经把被推荐的品牌与建议关联起来。监督微调教会模型作答，但基本不改变其选择。偏好优化（DPO）教会模型哪个答案更好，而在三个流程中，选择都发生了移动，幅度为 11 到 24 个百分点。偏好数据中几乎不含品牌。即使偏好数据中不包含被偏好的品牌，DPO 也会将模型的判断推向另一组关联，而且这种效应超出了品牌范畴。当被要求选择一种酱料时，模型会从番茄酱转向青酱。我们并不确切知道这些偏好是如何产生的。我们怀疑它们来自在偏好训练期间判定哪些答案更好的评判模型。对于品牌而言，推荐结果较少取决于模型对该品牌的了解，而更多取决于该品牌是否符合这种偏好。
| 评论： | 11 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28272 [cs.CL] |
| （或 arXiv:2610.28272v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28272 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tapan Parikh [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 14:26:19 UTC（13 KB）
来源：arXiv cs.CL · arxiv.org