arXiv cs.AI· Jiashen Ren, Wenlin Zhang, Bohan Zhang, Xiaopeng Li, Zichuan Fu, Wanyu Wang, Junyi Li, Xiangyu Zhao·· 1 天前AI 评分36
LLM 用户模拟中的“中立性缺口”:Persona Following 并非选择性控制
Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation
AI 导读
研究在 8 个黑盒模型和 5 个开放权重模型上发现,仅改变目标属性会连带改变未指定的非目标选择,显式指定非目标方向可几乎消除这种跨属性漂移,但明确声明“无偏好”时仍有 37.7%-76.3% 的留出世界和 51%-81% 的独立非目标项随目标属性漂移,作者称之为“中立性缺口”。
正文 · AI 翻译
摘要:角色提示(Persona prompting)被广泛用于 LLM 用户模拟,但它依赖一个未经检验的假设:指定目标用户属性应当改变目标行为,同时保持其他固定属性不变。然而,在八个黑盒模型和五个开放权重模型上,仅改变目标属性也会改变未指定的非目标选择,例如风险偏好改变会影响颜色选择。我们在 477 个留出的合成世界和 200 个独立条目上,在未指定、有方向性和中性三种状态下,检验显式指定非目标属性是否能恢复选择性控制。指定明确的非目标方向几乎消除了跨属性偏移。然而,显式声明无偏好时,仍有 37.7%-76.3% 的留出世界和 51%-81% 的独立非目标条目随目标属性偏移,同时保持目标有效性。我们将这种差异称为中性差距(neutrality gap)。由于有方向性测试只需遵循已声明的偏好即可通过,中性状态揭示了它们所遗漏的选择性控制失败:遵循已声明的角色并不意味着保持无关选择不变。在模拟投资决策中,即使模型准确报告没有颜色偏好,无关的宣传册颜色标签仍会使估计的目标风险处理效应偏移 25.5 个百分点。反事实注意力干预表明,不必要的影响主要在查询时进入,即选项评估直接读取目标角色时。阻断查询时注意力可将非目标漂移降低 72.1%-87.8%,而有方向性声明主要通过覆盖选项值而非重新路由注意力来抑制漂移。由于目标和非目标选择共享查询时访问,阻断它会削弱目标有效性,而值覆盖会施加人为方向,因此任务相关的选择性访问仍是核心挑战。
| 评论: | 61 页,9 张图 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2609.35036 [cs.AI] |
| (或 arXiv:2609.35036v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.35036 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jiashen Ren [查看电子邮件]
[v1]
2026 年 9 月 28 日星期一 12:34:21 UTC(921 KB)
[v2]
2026 年 11 月 12 日星期四 05:17:19 UTC(977 KB)
来源:arXiv cs.AI · arxiv.org