arXiv cs.CL· Guy Tennenholtz, Ofer Meshi, Amir Globerson, Uri Shalit, Jihwan Jeong, Craig Boutilier·· 10 小时前AI 评分31
可控用户模拟：用因果推断消除 LLM 模拟器的前视偏差
Controllable User Simulation
AI 导读
研究将可控用户模拟形式化为因果推断问题，证明在事后轨迹标签上做监督微调会让 LLM 模拟器产生结构性偏差，标签与数据生成行为策略耦合，引入前视偏差并破坏因果一致性。作者进一步证明策略偏移下评估指标方差会几何级爆炸，称为“可控性崩溃”。为此提出先验控制、逐步动态控制和直接策略条件学习三种训练缓解方法，实验显示因果化模拟器可消除前视偏差、保留自然方差，并对未见智能体行为具备零样本泛化能力。
正文 · AI 翻译
摘要：使用离线数据集评估对话智能体往往无法覆盖罕见场景，也无法支持测试新策略。这促使人们采用可控用户模拟器进行有针对性的反事实评估，通常通过提示或微调大语言模型来实现。在本工作中，我们将可控模拟形式化为一个因果推断问题。通过将自然语言评估与离策略评估方法相结合，我们表明，通过对事后轨迹标签进行监督微调来训练模拟器的标准做法会产生一个结构上有偏的模型。具体而言，这些标签与数据生成行为策略密不可分地耦合在一起，注入了一种前视偏差，破坏了因果一致性。此外，我们证明在策略偏移下，这种失效会导致评估指标的方差呈几何级数爆炸，我们将这一现象称为可控性崩溃。为恢复因果一致性，我们建立了准确模拟的理论条件，并提出实用的训练缓解措施：先验控制、逐步动态控制以及直接以策略为条件的学习。实证评估证实，标准全局控制会扭曲对话分布并瓦解行为多样性，而我们基于因果的模拟器消除了前视偏差，保留了自然方差，并对未见过的智能体行为表现出稳健的零样本泛化能力。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.11519 [cs.AI] |
| （或 arXiv:2605.11519v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.11519 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guy Tennenholtz [查看邮箱]
[v1]
2026年5月12日 星期二 04:44:29 UTC（440 KB）
[v2]
2026年10月30日 星期五 02:34:41 UTC（449 KB）
来源：arXiv cs.CL · arxiv.org