用 Preference-Behavior Model 联合建模 LLM 的偏好与不完美决策

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在标准引出任务中表达的偏好能否预测其策略行为？与人类及其他 AI 系统交互的 LLM 智能体面临可能相互冲突的目标，例如个体福利、群体福利和环境关切。先前的工作通过行为经济学与心理学的引出方法或策略博弈来刻画 LLM 偏好，但很少检验其在不同情境下的一致性以及在其它策略环境中的预测能力。这需要建模相互竞争的目标如何共同塑造行为，而现有方法通常孤立地测量偏好维度。借鉴效用理论，我们引入了偏好-行为模型（PBM），它将偏好表示与捕捉不完全效用最大化的机制相结合。我们将估计表述为逆博弈问题，从观察到的选择中联合推断偏好和行为参数。我们在三个暴露冲突动机的社会困境中评估 PBM：公共物品博弈、集体风险困境和公共池资源困境。我们发现，虽然从既有行为经济学引出工具估计出的偏好不能一致地预测这些困境中的行为，但在一个困境中拟合的模型在其它困境中仍具有预测价值，这表明推断出的偏好捕捉到了 LLM 决策中引出工具可能遗漏的有意义方面。最后，我们评估了与角色指令的对齐情况，发现推断出的偏好大体上反映了预期优先级，同时我们的方法识别出了跨维度、跨 LLM 和跨博弈的具体分歧。我们的方法提供了一个框架，用于研究 LLM 偏好解释行为的一致性、评估与预期优先级的对齐，并揭示标准引出可能遗漏的权衡和行为模式。

提交历史

来自：Axel Abels [查看电子邮件]
[v1] 2026年10月24日星期六 13:06:54 UTC（598 KB）