arXiv cs.CL· Iris Ye, Tianze Deng, Ozan Candogan·· 10 小时前AI 评分20
BDE 结构化问卷历史提升 LLM 数字孪生预测准确率：一项受控研究
Structuring Survey Histories for LLM Digital Twins: A Controlled Study of Background, Decision Procedure, and Evaluation Profiles
AI 导读
研究提出 BDE 固定表示，将受访者问卷历史组织为 Background、Decision procedure 和 Evaluation 三部分，在 Twin-2K-500 的 17 项任务上预测留出答案。
正文 · AI 翻译
摘要：基于 LLM 的数字孪生旨在根据个体先前回答的表示来预测其在新情境下会如何作答。已有证据表明，对调查历史进行压缩未必会降低预测准确率，这提示表示结构而非单纯的信息量可能是一项重要的设计选择。我们研究 BDE，这是一种固定表示，将每位受访者的调查历史组织为背景（Background）、决策过程（Decision procedure）和评价（Evaluation）。我们在 Twin-2K-500（Toubia 等，2025）上对其进行评估，预测每位受访者在 17 项任务上的留出答案。在针对 100 位受访者的配对评估中，完全推断出的 BDE 画像在 gpt-5.4-nano 上将整体准确率较原始调查记录提高 1.27 个百分点（pp）（p < 0.01），在 gpt-5.4-mini 上提高 1.19 pp（p < 0.001）。随后三项分析分别考察了模式、抽取深度和组件构成。与由同一抽取器基于同一记录撰写、长度匹配的自由形式画像相比，BDE 在两个模拟器上均提升了定价准确率（nano 上 2.15 pp，p < 0.01；mini 上 1.38 pp，p < 0.05），而其整体优势仅在 nano 上显著（1.05 pp，p < 0.05）。在抽取过程中允许更深的推断，在两个模拟器上均未带来统计显著的增益。相比之下，在背景—决策过程画像中加入评价，可使整体准确率在 nano 上提高 1.44 pp（p < 0.001），在 mini 上提高 1.22 pp（p < 0.001）。这些结果表明，相对于原始记录的优势不能仅由压缩或长度解释，并将其主要归因于画像构成而非更深的抽取。
| 评论： | 10 页。SocialAgent：第二届大语言模型社会推理与模拟研讨会（NeurIPS 2026）的定稿版本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08730 [cs.CL] |
| （或本版本的 arXiv:2611.08730v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.08730 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianze Deng 先生 [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 21:25:46 UTC（20 KB）
来源：arXiv cs.CL · arxiv.org