arXiv cs.CL· Esko Lehtonen, Tommi Buder-Gr\"ondahl·· 12 小时前AI 评分22
研究：LLM 作为问卷受访者时，预测能力会随已知回答减少而退化至简单语义基线水平
LLMs as survey respondents: Comparison to simple semantic baselines
AI 导读
研究评估了三个 LLM 在两项关于自动驾驶与轻型电动车态度的问卷中预测留出题项回答的能力，并与基于嵌入向量相似度的两个简单基线对比。LLM 多数情况下预测优于基线，但已知回答比例下降时表现持续退化，在其中一项问卷中甚至与基线持平。结果表明 LLM 的问卷回答增强能力因调查而异，数据较少时会退回到简单嵌入相似度基线的水平。
正文 · AI 翻译
摘要：大型语言模型（LLM）已被探索用作人类调查受访者的替代品。一个更有前景的应用是数据增强，即 LLM 根据部分人类数据预测新的回答。然而，问卷条目之间的语义相似性是答案之间相关性的已知来源。因此，目前尚不清楚 LLM 是否真正推断了问答对之间的有意义关系，还是将问题之间的表面比较用作启发式方法。为评估这一点，我们考察了三个 LLM 在两项测量对自动驾驶汽车或轻型电动汽车态度的调查中，基于不同比例的已知回答，预测留出条目回答的能力。我们将性能与两个基线进行了比较，这两个基线通过最大化与先前回答的嵌入相似度来推导新回答。虽然 LLM 大多比基线更好地预测了人类回答，但其性能随着已知回答比例的降低而持续下降，在一项调查中甚至与基线持平。我们的结果表明，LLM 增强回答的能力因调查而异，并且在数据较少时可能回落到与更简单的嵌入相似度基线相同的水平。
| 评论： | 16 页，5 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29645 [cs.CL] |
| （或 arXiv:2610.29645v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29645 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tommi Buder-Gröndahl [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 12:26:20 UTC（107 KB）
来源：arXiv cs.CL · arxiv.org