arXiv cs.CL· An-Sheng Jhang·· 10 小时前AI 评分31
多估计引导并不能统一消除语言模型判断中的偏差
Multi-Estimate Elicitation Does Not Uniformly Debias Language Model Judgments
AI 导读
研究在锚定、后见之明、基础比率、合取和现状/默认五类任务上对比直接数值回答与多估计回答格式，评估了 gpt-6.1-sol、claude-sonnet-5.5 和 Qwen3-8B（关闭推理）三种配置。23 项预注册验证测试中仅 6 项在 Holm 校正后显著，且这 6 项绝对点估计均低于预设最小效应量，未能确立等效性。多估计引导未能在任务与模型间实现统一去偏或响应衰减。
正文 · AI 翻译
摘要：在单次回答中引出五个加权估计值，是否会改变语言模型对信息的响应方式？在锚定、后见之明、基础比率、合取以及现状/默认任务中，我们将直接数值回答与多估计回答格式进行比较，对比了来源框架、显式随机线索以及概率一致性约束。我们评估了三种已完成的配置——gpt-6.1-sol、claude-sonnet-5.5 和 Qwen3-8B（推理已禁用，仅作描述性分析）。在前两种配置中，直接引出得到的无关锚定指数和现状效应均接近于零，同时对信息性来源和有依据的建议仍保持响应。在 23 项预注册验证性检验中，有六项在 Holm 校正后被拒绝；然而，这六项的绝对点估计值均低于其预先设定的最小关注效应量，且未确立等效性。此外，尽管单独引出与联合引出会改变合取判断，但解释受到调用间噪声的限制。最终，多估计引出未能在各任务和模型间产生一致的去偏或响应衰减，不过候选分布离散度与锚定误差之间的事后相关性为独立的预测性验证提供了动机。材料：此 https URL
| 评论： | 47 页，3 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00597 [cs.CL] |
| （或 arXiv:2611.00597v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00597 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：An-Sheng Jhang [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 03:46:00 UTC（2,777 KB）
来源：arXiv cs.CL · arxiv.org