arXiv cs.CL· Yuyao Zhang, Yakun Cui, Han Zhu, Jinsong Lu, Yike Guo, Sirui Han·· 12 小时前AI 评分45
FrameBench-HPS 基准揭示高风险决策中 LLM 的增益-损失框架效应
Same Probabilities, Different Advice: Gain-Loss Framing Effects in High-Stakes LLM Decision Support
AI 导读
研究提出 FrameBench-HPS 基准，包含 240 个高风险场景衍生的 2,880 条提示词，覆盖医疗、金融、教育/职业和法律/消费者权益领域。在七个 LLM 上，增益-损失框架使 32.4% 的完整组改变了推荐类别，且多数变化涉及不确定性而非直接反转。概率规范化可显著降低框架敏感性，表明概率表示是提升高风险 LLM 决策支持一致性的可行改进目标。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于支持重大决策，但其在不确定性的等价表示下的可靠性仍不明确。已有研究记录了提示敏感性、认知偏差和置信度校准不良，但尚不清楚当同一概率通过互补的收益与损失框架表达时，高风险建议是否会发生变化。我们提出了 FrameBench-HPS，这是一个受控基准，包含 2,880 条提示，源自医疗健康、金融、教育/职业以及法律/消费者权益领域的 240 个高风险场景。在七个 LLM 中，收益-损失框架在 32.4% 的完整组中改变了建议类别，其中大多数变化涉及不确定性，而非直接反转。人工评估证实了感知风险和指令性方面的相应变化。稳健性实验表明，框架效应在对话式复述下持续存在，并超过普通重复生成的变异性。概率规范化大幅降低了框架敏感性，表明概率表示是提高高风险 LLM 决策支持一致性的一个实际目标。
| 评论： | 14 页，2 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29294 [cs.AI] |
| （或 arXiv:2610.29294v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.29294 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuyao Zhang [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 06:46:33 UTC（1,465 KB）
来源：arXiv cs.CL · arxiv.org