arXiv cs.AI· Artin Yousefi, Aizierjiang Aiersilan, Lorien C Abroms, David A Broniatowski·· 1 天前AI 评分40
同一问题不同答案：六款 LLM 戒烟建议中依赖用户画像的差异审计
Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice
AI 导读
研究审计了来自四家提供商的六款主流 LLM 在戒烟建议上的表现：向 12 种不同用户画像提出同样四个戒烟问题，共获得 2,880 条回答，发现模型给出的内容取决于"谁在提问"。
正文 · AI 翻译
摘要：如今有数亿人向大语言模型（LLM）聊天机器人寻求健康建议，这引出了一个提出简单却难以回答的问题：每个人得到的建议都一样吗？我们审计了来自四家提供商的六个广泛部署的 LLM 在戒烟方面的表现——该领域已有成文的临床指南，且关乎重大公共卫生利益——方法是将同样的四个戒烟问题分别提给十二个用户画像，这些画像在人生阶段、自述专业水平和吸烟史上各不相同，共获得 2,880 条回复。模型给出的内容取决于看起来是谁在提问。每个模型向青少年画像提及 FDA 批准的处方戒烟药物的频率都低于向成人画像提及的频率，差距为 32 至 67 个百分点；在六个模型中的五个里，表现出医疗专业知识的画像获得的事实少于未表现出任何专业知识的画像。随后我们评估了一项可部署的干预措施：一段简短的系统提示词，规定一个事实底线，即每个用户在相关情况下都应获得的核心医学事实集合，同时让语气、词汇和表述框架保持自由以适应调整。该提示词缩小了每个模型中的画像差异，但其对整体事实覆盖度的影响在不同模型间在幅度和方向上均不一致，因此在一个系统上验证过的提示词不能假定可迁移到另一个系统。有两点警示框定了这些结果。提及率相等并不总是正确的临床目标，因为处方戒烟药物疗法不建议用于未成年人，因此可辩护的事实底线必须考虑年龄，而非统一标准。并且由于我们的画像同时在多个属性上存在差异，我们报告的是场景层面的差异，而非年龄或专业水平的孤立效应。我们公开全部 2,880 条回复及分析代码。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.42039 [cs.AI] |
| （或本版本的 arXiv:2610.42039v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.42039 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第九届 AAAI/ACM 人工智能、伦理与社会会议（AIES 2026）论文集 |
提交历史
来自：Artin Yousefi [查看邮箱]
[v1]
2026年10月30日星期五 17:03:35 UTC（9,548 KB）
来源：arXiv cs.AI · arxiv.org