arXiv cs.AI· Yibo Yang, Zerui Huang, Haomiao Yang, Zixia Wang·· 2 天前AI 评分31
MedConstBench：基准测试「宪法」如何引导 LLM 的医疗伦理行为
MedConstBench: Benchmarking How Constitutions Steer LLMs in Medical Ethics
AI 导读
研究者提出医疗伦理基准 MedConstBench，将部署时的「宪法」作为受控变量，围绕 Beauchamp 四原则组织，并用人工校准的多模型同行评审打分。在四种宪法下评测十个开源 LLM 发现，宪法的影响具有维度选择性和模型依赖性，不存在普遍最优的宪法。
正文 · AI 翻译
摘要：随着大语言模型快速发展，它们越来越多地被用于回答医学问题，许多此类模型现已实现本地部署。模型一旦部署，其行为主要受写入其宪法中的伦理政策支配。然而，现有工作大多关注事实正确性，而非相互竞争的伦理价值之间的权衡。即便是评估伦理的基准，也将其视为模型的固定属性而非变量，因此宪法如何重塑医学伦理行为在很大程度上仍未被探索。我们提出 MedConstBench，这是一个医学伦理基准，它将部署宪法视为受控变量，围绕 Beauchamp 的四原则组织，并由人工校准的多模型同行评审进行评分。它包含我们自建的临床困境数据集 MedDilemma，并支持系统分析宪法如何引导 LLM。在四种宪法下评估十个开源 LLM，我们发现宪法的影响具有维度选择性和模型依赖性，且没有一种宪法是普遍最优的。受这些发现启发，我们提出一种不伤害自适应选择器，为每个模型选择一种宪法，匹配逐模型 oracle，同时保证最坏情况下限，并以低成本泛化到未见过的模型。
| 评论： | 8 页，3 幅图，8 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36513 [cs.AI] |
| （或 arXiv:2610.36513v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36513 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yang Yibo [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 02:17:13 UTC（2,401 KB）
来源：arXiv cs.AI · arxiv.org