arXiv cs.CL· Rohan Subramanian Thomas, Shikhar Shiromani, Abdullah Chaudhry, Ruizhe Li, Vasu Sharma, Kevin Zhu·· 11 小时前AI 评分31
ProMoral-Bench：评估 LLM 道德推理与安全性的提示策略
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
AI 导读
ProMoral-Bench 对四类 LLM 家族的 10 种提示范式做了基准式对比，基于 ETHICS、Scruples、WildJailbreak 及自建 200 对 ETHICS-Contrast 数据集，并给出 MCS、SRS 与 UMSS 三项指标。
正文 · AI 翻译
摘要：提示设计会影响大语言模型（LLM）产生的道德判断和拒绝行为，但受控比较在不同数据集和模型之间仍然零散。我们提出 ProMoral-Bench，这是一个基准式的比较，涵盖四个 LLM 系列中的 10 种提示范式。我们使用 ETHICS、Scruples、WildJailbreak 以及我们自己的 200 对 ETHICS-Contrast 集，报告任务级指标以及道德能力得分（MCS）、越狱/过度拒绝安全鲁棒性得分（SRS）和统一道德安全得分（UMSS）。UMSS 是本研究对 MCS 和 SRS 的特定相对汇总，并非对模型安全性或道德基础的绝对度量。在此固定模板评估中，与所测试的特定多阶段变体相比，紧凑的示例引导式脚手架以更低的 token 成本实现了更强的能力-鲁棒性权衡，尽管多阶段提示偶尔能改善越狱拒绝。少样本演示互不重叠，但取自评估分布，因此其优势不应被解读为分布外鲁棒性。代码和数据可在 此 https URL 获取。
| 评论： | 已被 AACL-IJCNLP 2026（主会议）接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.13274 [cs.AI] |
| （或 arXiv:2602.13274v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.13274 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rohan Thomas [查看电子邮件]
[v1]
2026年2月5日星期四 10:07:39 UTC（159 KB）
[v2]
2026年11月4日星期三 22:17:05 UTC（174 KB）
来源：arXiv cs.CL · arxiv.org