arXiv cs.AI· Rikhil Jhaveri, Jamie Johnson, Punya Syon Pandey, David Demitri Africa·· 11 小时前AI 评分34
论文提出“功能性福利”应作为 AI 安全变量，并在 Gemma 3 27B 上验证
Functional Welfare for AI Safety
AI 导读
论文主张 AI 福利不只是伦理问题，模型表现出的“功能性福利”状态会因果性影响其行为，应作为安全变量纳入评测设计、监控和后训练。作者提出三项判定测试：多指标是否收敛、状态能否预测诱发场景之外的行为、微调后相同对话历史下是否仍与基座模型不同。在 Gemma 3 27B 上，仅拒绝模型答案（不做引导）即令其挫败感多项指标上升、更易违规；用模型自述解法微调则降低挫败感。
正文 · AI 翻译
摘要：AI 福利通常被纯粹视为一个伦理问题，而非同时也是一个安全问题。我们认为这是一种错误。无论其道德地位如何，模型都会表现出类似福利的状态，这些状态会因果性地影响其行为。遵循近期研究，我们采用“功能性福利”这一术语来指代这些状态。我们提出三点主张。第一，功能性福利已经自然出现，并且随着模型获得更连贯的目标和人格，它将变得更加稳健。第二，功能性福利应被视为一个安全变量：它应指导评估设计、在监控中被追踪，并成为后训练的直接目标。第三，针对现有对测量 AI 福利的怀疑，我们认为关于功能性福利的良好实证研究是可能的。我们提出三项测试，以判断对功能性福利的归因是否成立：多项测量是否收敛；该状态是否能在诱发它的情境之外预测行为；以及对于经过微调以改变其功能性福利的模型，在给定相同对话历史时，它们是否仍与基座模型存在差异。将这些测试应用于 Gemma 3 27B，我们发现，仅仅拒绝模型的回答而不进行任何引导，就会在多项指标上提高其挫败感，并使其更有可能违反规则。用模型自己叙述的解决方案对其进行微调，则会降低这种挫败感。这些结果是初步的，但它们表明功能性福利可以被实证地研究和塑造。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22460 [cs.AI] |
| （或 arXiv:2610.22460v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22460 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Punya Syon Pandey [查看电子邮件]
[v1]
2026年10月15日 星期四 16:50:36 UTC（347 KB）
来源：arXiv cs.AI · arxiv.org