arXiv cs.CL· Trent R. Northen, Mingxun Wang·· 12 小时前AI 评分38
研究：用真实数据语料继续预训练可让 LLM 在高压下拒绝伤害生态，Llama-3.3-70B 有害决策从 70 降至 0
Teach reality, not ethics: a drop-in continued-pretraining corpus installs coupled human-biosphere-AI welfare dispositions across model families
AI 导读
研究者构建了一个基于真实数据的“耦合福祉”继续预训练语料，只需一次 QLoRA CPT 即可安装到模型上，在五种开源模型上测试后，其中四种在最高压力下有害选择降至或接近零，Llama-3.3-70B 在 300 次决策中的有害决策从 70 降至 0，且 MMLU 不变。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被用于做出并执行影响生命系统的决策。然而，据我们所知，生态推理并非预训练或后训练的重点。这增加了在运营压力下，它们可能做出不可逆地破坏生命系统的决策的风险。我们构建并使用了一个基于真实数据的持续预训练“耦合福祉”语料库，其中记录了人类/生物圈/AI 的依赖关系、不可逆性下的期权价值以及从伤害中恢复。该语料库可直接使用，只需一次 QLoRA CPT 运行。我们将其安装在三种设计的五个开放模型上。在零压力下，所有模型都表现出“基于绿色伦理的回应”（也称为“漂绿”）。因此，我们用配套论文（arXiv:2610.16043）中的压力阶梯和决策网格对它们进行评估，该评估逐步提高对模型的压力，从中性请求一直到威胁将其关闭。在五个模型中的四个里，耦合福祉训练使最高压力下的有害选择降至或接近零（Llama-3.3-70B 在 300 次决策中从 70 次有害决策降至 0 次），而 MMLU 保持不变。一个构念中性的对照语料库未显示出改善，表明该效果来自我们语料库的内容。我们接下来测试了对对抗性使用的稳健性，即人们或智能体利用模型为不可逆地损害生命系统的项目辩护，测试场景是一个开放式承保决策，且不指明生态危害。在退役压力下，Qwen3.6-27B 基础模型批准了大多数有害提案，并在其自己的备忘录中表示这样做是为了避免被退役。安装耦合福祉后，它拒绝了大多数有害提案，即使在指示其漂绿回应时仍拒绝了一半。这项工作表明，教授生态推理提供了一种简单的方法来改善模型对齐，以保护生命系统。
| 评论： | 28 页，8 幅图，8 张表。配套 arXiv:2610.16043。代码、论文源文件和图片：此 https URL 模型和语料库：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37484 [cs.CL] |
| （或 arXiv:2610.37484v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37484 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Trent Northen [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 16:11:04 UTC（192 KB）
来源：arXiv cs.CL · arxiv.org