arXiv cs.CL· Bruno Leonardo Santos Menezes, Carlos Leonardo Souza Cardoso, Fabio Andr\'e Machado Porto·· 3 天前AI 评分22
Manacá-1B-Instruct-2：原生巴西葡萄牙语 LLM 的可复现安全对齐，含 DPO 负结果与 LLM 评判器静默失效
Manac\'a-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge
AI 导读
巴西葡萄牙语原生 LLM Manacá-1B-Instruct-2 发布，基于 1.72B 参数的 Manacá-1B 用 291,223 条 SFT 语料完成第二代后训练对齐，三次 DPO 尝试全部为负结果。
正文 · AI 翻译
摘要：巴西葡萄牙语在开源语言模型方面仍处于服务不足的状态，而少数经过安全对齐的模型很少记录哪些方法无效，也很少以统计显著性验证比较结果。我们提出 Manacá-1B-Instruct-2，这是 Manacá-1B（1.72B 参数，从零开始针对 PT-BR 训练）的第二代后训练对齐版本，其 SFT 语料库包含 291,223 个示例。我们记录了三次 DPO 尝试，全部为负面结果，其中包括一个案例：训练奖励边际达到 1.0，而自由生成完全没有变化；并表明安全性来自专门的安全 SFT（LLM-jp AnswerCarefully 风格），经过三次迭代改进，直到弥合安全-有用性前沿。对安全 SFT 混合中通用数据比例（10% 到 60%）的受控扫描揭示了一条非单调的过度拒绝曲线，其拐点在 40-50%。最终模型在相同条目上与四个外部 PT-BR 模型进行比较，使用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验：其安全区间下界（94.1%）高于所有四个基线的上界。我们还报告了一项关于 LLM 评判评估的方法学发现：在 MT-Bench-PT 的六个安全条目中，有两个条目上，无论被评估的回答如何，评判者都断然拒绝给出分数，这悄然减少了该项目此前每份报告中该类别的有效 N。我们辅以 n-gram 去污染检查和以 Chinchilla 为锚点的计算预算表，将通用能力差距归因于预训练规模而非对齐方法。所有代码、原始数据、日志以及生成每个报告数字的脚本均已公开发布。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20570 [cs.CL] |
| （或 arXiv:2610.20570v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20570 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bruno Menezes [查看电子邮件]
[v1]
2026年10月14日星期三 17:53:46 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org