研究：损失式对齐训练可能违反帕累托最优
热点事件持续更新
研究：损失式对齐训练可能违反帕累托最优
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Alexandros Hollender 与 Sonja Kraiczy 发表论文，研究基于成对比较损失的 AI 对齐训练能否满足帕累托最优（PO）。研究发现，即便使用任意固定次数的多项式奖励模型，或任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励模型，损失式训练仍可能违反 PO。 在理想化的均匀比较方向与等长比较设定下，线性奖励的损失训练可恢复 PO。作者据此提出，可通过数据集设计在宪法式对齐中恢复 PO。
AI 根据报道生成 · 50 分钟前更新
最新进展11月11日 13:00
基于损失的规则下 AI 对齐的公理约束研究报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI基于损失的规则下 AI 对齐的公理约束研究
研究发现，即便采用任意固定次数的多项式或任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励模型，基于成对比较损失的训练仍可能违反帕累托最优（PO）。在理想化的均匀比较方向与等长比较设定下，线性奖励的损失训练可恢复 PO，这为通过数据集设计在宪法式对齐中恢复 PO 提供了依据。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。