热点事件持续更新

训练分布设计弥合GPT-2类模型组合性差距

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Davide Venuto 与 Leonardo Venuto 发表受控实验称，从零训练的 GPT-2 类 Transformer 在两跳推理中出现的组合性差距并非架构固有限制。研究在不改架构、不额外加入分布外（OOD）组合监督的前提下，将分布内（ID）与 OOD 原子事实按与组合电路第二跳检索位置对齐的格式呈现，模型把已学的 ID 组合行为迁移到留出的 OOD 原子事实上，弥合了差距。该结论限于这一受控实验设定，作者称其为对观察到的组合性差距的闭合。

AI 根据报道生成 · 2 小时前更新

最新进展10月31日 12:00

GPT-2 类模型的隐式推理：通过训练分布设计弥合组合性差距

报道时间线

沿着报道，了解事件的不同侧面。

10月31日

12:00
arXiv cs.AI
GPT-2 类模型的隐式推理：通过训练分布设计弥合组合性差距
一项受控实验用从零训练的 GPT-2 类 Transformer 研究两跳推理中的组合性差距，发现该差距并非架构固有限制。研究者在不改架构、不加 OOD 组合监督的前提下，将 ID 与 OOD 原子事实按与组合电路第二跳检索位置对齐的格式呈现，模型成功把已学的 ID 组合行为迁移到留出的 OOD 原子事实上，弥合了差距。

本事件热度走势

可比范围当前: 7
可比范围峰值: 810月31日 22:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。