OpenESM：能量引导模型开源并优于GPT

研究者提出能量引导模型（ESM），把能量引导与 token 生成整合进单一架构：先在能量景观上优化隐状态，再生成 token。在三个大规模语料上预训练后，ESM 在 26 个下游任务中的多数上优于 GPT，并随模型规模与训练数据增长展现出良好的扩展性。 作者称已全部开源模型权重与训练基础设施，以便社区完整复现和扩展结果。上述评测优势为论文报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。