跳到正文
RadarAI· X:马东锡 NLP (@dongxi_nlp)·· 5 小时前AI 评分38

可扩展潜在 token 化的生成式表征学习:tokenizer 成为新的扩展轴

可扩展潜在token化的生成式表征学习

AI 导读

研究者提出一种可扩展的生成式表征学习方法,用于可扩展的潜在 token 化,在 DINO/LeJEPA 出现表征坍缩时仍能工作。该方法给出了 tokenizer 与扩散模型联合的 scaling law,相比原始扩散在算力上更优。

正文 · 原文

Dongxi 东锡 NLP· @dongxi_nlp · X·2026-10-20 04:58· 2 小时前AI 评分40

AI 导读

推荐阅读! 面向可扩展潜在token化的生成式表征学习

正文 · 原文

推荐阅读!

Generative Representation Learning for Scalable Latent Tokenization

引用Alan Baade@BaadeAlan
1/ The tokenizer is a new scaling axis! We introduce an approach for diffusable representation learning that's principled, scalable, and works when DINO/LeJEPA collapse. We get joint tokenizer+diffusion scaling laws and it's compute-optimal vs raw diffusion w/ @drfeifei @GordonWetzstein @jcjohnss @ericryanchan @vincesitzmann @KyleSargentAI Thread, Paper, and Blogpost below
在 X 查看被引用的帖子

来源:Dongxi 东锡 NLP · x.com

来源:RadarAI · aihot.news