RadarAI· X:马东锡 NLP (@dongxi_nlp)·· 5 小时前AI 评分38
可扩展潜在 token 化的生成式表征学习:tokenizer 成为新的扩展轴
可扩展潜在token化的生成式表征学习
AI 导读
研究者提出一种可扩展的生成式表征学习方法,用于可扩展的潜在 token 化,在 DINO/LeJEPA 出现表征坍缩时仍能工作。该方法给出了 tokenizer 与扩散模型联合的 scaling law,相比原始扩散在算力上更优。
正文 · 原文
Dongxi 东锡 NLP· @dongxi_nlp · X·2026-10-20 04:58· 2 小时前AI 评分40
AI 导读
推荐阅读! 面向可扩展潜在token化的生成式表征学习
正文 · 原文
推荐阅读!
Generative Representation Learning for Scalable Latent Tokenization
1/ The tokenizer is a new scaling axis! We introduce an approach for diffusable representation learning that's principled, scalable, and works when DINO/LeJEPA collapse. We get joint tokenizer+diffusion scaling laws and it's compute-optimal vs raw diffusion w/ @drfeifei @GordonWetzstein @jcjohnss @ericryanchan @vincesitzmann @KyleSargentAI Thread, Paper, and Blogpost below在 X 查看被引用的帖子
来源:Dongxi 东锡 NLP · x.com
来源:RadarAI · aihot.news