RadarAI· X:马东锡 NLP (@dongxi_nlp)·· 5 小时前AI 评分38
可扩展潜在 token 化的生成式表征学习:tokenizer 成为新的扩展轴
可扩展潜在token化的生成式表征学习
AI 导读
研究者提出一种可扩展的生成式表征学习方法,用于可扩展的潜在 token 化,在 DINO/LeJEPA 出现表征坍缩时仍能工作。该方法给出了 tokenizer 与扩散模型联合的 scaling law,相比原始扩散在算力上更优。
正文 · AI 翻译
Dongxi 东锡 NLP· @dongxi_nlp · X·2026-10-20 04:58· 2 小时前AI 评分40
AI 导读
推荐阅读! 面向可扩展潜在token化的生成式表征学习
正文 · 原文
推荐阅读!
面向可扩展潜在token化的生成式表征学习
1/ 分词器是一个新的扩展维度! 我们提出了一种可扩散表征学习方法,它有原则、可扩展,并且在 DINO/LeJEPA 崩溃时仍然有效。 我们得到了联合的分词器+扩散扩展定律,并且相对于原始扩散是计算最优的 与 @drfeifei @GordonWetzstein @jcjohnss @ericryanchan @vincesitzmann @KyleSargentAI 合作 下方是推文串、论文和博客文章在 X 查看被引用的帖子
来源:Dongxi 东锡 NLP · x.com
来源:RadarAI · aihot.news