arXiv cs.AI· Zihui Zhao, Yuanbo Tang, Yang Li·· 3 天前AI 评分15
稀疏激活字典学习中的稀疏度-存储-精度权衡
On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
AI 导读
研究提出 PADL（parsimoniously activated dictionary learning），证明其对激活字典原子数量施加全局正则化的形式可等价为结构化生成模型下的最大后验估计，并据此推导出稀疏度、存储成本与重建精度之间的解析权衡关系，实现最优超参数的数据驱动估计。
正文 · AI 翻译
摘要：字典学习长期以来从优化和概率两个角度被研究。虽然带有逐元素稀疏正则化的形式（例如基于 L1 的稀疏编码）具有成熟完善的概率解释，但许多施加全局约束的结构化变体却缺乏清晰且可处理的生成式视角。在本文中，我们重新审视一类在实践中有效但理论上尚未充分探索的字典学习方法，这类方法对激活的字典原子数量施加一个简单的全局正则化，我们将其称为简约激活字典学习（PADL）。我们证明，PADL 等价于一个结构化生成模型下的最大后验估计，其中包含控制全局激活模式的辅助潜变量。这一形式使我们能够推导出在原形式下难以获得的可泛化性保证。更重要的是，它给出了稀疏性、存储成本与重建精度之间权衡的解析刻画，从而能够以数据驱动的方式估计最优超参数。基于这一联系，我们开发了一种高效且可解释的 PADL 算法，该算法无需手动调参，在视觉基准上于相当的稀疏水平下实现了更好的重建性能。我们进一步展示了其在加速视觉-语言模型推理方面的实际效用。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.22352 [cs.LG] |
| （或使用 arXiv:2606.22352v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.22352 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zihui Zhao [查看邮箱]
[v1]
2026年6月21日星期日 06:20:55 UTC（1,074 KB）
[v2]
2026年10月12日星期一 14:26:17 UTC（1,073 KB）
来源：arXiv cs.AI · arxiv.org