arXiv cs.CL· Xiaocong Yang, Xuanyu Meng, Yuji Zhang, Jiawei Han, ChengXiang Zhai·· 3 天前AI 评分29
稀疏自编码器可作为符号匹配的共享坐标系：SAE-IDF 跨符号系统匹配方法
Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching
AI 导读
SAE-IDF 用稀疏自编码器（SAE）将符号编码为稀疏码，再按维度稀有度重新加权，实现异构符号系统间的单元匹配。在 6 类符号系统的 12 项任务上，该方法在 Gemma-2-9B 上全部超越同模型稠密基线，在 Llama-3.1-8B 上除一项外全部超越，最高提升 45 分。稀疏码每个维度都有可读含义，每次匹配可分解为具名概念，为构建通用符号骨干铺路。
正文 · AI 翻译
摘要：大型语言模型（LLM）将广泛的知识存储在一组权重中，但缺乏可解释性和可信推理，尤其是在高风险应用场景中。神经符号模型凭借其可解释的架构和系统 2 推理能力，若能在 LLM 的规模上构建，将是一种有前景的替代方案；然而，其符号主干通常由人工构建，因此现有的神经符号模型受限于符号组件的范围，且通常是领域特定的。一种数据驱动的方法则可以通过对齐和合并现有符号系统来构建更大的符号系统。我们针对其第一个基础性步骤：在这些异构系统之间匹配单元。我们的方法 SAE-IDF 将符号在其原生上下文中通过稀疏自编码器（SAE）编码为稀疏编码，根据每个维度的稀有性重新加权，并在系统之间进行匹配。在涵盖 6 种符号系统的 12 项任务上，SAE-IDF 在 Gemma-2-9B 上于所有任务中均优于同一 LLM 的稠密基线，在 Llama-3.1-8B 上除一项任务外均优于基线，提升幅度最高达 45 分，且在 SAE 各层和配置中表现一致。SAE-IDF 也具有可解释性：稀疏编码的每个维度都具有人类可读的含义，因此每次匹配都可分解为具名概念（特征）。我们的工作为通用符号主干铺平了道路。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；符号计算（cs.SC） |
| 引用为： | arXiv:2610.19636 [cs.LG] |
| （或 arXiv:2610.19636v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19636 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xiaocong Yang [查看电子邮件]
[v1]
2026年10月14日星期三 06:05:04 UTC（172 KB）
来源：arXiv cs.CL · arxiv.org