arXiv cs.AI· Jes\'us S\'anchez Ochoa, Enrique Tom\'as Mart\'inez Beltr\'an, Alberto Huertas Celdr\'an·· 12 小时前AI 评分24
SYNAPSE：无需重训的 Transformer 神经元分析与扰动框架
SYNAPSE: Framework for Neuron Analysis and Perturbation in Sequence Encoding
AI 导读
SYNAPSE 是一个无需重训基础模型的免训练框架，用于理解和压力测试 Transformer 的内部行为。它提取逐层 [CLS] 表示、训练轻量线性探针获得全局与逐类神经元排名，并在推理时通过 forward-hook 干预，在医疗与网络安全两个领域评测中揭示任务相关信息编码于广泛重叠的神经元子集，带来较强功能稳定性，而权重或 logit 空间的微小结构化改动即可改变预测。
正文 · AI 翻译
摘要：近年来，人工智能已成为数据分析、预测和问题求解等复杂任务的强大伙伴，但其缺乏透明度引发了人们对其可靠性的担忧。在医疗保健或网络安全等敏感领域，确保透明度、可信性和鲁棒性至关重要，因为错误决策或成功攻击的后果可能十分严重。为克服这些局限，本工作提出 SYNAPSE，一个系统化、无需训练的框架（无需重新训练基础模型），用于理解和压力测试 Transformer 模型跨领域的内部行为。SYNAPSE 提取逐层 [CLS] 表示，训练一个轻量级线性探针以获得全局和逐类神经元排名，并在推理期间应用前向钩子干预。该设计能够在不改变原始模型的情况下，对内部表示进行受控、可重复的实验，从而可以直接跨任务和架构测量和比较弱点、稳定性模式以及标签特定的敏感性。SYNAPSE 揭示了在两个评估领域中内部表示的一致组织方式，其中任务相关信息被编码在广泛、重叠的神经元子集中。这种冗余提供了高度的功能稳定性，而类别间的不对称性则暴露出异质的专业化模式，并支持细粒度、标签感知的分析。相比之下，在权重或 logit 空间中进行小的结构化操纵就足以重定向预测，这凸显了互补的脆弱性特征，并说明 SYNAPSE 如何能够指导开发更鲁棒、更可解释的 Transformer 模型。
| 评论： | 已被 Applied Soft Computing 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.08424 [cs.LG] |
| （或 arXiv:2603.08424v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.08424 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Enrique Tomás Martínez Beltrán [查看电子邮件]
[v1]
2026年3月9日星期一 14:18:47 UTC（1,983 KB）
[v2]
2026年10月20日星期二 19:00:12 UTC（369 KB）
来源：arXiv cs.AI · arxiv.org