arXiv cs.CL· Chuancheng Shi, Shangze Li, Wenhua Wu, Hengzhi Chen, Fei Shen, Li Zhuo, Zhiyong Wang, Tat-Seng Chua·· 11 小时前AI 评分31
TraceRouter++：基于最优传输的因果语义路由重对齐
TraceRouter++: Causal Semantic Routing Realignment via Optimal Transport
AI 导读
TraceRouter++ 提出一种路由级安全干预框架，通过“发现-追踪-重对齐”范式定位有害输入激活的因果路由通路，并用约束最优传输的软路由重对齐将不安全激活边缘分布导向安全参考分布。该方法在 LLM、MLLM 和扩散模型上均优于所评估的基线，在提升对抗鲁棒性的同时保持较好的安全-效用权衡。
正文 · AI 翻译
摘要：尽管大型基础模型（LFM）能力卓越，它们仍然容易受到对抗性操纵的影响。当前的安全干预方法主要依赖\textit{局部性假设}，僵硬地抑制孤立的神经元或特征。然而，有害语义表现为分布式的跨层回路，这使得局部消融既难以抵御复杂的越狱攻击，又有损于通用效用。为弥合这一差距，我们提出 TraceRouter++，一个路由级安全干预框架，它显式追踪有害输入下激活的安全相关因果路由路径，并重新对齐其不安全的激活状态。我们的框架遵循\textit{发现-追踪-重对齐}范式：首先通过注意力发散定位一个敏感的起始层，并利用稀疏自编码器（SAE）将稠密激活解耦为可解释的路由特征。随后，它通过特征影响分数（FIS）将这些特征映射到下游因果回路。关键在于，TraceRouter++ 摆脱了僵硬的抑制范式，引入了基于约束最优传输（OT）的软路由重对齐。通过将安全干预表述为可处理的坐标级边缘最优传输近似，我们的方法在因果识别的路由子空间内将不安全的激活边缘分布重定向至安全参考边缘分布，同时在干预点保留未选中的坐标。该机制安全地重定向恶意语义流，同时保持正交计算路径完好无损。在代表性大语言模型（LLM）、多模态大语言模型（MLLM）和扩散模型（DM）上的大量实验表明，TraceRouter++ 优于所评估的基线，在提升对抗鲁棒性的同时保持了良好的安全-效用权衡。警告：本文包含不安全的模型回复。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.04878 [cs.CL] |
| （或 arXiv:2611.04878v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.04878 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shangze Li [查看邮箱]
[v1]
2026年11月3日星期二 13:30:34 UTC（3,513 KB）
[v2]
2026年11月4日星期三 04:53:28 UTC（3,513 KB）
来源：arXiv cs.CL · arxiv.org