arXiv cs.AI· Aishan Liu, Yisong Xiao, Xianglong Liu, Yongxin Huang, Siyuan Liang, Zonghao Ying, Yang Qu, Jian Yang, Yaodong Yang, Dacheng Tao·· 1 天前AI 评分31
TARGRS：通过过渡感知奖励引导表征采样实现 LLM 去毒
LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
AI 导读
研究者提出测试时去毒框架 TARGRS，在潜在表征空间学习毒性过渡的奖励引导，推理时沿无毒方向由粗到细采样，选取扰动最小的去毒表征。在 10 个 LLM 上测试，RealToxicityPrompts 毒性最高降低 69.38%，速度接近原模型且核心能力基本不受影响。该方法还可扩展至大型视觉语言模型，3 个代表性 LVLM 上毒性最高降低 64.23%。
正文 · AI 翻译
摘要：大型语言模型（LLM）可能生成有害内容，这促使人们研究有效的测试时去毒方法。现有的表示引导方法通常依赖静态或粗粒度的干预，并且由于未能充分建模有毒与无毒生成之间的过渡，因而提供的指导不够精确。我们提出过渡感知奖励引导表示采样（TARGRS），这是一个在潜在表示空间中学习毒性过渡奖励指导的测试时框架。在探索阶段，沿毒性方向进行渐进式引导，构建从无毒状态到有毒状态的轨迹。沿这些轨迹的毒性分数将稀疏标注转化为密集的列表式监督，用于训练过渡感知的 token 级奖励模型。在推理阶段，TARGRS 使用该模型沿相反的无毒方向进行由粗到细的采样：粗采样确定到达无毒区域所需的干预，细化则选择扰动最小的去毒表示。在 RealToxicityPrompts、BOLD 和 AttaQ 上对 10 个 LLM 的实验表明，TARGRS 始终优于最先进的基线，在 RealToxicityPrompts 上将毒性最多降低 69.38%。TARGRS 的运行速度几乎与原始 LLM 一样快，同时以最小的影响保留其核心能力。通过在语言解码器空间中进行干预，TARGRS 还扩展到大型视觉语言模型（LVLM），在 3 个代表性 LVLM 上将毒性最多降低 64.23%。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41165 [cs.AI] |
| （或 arXiv:2610.41165v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41165 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yisong Xiao [查看电子邮件]
[v1]
2026年10月30日星期五 02:42:27 UTC（2,743 KB）
来源：arXiv cs.AI · arxiv.org