arXiv cs.AI· Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou·· 3 天前AI 评分27
TRACE：面向更安全语言生成的时序风险评估与概念编辑框架
TRACE: Temporal Risk Assessment and Concept Editing for Safer Language Generation
AI 导读
TRACE 是一个在生成过程中追踪有害响应风险、选择性编辑 token 激活并留下可审计痕迹的框架，通过学习激活模式码本将每个 token 激活映射到潜在概念，并用 GRU 预测完整响应有害性与单调累积流式风险。
正文 · AI 翻译
摘要：大型语言模型（LLM）在生成回复时可能产生有害内容。一个有用的防护机制不仅应在生成过程中检测这一风险，还应在干预的同时基本不改变安全回复，并提供支持其决策的内部模式的可审计记录。我们提出 TRACE（时序风险评估与概念编辑），一个在生成过程中追踪有害回复风险、选择性地编辑 token 激活，并留下其检测与引导决策的可审计痕迹的框架。TRACE 学习一个由反复出现的激活模式组成的码本，每个码本向量代表一个潜在概念。在推理时，它将每个 token 激活分配给最近的码本向量以获得对应概念。门控循环单元（GRU）处理激活及其分配的概念特征，以预测完整回复的有害性和单调累积流式风险。在引导过程中，被分配给有害概念的激活会沿着由附近良性目标定义的方向进行引导。外部 LLM 对学习到的概念进行事后标注，使检测序列和有害到良性的编辑记录具有可解释性。在三个生成器以及 WildGuard 和 S-Eval 基准上的实验表明，TRACE 在六项比较中的五项上相较 Kelp 提升了流式 F1，同时在完整回复检测上保持竞争力。TRACE 的选择性引导降低了 Harmbench 攻击成功率，而对原本安全回复的拒答几乎没有改变。事后审计揭示了学习到的概念中反复出现的语义结构，以及与有害检测、安全生成和激活编辑相关的不同痕迹。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.15365 [cs.AI] |
| （或使用 arXiv:2610.15365v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.15365 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ankur Garg [查看电子邮件]
[v1]
2026年10月11日星期日 05:42:50 UTC（371 KB）
来源：arXiv cs.AI · arxiv.org