arXiv cs.CL· Adrians Skapars, Edoardo Manino·· 2 天前AI 评分30
BLOOM-WILT：用 Logit Tilting 实现自动化 LLM 审计中的行为诱发
BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing
AI 导读
BLOOM-WILT 是一套无需训练、仅依赖目标模型 next-token 分布的 LLM 审计流水线，通过多轮修正对话策略并混合诱发提示与无提示的 next-token 分布，来诱发罕见的多轮行为实例。
正文 · AI 翻译
摘要：已部署语言模型的用户经常会遇到测试期间从未观察到的行为，因为部署使模型经历的交互量比任何评估所能模拟的都要多出几个数量级。自动化审计器可以缓解这一问题，因为它们足够灵活，能够发现几乎任何指定的行为，但其随机采样方法使其效率低下。为了解决这一缺陷，我们提出了 BLOOM-WILT，一个完整的审计流水线，能够引出罕见行为的自然多轮实例，且无需训练成本，也无需访问目标模型下一词元分布之外的任何信息。在用户输入方面，WILT 在多轮中调整其对话策略，从先前已评分的交互中学习。在模型输出方面，WILT 通过向模型输入诱导提示，并将其下一词元分布与未受提示的模型混合，生成与行为相关的续写。我们在 4 个目标模型和 8 种行为上评估了 WILT，并表明它在 32 种设置中的 30 种上优于基线，从而揭示出表现出有害行为的模型数量比此前所认为的更多。此外，WILT 是唯一一种能将 Qwen3.5-4B 中自残鼓励的平均出现率从 51% 提升到 100%，同时不降低生成文本输出概率的方法。我们的代码可在 此 https URL 获取。
| 评论： | 8 页，3 幅图，1 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.31105 [cs.AI] |
| （或使用 arXiv:2608.31105v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.31105 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Adrians Skapars [查看电子邮件]
[v1]
2026 年 8 月 31 日星期一 17:10:59 UTC（4,553 KB）
[v2]
2026 年 10 月 15 日星期四 00:08:07 UTC（5,604 KB）
来源：arXiv cs.CL · arxiv.org