arXiv cs.CL· Adnan Al Ali, Jind\v{r}ich Libovick\'y, Anne Lauscher·· 2 天前AI 评分22
通过对抗训练与蒸馏方法缓解音频大语言模型的偏见
Bias Mitigation in Audio-Enabled LLMs through Adversarial Training and Distillation Methods
AI 导读
研究针对音频大语言模型（AuLLMs）的性别偏见，用对抗方法让模型"遗忘"性别感知，且在其他基准任务上性能不降。作者进一步蒸馏出性别无关模型，使其能感知性别但响应与教师模型一致，除非被显式触发。方法在三个 AuLLMs 上测试，性别遗忘部分结果令人满意，蒸馏部分仅部分满意。
正文 · AI 翻译
摘要：支持音频的大语言模型（AuLLM）允许用户直接与其对话进行交互，无需中间转录。这通过编码非语言线索扩展了模型的可访问性和能力。然而，使用非语言线索可能会导致基于从中推断（或假定）的属性而产生有偏见的行为。在这项工作中，我们聚焦于性别属性，并表明模型对性别的感知可以使用对抗方法被遗忘，而不会在其他基准任务上损失性能。此类模型在不需要性别推断的场景中很有用。然而，在其他实际场景中，不带偏见的性别感知可能this http URL作为一种不那么激进的措施，我们蒸馏了性别无关模型，创建了一个能感知性别但响应与性别无关教师模型相似的模型，除非明确this http URL我们将新提出的方法应用于三个 AuLLM，在性别遗忘部分取得了令人满意的结果，在蒸馏部分取得了部分令人满意的结果。
| Comments: | 提交至 ARR（2026 年 10 月） |
| Subjects: | 计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2610.21763 [cs.CL] |
| （或 arXiv:2610.21763v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21763 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Adnan Al Ali [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 12:19:47 UTC（198 KB）
来源：arXiv cs.CL · arxiv.org