arXiv cs.CL· Noor Islam S. Mohammad, Ulug Bayazit·· 14 小时前AI 评分8
SURGELLM：用任务感知特征门控与类别平衡归一化重新审视多任务评估
SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization
AI 导读
SURGELLM 是一个统一 Transformer 框架，通过手术式特征门控、任务条件前缀 token 和实例加权归一化（IWN）三个轻量模块，解决异构 NLP 任务中的归纳偏置不匹配与类别不平衡问题。
正文 · AI 翻译
本文已被 arXiv 管理员撤回
摘要：在异构 NLP 任务中部署的微调编码器面临三个叠加问题：归纳偏置不匹配、类别不平衡对特征统计量的破坏，以及缺乏将注意力条件化于外部词汇知识的机制。我们提出 \textbf{\surgellm}，一个统一的 transformer 框架，通过专用轻量模块分别解决上述问题：一个 \emph{手术式特征门控}（在精选词汇指标和 \texttt{[CLS]} 上学习的逐维 sigmoid；可证明当特征无信息时退化为恒等映射）、\emph{任务条件前缀 token}（将量化特征值和任务标识前置到每个输入），以及 \emph{实例加权归一化}（IWN；从门控统计量中去除类别先验偏差）。我们证明了一个超额风险界，将门控收益与 \emph{手术式特征对齐} 联系起来。在四个任务（SST-2、多跳检索、LLM 提示归因和作者身份检测）上，覆盖 17,830 个样本和十一个模型变体、三个随机种子，IWN 变体取得宏 F1 \textbf{0.940}（比最强的非 IWN 基线高 $+0.036$；在作者身份检测上高 $+0.130$）。随机词汇对照（平均 F1 $-0.028$）证实收益来自词汇而非参数。代码、词汇表以及一个 $99.5\%$ 恢复率的自动提取配方已发布。
| 评论： | arXiv 管理员注：本投稿因不符合 arXiv 的研究内容质量标准已被撤回 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2606.24259 [cs.CL] |
| （或 arXiv:2606.24259v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.24259 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：arXiv Admin [查看邮箱]
[v1]
2026年6月23日星期二 07:47:21 UTC (161 KB)
[v2]
2026年10月26日星期一 15:31:47 UTC (1 KB) （已撤回）
来源：arXiv cs.CL · arxiv.org