arXiv cs.CL· Yiheng Su, Junyi Jessy Li, Matthew Lease·· 3 天前AI 评分22
DualView：利用广泛与输出特定证据的 LLM 多输出文本回归方法
DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression
AI 导读
DualView 是一种参数高效的多输出文本回归方法，先从冻结的 LLM 中提取广泛与输出特定的表示，再用双分支架构生成完整分数向量。在五个异构回归任务和八种 LLM（最大 122B）上，它超越七个监督回归基线，所需拟合参数比三个最强基线少 82–1842 倍，且用较小的开源 LLM 即可超过 Gemini 3.1 Pro 的无监督预测。
正文 · AI 翻译
摘要：尽管基于 LLM 的回归研究主要集中于标量预测，多输出文本回归的探索仍相对较少。我们提出 DualView，一种参数高效的方法，利用 LLM 进行多输出文本回归。\method{} 首先从冻结的 LLM 中提取广泛表示和输出特定表示，然后使用双分支架构生成完整的分数向量。在五个异构回归任务和八个 LLM（最大 122B）上，DualView 优于七个监督回归基线，同时所需拟合参数比三个最强基线少 82--1842 倍。这些改进在单个输出维度上同样成立，即使在训练数据有限的情况下也能保持。值得注意的是，使用较小开放权重 LLM 的 DualView 可以优于 Gemini 3.1 Pro 的无监督预测。受控消融实验表明，广泛证据和输出特定证据提供互补的预测收益，而轻量级共享预测器以更少的可训练参数实现了强劲性能。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19206 [cs.CL] |
| （或 arXiv:2610.19206v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19206 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yiheng Su [查看电子邮件]
[v1]
2026年10月13日星期二 21:17:19 UTC（441 KB）
来源：arXiv cs.CL · arxiv.org