arXiv cs.CL· Fangzhou Lin, Zilin Dai, Shuo Xing, Peiran Li, Siyuan Yang, Qianwen Ge, Kazunori Yamada, Yang Zhou, Ziming Zhang, Haichong Zhang, Zhengzhong Tu·· 3 天前AI 评分31
AdaptFuse：无需训练的序列偏好推断，通过外化贝叶斯计算实现
AdaptFuse: Training-Free Sequential Preference Inference via Externalized Bayesian Computation
AI 导读
研究者提出 AdaptFuse，一个无需训练的框架，将概率计算从 LLM 中完全外化：符号模块维护离散假设集上的贝叶斯后验，冻结的 LLM 通过多样本 Dirichlet 聚合提供语义推理，两者经熵自适应融合按预测置信度自动加权。
正文 · AI 翻译
作者：Fangzhou Lin、Zilin Dai、Shuo Xing、Peiran Li、Siyuan Yang、Qianwen Ge、Kazunori Yamada、Yang Zhou、Ziming Zhang、Haichong Zhang、Zhengzhong Tu
摘要：大语言模型（LLM）难以在多轮用户交互中积累证据，无法以符合贝叶斯推断的方式更新其信念。现有解决方案需要在敏感的用户交互数据上进行微调，限制了其在注重隐私的场景中的适用性。我们提出 \textsc{AdaptFuse}，一个免训练框架，将概率计算完全从 LLM 中外置：一个符号模块在离散假设集上维护贝叶斯后验，而一个冻结的 LLM 通过多样本 Dirichlet 聚合贡献语义推理。两种信号通过熵自适应融合相结合，该融合根据各自的预测置信度自动加权每个来源，随着证据积累，将依赖从 LLM 转向符号后验。我们在三个领域进行评估：航班推荐、酒店推荐和网络购物；在 Gemma~2 9B、Llama~3 8B 和 Qwen~2.5 7B 上。\textsc{AdaptFuse} 在所有任务上始终优于提示基线以及微调后的 Bayesian Teaching 模型，且准确率随交互轮次单调提升。这些结果表明，有原则的推理时算法可以在个性化推荐中替代微调，而无需存储或训练敏感用户数据。
| 评论： | 17 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.03925 [cs.CL] |
| （或使用 arXiv:2604.03925v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.03925 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Shuo Xing [查看邮箱]
[v1]
2026 年 4 月 5 日星期日 01:35:50 UTC（87 KB）
[v2]
2026 年 10 月 14 日星期三 01:03:52 UTC（722 KB）
来源：arXiv cs.CL · arxiv.org