arXiv cs.CL· Chenxing Wei, Hong Wang, Ying He, Fei Yu, Yao Shu·· 14 小时前AI 评分27
面向 LLM 多轮交互的测试时策略自适应方法 T2PAM 与 ROSA 算法
Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs
AI 导读
研究者提出测试时策略自适应范式 T2PAM，把多轮交互中的用户反馈当作奖励信号来估计潜在最优策略，并只更新少量参数实现对话内自我纠正。配套的轻量算法 ROSA 用单步更新将参数导向理论最优策略，避免迭代梯度优化带来的开销。理论分析表明 ROSA 的策略随交互次数增加收敛到用户偏好，在挑战性基准上任务效果与效率均有显著提升。
正文 · AI 翻译
摘要：大型语言模型（LLM）将多轮交互作为完成复杂任务的基本范式。然而，它们在长时间交互中的表现往往会下降，因为它们通常是在静态的单轮数据上训练的，这阻碍了它们适应实时用户反馈的能力。为解决这一局限，我们首先提出了一种新范式：面向多轮交互的测试时策略自适应（T2PAM），它利用当前交互中的用户反馈作为奖励信号，估计与用户偏好对齐的潜在最优策略，然后更新一小部分参数以将模型引导至该策略，最终实现高效的对话内自我纠正。随后，我们引入了最优参考单步自适应（ROSA），这是一种轻量级算法，将 T2PAM 付诸实践。ROSA 通过一次高效更新步骤将模型参数引导至理论最优策略，避免了代价高昂的迭代梯度优化，并将计算开销降至最低。我们提供了严格的理论分析，保证随着交互次数的增加，ROSA 的策略会收敛到用户的偏好。在具有挑战性的基准上进行的大量实验表明，ROSA 在任务效果和效率上均取得了显著提升。
| 评论： | 32 页，7 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2509.23166 [cs.CL] |
| （或 arXiv:2509.23166v4 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2509.23166 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenxing Wei [查看邮箱]
[v1]
2025 年 9 月 27 日星期六 07:46:15 UTC（743 KB）
[v2]
2026 年 3 月 2 日星期一 02:32:21 UTC（728 KB）
[v3]
2026 年 9 月 27 日星期日 05:19:50 UTC（777 KB）
[v4]
2026 年 10 月 26 日星期一 05:19:47 UTC（777 KB）
来源：arXiv cs.CL · arxiv.org