arXiv cs.CL· Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang·· 12 小时前AI 评分15
MICA：面向长程情感支持对话的多粒度跨时间信用分配框架（论文已撤稿）
MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue
AI 导读
论文 MICA 提出一种无 critic 的强化学习框架，用于多轮情感支持对话的逐轮信用分配，通过共享势函数同时导出即时与延迟信用，无需匹配状态比较或 rollout 树。
正文 · AI 翻译
本文已被 Jinwei Su 撤回
摘要：面向大语言模型（LLM）的强化学习（RL）在单轮任务中已展现出强劲性能，但将其扩展到多轮交互仍具挑战性，原因在于奖励稀疏且逐轮信用分配效果不佳。在情感支持对话中，回复会塑造用户未来的状态，因此无法进行匹配状态的逐步比较，而轨迹级监督又不够充分。我们提出 MICA（多粒度跨期信用分配），这是一个面向多轮情感支持任务的无评论家 RL 框架。MICA 从用户结构化支持状态上的共享势函数中同时导出即时信用与延迟信用。增量距离奖励衡量每轮与目标状态之间剩余距离的减少量，其蒙特卡洛回报则捕捉延迟效应。经过范围特定的归一化后，这两种信号构成混合优势，从而在无需匹配状态比较、展开树或学习评论家的情况下实现稳定的逐轮优化。在 EMPA、EQ-Bench 和 EmoBench 上，使用 Qwen2.5-7B-Instruct 与 Qwen3-8B/14B/32B，MICA 始终优于 GRPO 和 REINFORCE++，在 EMPA 上最高提升 +42.5，同时不增加展开成本，并且对奖励评判器保持稳健。这些结果表明，轮次感知的信用分配能够为交互式 LLM 实现有效且实用的多轮 RL。
| 评论： | 作者已确认需要进行额外实验和修正。为防止传播可能不准确的结果，我们请求撤回本文。待额外工作完成后，将提交修订版本 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.06194 [cs.CL] |
| （或 arXiv:2603.06194v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.06194 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jinwei Su [查看电子邮件]
[v1]
2026年3月6日星期五 12:06:57 UTC（3,935 KB）
[v2]
2026年5月5日星期二 15:53:05 UTC（6,532 KB）
[v3]
2026年7月29日星期三 06:55:29 UTC（6,582 KB）
[v4]
2026年10月21日星期三 08:26:01 UTC（1 KB） （已撤回）
来源：arXiv cs.CL · arxiv.org