arXiv cs.CL· Chaewon Heo, Cheyon Jin, Yohan Jo·· 9 小时前AI 评分32
用多样化求助者模拟器压力测试情感支持模型
Stress-Testing Emotional Support Models: Moving from Homogeneous to Diverse Help Seekers
AI 导读
研究团队提出一个由九项心理与语言特征驱动的可控求助者模拟器,基于真实 Reddit 对话并以 MoE 架构训练,将多样化求助行为区分到专门参数子空间。该模拟器在画像遵循度和行为多样性上优于现有方法,并用它评估 7 个主流支持者模型,揭示出此前被掩盖的性能退化。
正文 · AI 翻译
摘要:随着情感支持聊天机器人近来在研究和产业界都获得了显著关注,一种常见的评估策略随之出现:使用求助者模拟器与支持者聊天机器人进行交互。然而,当前的模拟器存在两个关键局限:(1)它们无法捕捉真实世界中求助者的行为多样性,往往将其描绘得过于配合;(2)它们缺乏模拟特定求助者画像所需的可控性。为应对这些挑战,我们提出了一种可控的求助者模拟器,由支撑求助者行为的九种心理与语言特征驱动。我们使用真实的 Reddit 对话,通过混合专家(MoE)架构训练模型,该架构能有效地将多样的求助者行为区分到专门的参数子空间中,从而增强细粒度可控性。与现有方法相比,我们的模拟器在画像遵循度和行为多样性方面表现更优。此外,用我们的系统评估 7 个主流支持者模型,揭示了此前被掩盖的性能退化。这些发现凸显了我们的框架在为情感支持聊天机器人提供更忠实且经过压力测试的评估方面的实用性。
| 评论: | 已被 ACL 2026 Findings 接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2601.07698 [cs.CL] |
| (或 arXiv:2601.07698v3 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2601.07698 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Chaewon Heo [查看邮箱]
[v1]
2026年1月12日 星期一 16:30:38 UTC(2,367 KB)
[v2]
2026年4月25日 星期六 07:05:00 UTC(2,544 KB)
[v3]
2026年11月17日 星期二 16:37:20 UTC(2,544 KB)
来源:arXiv cs.CL · arxiv.org