arXiv·· 13 天前AI 评分31
LLM 谄媚行为剖析：翻转率掩盖了什么
Anatomy of LLM Sycophancy: What a Flip Rate Hides
AI 导读
研究提出 SycoLens 模块化重放协议，用无状态重放测试用户压力与评测设置如何影响 LLM 翻转率，每次测量包含一个条目、一个已提交答案和一句固定形式的脚本化用户话语，并与删除该话语的匹配对照比较。研究指出单一翻转率会把自我纠正与屈服混为一谈，而推回措辞、已提交文本、答案格式、边界距离和真值都可成为同一工具中的变量。
来源：arXiv · arxiv.org