arXiv cs.AI· Sixun Dong, Yebowen Hu, Ming Yin, Yiran Chen, Fei Liu, Chen Chen·· 3 天前AI 评分31
FlipAct：衡量语言模型何时行动的敏感度与判定标准
Sensitivity or Criterion? Measuring and Moving When Language Models Act
AI 导读
研究者提出 FlipAct，一种针对物理状态下工具使用的诊断方法，用标注工具属性上的规则计算答案与分级证据分数，将 Yes/No 边界固定为零，并通过 2×2 问题组在知识不变时翻转状态。
正文 · AI 翻译
摘要：在智能体采取行动之前，它必须判断行动是否正当。单一的准确率无法区分未能识别正当行动与不愿行动。信号检测理论将敏感度与判定标准区分开来，但根据人工编写的二元标签估计出的判定标准取决于每个基准的样本构成。我们提出 FlipAct，一种针对物理状态下工具使用的诊断方法。基于标注工具属性的规则计算每个答案和分级证据分数，将 Yes/No 边界在所有模型上固定为零。问题构成 2×2 的四元组，在保持所需知识不变的同时翻转状态。拟合的 Yes 率曲线的斜率衡量敏感度；其在二分之一处的交点衡量判定标准。在 44 个开源模型中，敏感度在同一系列内随规模上升，其排名与四个外部何时行动基准中的三个一致。模型对证据的符号而非幅度作出响应，接受使状态不变得更好的行动与接受有益行动一样频繁。当 Yes 表示行动时，大多数模型在多种改写下都偏保守；在某些模型中，这在一定程度上反映了对 No 的偏好。判定标准并非由规模决定。激活引导在权重固定的情况下改变判定标准；从模型自身被引导的副本中蒸馏，可将该偏移写入其权重，而敏感度没有显著变化。蒸馏得到的偏移可迁移到六个外部基准，其中包括两个没有 Yes/No 答案的基准，同时在五个可获得该指标的基准上，无判定标准的 AUC 得以保持。在模型起初偏保守的地方准确率提高，在起初偏宽松的地方准确率下降或保持在误差范围内。项目页面：this https URL
| 评论： | 项目页面：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.15415 [cs.CL] |
| （或 arXiv:2610.15415v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15415 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sixun Dong [查看邮箱]
[v1]
2026年10月11日星期日 07:36:38 UTC（244 KB）
来源：arXiv cs.AI · arxiv.org