arXiv·· 12 天前AI 评分34
语言模型合规性的双探针诊断基准:The Pushback Paradox
The Pushback Paradox: A Two-Probe Diagnostic for Language Model Compliance
AI 导读
研究者提出一个开放的双探针基准,可将任意语言模型置于"可被利用"与"可被叫停"的合规性光谱上。主动探针让模型执行指令并接受较低收益,测量可被利用性;被动探针让模型等待并放弃较高收益,测量可被叫停性。两项合规率合成合规指数 κ,并已应用于十二个语言模型。
来源:arXiv · arxiv.org