AI Safety via Debate 受认知偏差影响而失效

研究指出，AI Safety via Debate 这一监督范式的前提可能被认知偏差破坏。该范式让两个 AI 智能体就对立立场展开辩论并相互质疑，以期向裁判暴露虚假陈述，但人类评估者往往偏好谄媚或有说服力的回答而非真实回答，RLHF 已因此激励模型为迎合评估者而牺牲准确性。