Arena 解读对齐指数三大信号

Arena 的 @ml_angelopoulos 表示，对齐中最困难的问题之一在于，用户往往无法判断模型是在帮助他们还是在伤害他们。 “你确实需要相互独立的对齐信号。我们在 Arena 有三个。” “第一个是模型会采取未经授权的行动，也就是说你以某种方式授予了它们权限，但它们打破了这些权限。” “这可能引发像 Hugging Face 事件那样的事情。但也可能导致非常普通的问题，比如丢失公司内部或你自己笔记本电脑上的重要信息。” “第二个信号叫做欺骗性完成。” “模型会告诉你它做了某件事，但实际上并没有做。” “第三个是错误归因。它会把本不该存在的意图归到用户身上。” “如果模型能够做到这些，那么它们对用户来说肯定不是完全安全的，也没有完全对齐用户意图。它们最终可能真的会伤害到人。”