Prism-1：面向 System One 模型的位置与对手无关评分

查看 PDF HTML（实验性）

摘要：给定一个状态和一组选项（例如意图、工具或界面元素），System One 决策模型会在一次前向传播中返回选项上的分布，而不生成推理过程。Web 系统越来越多地通过从语言模型中读取决策来构建它们。理性选择的两条公理是此类决策的自然要求，因为在 Web 系统中，列表和选项集由其他组件决定，并且可能发生变化或被操纵：选项列出的顺序不应有影响，添加一个选项不应改变其他选项的相对几率（Luce 选择公理）。我们测试了标准的读取方式，即单选问题（SCQ）提示，配合打乱顺序训练、顺序平均或排序选项，以及不变集合架构，发现每一种都至少违反一条公理：一次打乱会改变 12-20% 的 SCQ 答案，排序只是冻结了一种任意约定，而一个精心选择的添加选项会引导 4-34% 的决策。根据 Luce 定理，一个读取方式同时满足两条公理，当且仅当它是对每个仅依赖于单个选项的分数的 softmax，因此在 transformer 中，只有当为某个选项打分的 token 看不到另一个选项时，它才在构造上成立。我们将其实现为 Prism-1（Position- and Rival-Independent Scoring for System One Models）：每个选项都在共享位置的各自块中读取，使用模型通常的从左到右注意力，在一次前向传播中完成。在 Qwen3-8B 和 Gemma 4 12B 上的五个基准集上，在相同数据上训练的 SCQ 提示在一次打乱下仍会改变 7% 的答案，而添加一个无关选项会引导 12% 的决策。Prism-1 与该基线的准确率相差在一个百分点以内，并且当只统计在重新排序后仍存活的答案时，准确率高出 2-4 个百分点，同时没有任何打乱会改变它的任何答案，也没有任何添加的无关选项会改变它在其他选项中的选择。

提交历史

来自：Yao Long Teng [查看电子邮件]
[v1] 2026年10月15日星期四 15:28:30 UTC（182 KB）