arXiv·· 12 天前AI 评分27
Prefill-Only 决策模型的读出稳定性：零标签预测与推理时算力分配
Readout Stability in Prefill-Only Decision Models:Zero-Label Prediction and Inference-Time Compute Allocation
AI 导读
受 Jev 模型启发的 prefill-only 决策模型在一次前向传播中为菜单中每个候选打分、不做解码，单次调用成本比同规模生成式语言模型低一到两个数量级。研究发现，当干预只改变候选菜单而输入文本不变时，干预后的准确率已由缓存的首轮分布决定；该估计器将首轮概率限制在菜单内、重新归一化后取 argmax，无需标签。
来源：arXiv · arxiv.org