研究提出按不确定性升级权重位宽的解码方法

Mohammed Nayeem Khan 等人发表研究，提出一种按需分配权重精度的解码方法：权重以 8-bit 存储，默认用高 4 位解码，只有当低精度输出分布显得不确定时，才用 8-bit 重算该步。 研究将“不确定”定义为熵高于阈值或前两名概率差距较小，并在 Qwen3-0.6B 上验证该方法；成本按每 token 读取的权重字节计算。该研究目前是方法层面的提出与验证，报道未给出相对固定精度解码的实测效果对比。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。