HQQ 缓存量化中的共享停止决策会改变模型答案

研究发现，Transformers 的 HQQ 后端在压缩 KV cache 时，虽然按请求分组分别更新量化参数，却用共享的平均误差决定所有更新何时停止。仅替换与目标问题同批的其他问题，就在两个模型的 384 次测试对比中有 170 次改变了 4-bit HQQ 的答案。