arXiv cs.AI· Shaomin Chen, Xiaorui Gong·· 3 天前AI 评分49
浮点偏置加法中的 Logit 泄漏
Logit Leakage through Floating-Point Bias Addition
AI 导读
研究揭示语言模型 API 在浮点偏置加法中存在数值侧信道，仅凭 token 身份即可区分具有相同完整未扰动对数概率的分数向量。该方法利用二进制指数边界处可表示间距的变化，在 binary32 算术假设下最多用 52 次 token 查询即可精确恢复一对 logit 及其未知的平局优先顺序。
正文 · AI 翻译
摘要：语言模型 API 可能暴露特定于 token 的偏差，同时隐藏 logits 和 token 概率。现有的基于偏差的提取方法可以恢复相对 logits，但在理想算术下会留下一个共同的加性分量无法确定。我们发现了浮点偏差加法中的一个数值侧信道，它仅通过 token 身份就能暴露关于该分量的信息。该信道能够区分具有相同完整未扰动对数概率的分数向量。我们的方法利用了二进制指数边界处可表示间距的变化。在所述的 binary32 算术假设和已知可达分数区间下，它最多用 52 次 token 查询即可精确恢复一对 logit 及其未知的平局打破优先级。给定完整的相对 logits，一个恢复出的锚点即可确定原始 logit 向量。我们在来自七个模型家族的 11 个公开检查点上评估了恢复效果，并通过自适应区间搜索和锚点选择扩展了局部方法。在使用 vLLM、SGLang 和 this http URL 的端到端实验中，自适应恢复在每个系统上对所有 128 个 Qwen3-0.6B 输入均成功，其中包括 64 个留出输入。另一项仅使用 token 的实验提取了一个预训练小模型的完整输出头表示，直至一个可逆的隐藏基变换。我们还建立了一个充分条件，通过在偏差相加前减去最大值来抑制共同偏移的泄露。在受控实验中，这种缓解措施消除了观察到的共同偏移变体之间的所有区别，并在测试的随机偏差下保持了 token 决策。
| 评论： | 18 页，6 幅图，5 张表，包括附录 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16790 [cs.CR] |
| （或 arXiv:2610.16790v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16790 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shaomin Chen [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 13:44:37 UTC（193 KB）
来源：arXiv cs.AI · arxiv.org