arXiv cs.AI· Adrians Skapars, Edoardo Manino, Youcheng Sun, Lucas C. Cordeiro·· 11 小时前AI 评分42
SODA 算法可从输出逆向还原 LLM 输入文本
GPT, But Backwards: Exactly Inverting Language Model Outputs
AI 导读
研究者提出白盒搜索算法 SODA，可从输出 logits 重建 LLM 的文本输入，在最长 17 个 token 的自然序列上实现零误报，精确匹配重建效果较此前最强方法提升 4 倍。
正文 · AI 翻译
摘要：近期研究表明，不同的输入会在 LLM 中产生不同的隐藏表示，因此原则上可以从这些表示中恢复输入。然而，现有方法都无法仅凭模型的输出文本或 logits 可靠地做到这一点。我们提出了 Sparse One-hot Discrete Adam（SODA），这是一种基于搜索的白盒算法，可从对输出的部分知识中重建文本输入。给定输出 logits，SODA 能够以零误报恢复最长 17 个 token 的自然序列，并且在精确匹配重建方面比最强的先前方法提升了 4 倍。我们进一步表明，输入长度和词表大小对反转难度的影响比参数数量更大，SODA 能够反转从 33M 到 3B 参数的模型。最后，我们展示了概念验证性的安全应用：SODA 在不到 1000 次迭代内从被投毒的 LLM 中恢复了 6 个后门触发器，并从合成的用户-聊天机器人交互中恢复了 139 个 token 的个人可识别信息。我们的代码可在 此 https URL 获取。
| 评论： | 8 页，ICML 2025 可靠与负责任基础模型研讨会 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2507.01693 [cs.LG] |
| （或 arXiv:2507.01693v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.01693 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Adrians Skapars [查看电子邮件]
[v1]
2025 年 7 月 2 日星期三 13:20:30 UTC（1,269 KB）
[v2]
2025 年 11 月 10 日星期一 15:40:58 UTC（1,418 KB）
[v3]
2026 年 10 月 14 日星期三 23:49:34 UTC（1,625 KB）
来源：arXiv cs.AI · arxiv.org