arXiv cs.CL· Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du·· 11 小时前AI 评分44
Rep2Text：从单个 LLM Token 表示中解码完整文本
Rep2Text: Decoding Full Text from a Single LLM Token Representation
AI 导读
Rep2Text 能从单个隐藏表示中重建原始文本，对约 16 词的短文本可恢复约一半原词并保留整体语义。文本变长后精确措辞更难还原，但主要观点仍可恢复。该结果揭示了语言模型内部存储的信息量，并提示隐藏表示可能泄露部分原始输入的隐私风险。
正文 · AI 翻译
摘要：大语言模型将文本表示为隐藏的数值模式，但这些表示实际上包含哪些信息仍是一个谜。我们能否仅从其中一个表示中恢复原始文本？在本文中，我们提出了 Rep2Text，一种旨在通过从单个隐藏表示重建文本来回答这一问题的方法。我们发现，这些表示所保留的信息远比我们预期的要多。对于约 16 个单词的短文本，Rep2Text 可以恢复大约一半的原始单词，同时保留其整体含义。随着文本变长，恢复确切措辞变得更加困难，但主要思想仍可被恢复。这些发现提供了一种理解语言模型内部存储内容的新方式，并凸显了潜在的隐私风险，因为隐藏表示可能泄露部分原始输入。
| 评论： | 28 页，11 幅图，8 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2511.06571 [cs.CL] |
| （或 arXiv:2511.06571v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.06571 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haiyan Zhao [查看邮箱]
[v1]
2025 年 11 月 9 日星期日 23:18:36 UTC（359 KB）
[v2]
2026 年 3 月 20 日星期五 13:53:32 UTC（327 KB）
[v3]
2026 年 5 月 8 日星期五 15:19:37 UTC（1,741 KB）
[v4]
2026 年 10 月 16 日星期五 05:27:30 UTC（1,801 KB）
来源：arXiv cs.CL · arxiv.org