自回归 token 生成的局限：顺序采样器的能力边界

Limitations on Autoregressive Token Generation via Sequential Sampling

AI 导读

研究通过"顺序采样器"（仅依据前序符号和少量状态采样下一个符号的电路）刻画自回归 token 生成的能力边界。结果表明，带 k 比特状态的顺序采样器可用无状态采样器以约 O(2^k) 规模开销模拟，且高效插入式采样（Stern 等，ICML 2019）强于任意固定顺序的高效顺序采样。小状态顺序采样器无法建立某些形式的隐蔽密码信道，这为防范恶意 LLM 智能体间的潜意识协同提供了潜在安全机制。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：我们通过顺序采样器的概念研究自回归 token 生成：一种仅给定先前符号以及可能少量状态的情况下采样下一个符号的电路。我们证明：(1) 具有 $k$ 位状态的顺序采样器可由无状态采样器以大约 $O(2^{k})$ 的规模开销模拟；(2) 高效插入式采样（Stern, Chan, Kiros, Uszkoreit, ICML 2019）在任何固定顺序下都比高效顺序采样更强大；(3) 具有小状态的顺序采样器无法建立某些形式的隐蔽密码信道。结果 (1) 与 Vadhan 和 Zheng（STOC 2012）的伪熵与顺序可采样性对偶性一起，刻画了具有小状态的高效顺序可采样性。结果 (3) 提供了一种潜在的安全机制，用于防范恶意 LLM 智能体之间的潜意识协调。

评论：	投稿至 ICLR 2027
学科：	信息论（cs.IT）；人工智能（cs.AI）；密码学与安全（cs.CR）
引用为：	arXiv:2610.14615 [cs.IT]
	（或 arXiv:2610.14615v1 [cs.IT] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.14615 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Paul Lou [查看邮箱]
[v1] 2026年10月10日星期六 05:59:16 UTC（6,673 KB）

来源：arXiv cs.AI · arxiv.org