arXiv cs.AI· Alan-Barsag Gazzaev, Alexey Gavrilov, Sergey Muravyov, Ilya Makarov·· 12 小时前AI 评分38
扩散语言模型智能体间的隐藏消息：潜在通信的因果证据
Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication
AI 导读
扩散语言模型智能体可在解码前通过隐藏消息传递连续状态：发送方将去噪状态压缩为四个带符号稠密向量，接收方在保留自身上下文与轨迹的情况下直接消费。
正文 · AI 翻译
摘要：扩散语言模型通过一系列可修正的连续状态形成答案，但多智能体系统通常会丢弃这些状态，只在解码出文本后才让智能体进行通信。我们研究一个独立的扩散轨迹能否将一条紧凑的隐藏消息传递给另一个轨迹，并且关键在于，接收方是否会利用该消息所表达的含义。在 Hidden Messages 中，发送方将其去噪状态压缩为四个带符号的稠密向量；接收方在保留自身上下文、画布和轨迹的同时使用这些向量。移除消息用于检验该通道是否起作用；将其替换为来自另一个示例的消息则用于检验其内容是否起作用。在受控任务中，错位移除使 Tiny-A2D 上 +63.6 个百分点的优势和 Dream-7B 上 +100.0 个百分点的优势消失，而定向替换会将接收方引导至被替换的事实。在 QASC 中，当两个支撑事实被拆分到不同智能体时，匹配通信达到 80.8%，但错误示例消息会将准确率降至 46.8%，内容效应为 +34.0 个百分点。令人惊讶的结果与时间有关：一次较晚的传递达到 87.8%，比四次循环交换高出 +7.0 个百分点。这些实验为扩散语言模型智能体之间的连续隐藏通信提供了因果证据，并表明信息传递的时机可能比智能体交换信息的次数更重要。
| 评论： | 已被 NeurIPS 2026 的 DiffuLM Workshop 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28905 [cs.AI] |
| （或使用 arXiv:2610.28905v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.28905 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alan-Barsag Gazzaev [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 20:31:16 UTC（18 KB）
来源：arXiv cs.AI · arxiv.org