arXiv cs.AI· Mohammad Mahdi Samiei Paqaleh, Mehdi Jamalkhah, Mahdieh Soleymani Baghshah·· 3 天前AI 评分22
VQEL：用智能体内部向量量化实现涌现语言博弈中的自博弈
VQEL: Enabling Self-Play in Emergent Language Games via Agent-Internal Vector Quantization
AI 导读
VQEL 将向量量化引入消息生成过程，让智能体基于学习到的码本进行离散内部表征的自博弈，同时保持端到端可微，规避了 REINFORCE 和 Gumbel-Softmax 在训练稳定性与扩展性上的局限。该码本还能自然形成符号词表，便于后续与其他智能体互博弈时直接迁移对齐。实验显示，经 VQEL 自博弈预训练的智能体在互博弈中符号对齐更一致、任务成功率更高。
正文 · AI 翻译
摘要：涌现语言（EL）关注人工代理之间通信的涌现。尽管符号通信信道更贴近人类语言的离散本质，但由于符号采样的不可微性，学习此类协议仍然从根本上困难重重。现有方法通常依赖 REINFORCE 等高方差梯度估计器，或 Gumbel-Softmax 等连续松弛方法，二者在训练稳定性和可扩展性方面均存在局限。受强调沟通之前个体内部过程的认知理论启发，我们探索将自我对弈作为相互交互之前语言涌现的基础。我们提出向量量化涌现语言（VQEL），一种将向量量化引入消息生成过程的新架构。VQEL 使代理能够使用从学习到的码本中导出的离散内部表示进行自我对弈，同时保持端到端可微性。此外，由此产生的向量量化码本自然地诱导出一个符号词汇表，可在随后与其他代理的相互对弈中直接迁移和对齐。实证结果表明，通过 VQEL 自我对弈预训练的代理在后续参与相互交互时，能够实现更一致的符号对齐和更高的任务成功率。这些发现将自我对弈定位为一种有原则且有效的学习离散通信协议的机制，解决了涌现语言系统中的关键优化和表示挑战。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2503.04940 [cs.CL] |
| （或 arXiv:2503.04940v3 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2503.04940 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Transactions on Machine Learning Research，2026 年 8 月 |
提交历史
来自：Mohammad Mahdi Samiei Paqaleh [查看电子邮件]
[v1]
2025 年 3 月 6 日星期四 20:15:51 UTC（795 KB）
[v2]
2026 年 2 月 22 日星期日 19:34:09 UTC（1,909 KB）
[v3]
2026 年 10 月 13 日星期二 15:31:45 UTC（4,303 KB）
来源：arXiv cs.AI · arxiv.org