arXiv cs.CL· Xin Li, Mengbing Liu, Hao Jiang, Xin Gao, Annan Wang, Xingwei Qu, Yichi Zhang, Chau Yuen·· 3 天前AI 评分29
SYNC：无需训练，用共享词索引实现跨语言模型事实通信
Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models
AI 导读
研究者提出 SYNC（Symbol-Indexed Neural Communication），一种词索引接口，让异构语言模型无需微调或学习型翻译器即可通信：发送方从共享词表选词并发送索引，接收方用自身激活拟合的词方向将事实写入隐藏状态。
正文 · AI 翻译
摘要：多智能体系统使语言模型能够通过共享互补信息来协作解决任务。这些系统通常通过文本进行通信，而近期的方法也探索交换内部模型状态。然而，跨架构共享这些状态通常需要学习到的翻译器或对模型兼容性的假设。我们提出了 SYNC（符号索引神经通信），一种按词索引的接口，无需微调或学习到的翻译器即可连接异构模型。仅根据它能看到的描述，发送方从共享列表中选择词语，并为每个对象发送其索引，而无需看到问题。接收方使用自己的词方向（从其激活中一次性拟合的向量）将所描述的事实写入其隐藏状态。我们通过交换两个对象之间的一个属性，并要求在交换前后对已更改和未更改属性都给出正确答案（共四个答案）来测试选择性使用。我们在四个开发接收器上选择一个早期写入层，然后将其固定。使用来自五个家族的三个不同发送方和九个较新的接收器，在新场景上的四答案成功率可达 72.0-98.3%，比中间层写入高出最多 96 个百分点，并且两个最大的接收器与纯文本相当。一个无任务探针提前预测了每个新接收器可以使用哪些深度（45 例中 45 例）。无需重新调优，列出每个事实的消息在新布局下保持 89.6-100% 的成功率，而发送方消息在具有多 token 符号的地标任务上达到 23.9-64.0%，低于文本，但相比没有消息时的 0% 有所提升。这些结果表明，共享词索引和接收方本地方向可以在无需额外训练的情况下支持跨模型家族的选择性事实使用。
| 评论： | 项目页面：此 https URL 代码：此 https URL 数据：此 https URL |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19696 [cs.CL] |
| （或 arXiv:2610.19696v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19696 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xin Li [查看电子邮件]
[v1]
2026年10月14日星期三 07:19:43 UTC（5,580 KB）
来源：arXiv cs.CL · arxiv.org