arXiv cs.MA· Xiangwei Wang, Wei Wang, Sachith Seneviratne, Ken Chen, Yu Xia, Peng Wang, Saman Halgamuge·· 11 小时前AI 评分31
J-Comm：LLM 智能体间基于 Jacobian 引导的潜在通信框架
J-Comm: Jacobian-Guided Latent Communication between LLM Agents
AI 导读
J-Comm 提出一种无需共享 KV cache 的 LLM 智能体潜在通信框架，包含免训练的 GEAR 推理方法与 H+J（Hidden-and-Jacobian）通信接口。
正文 · AI 翻译
摘要：潜在通信既需要有效的连续推理过程，也需要一个接口，使外部模型能够利用其中间计算结果。我们提出 J-Comm，一个由两个核心组件构成的框架。首先，一种无需训练的潜在推理几何一致性（GEAR）方法在现有模型嵌入上对候选 token 重新加权，从而在每一步单调地优化候选 token 在嵌入空间中的几何共识。其次，我们引入 H+J（Hidden-and-Jacobian）通信接口，为接收方提供发送方推理的两种互补视图。H 通道提供由反馈分布导出的连续输入，而 J 通道以词汇索引的 Jacobian-lens 坐标传递中间状态线索。直观地说，H 为接收方提供推理所依据的输入，而 J 在其计算过程中提供额外引导。接收方使用自己的字典重建这些线索，并在预填充阶段将其注入中间层，从而无需共享键值缓存，也不要求模型宽度一致即可实现通信。在 Qwen3-8B 到 Qwen3-4B 的通信中，J-Comm 在七个基准上取得最高平均分，包括 MATH500 上的 94.80%、GPQA-Diamond 上的 54.55%、AIME2024+2025 上的 73.33%，以及 ALFWorld 上的 62.93% 成功率。与 TextMAS 相比，其性能提升 1.29-8.59 个百分点，并将生成的文本 token 减少 19.2-74.8%。
| 学科： | 计算与语言（cs.CL）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.32871 [cs.CL] |
| （或 arXiv:2610.32871v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32871 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangwei Wang [查看电子邮件]
[v1]
2026年10月23日星期五 16:42:38 UTC（391 KB）
来源：arXiv cs.MA · arxiv.org