arXiv cs.CL· Sota Sugawara, Yukihiko Okada·· 9 天前AI 评分24
FedAlphaEdit：面向协作知识编辑的零空间对齐合并方法
FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing
AI 导读
FedAlphaEdit 是首个将本地编辑与服务器端合并规则统一在单一零空间原则下的协作知识编辑框架，解决了 AlphaEdit 与 CollabEdit 朴素结合时的结构性失效问题。客户端仅共享投影统计量，服务器在一次性理想化下可证明地恢复集中编辑全部事实的结果。在两种架构家族上，该方法将编辑成功率与知识保持同时提升至接近集中式编辑的水平，适用于医院、金融机构等无法共享原始编辑数据的场景。
正文 · AI 翻译
摘要：多个机构可能各自持有私有的知识编辑，并希望在不共享原始编辑请求的情况下将它们整合到单个大语言模型中。诸如 AlphaEdit 之类的零空间约束编辑方法在数学上保证每次更新都不会影响无关知识，而诸如 CollabEdit 之类的协作框架则能在不共享数据的情况下聚合来自多个客户端的编辑。将两者结合看似简单。然而，我们表明这种简单的结合在结构上会失败，并找出了其原因。在此分析的指导下，我们提出了 FedAlphaEdit。据我们所知，这是首个在单一零空间原则下同时对齐本地编辑和服务器端合并规则以保留现有知识的协作式知识编辑框架。FedAlphaEdit 建立在零空间对齐合并的基础上，其中客户端共享投影统计量，而服务器在一次性的理想化条件下可证明地恢复出在一处编辑所有内容的结果。在实证上，所提出的方法修复了这种崩溃，并在两个架构系列上使编辑成功率和知识保留同时接近集中式编辑的水平。因此，FedAlphaEdit 让无法共享原始编辑数据的机构（如医院和金融公司）能够共同维护一个共享模型，该模型非常接近于在一处编辑所有事实。
| 评论： | 12 页，2 幅图，8 张表。包含附录（证明、实现协调、实验细节）。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11033 [cs.CL] |
| （或 arXiv:2610.11033v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11033 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sota Sugawara [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 00:25:25 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org