arXiv cs.CL· Chung-Wei Victor Yuan·· 10 小时前AI 评分26
Embedding Consistency Regulation：紧凑语言模型中的持久语义路由
Embedding Consistency Regulation for Persistent Semantic Routing in Compact Language Models
AI 导读
研究提出 Embedding Consistency Regulation（ECR），用冻结嵌入模型为每个输入生成短离散前缀，并在训练与推理阶段采用相同前缀构造，在受控前缀分配实验中实现 99.93%±0.12% 的语言路由准确率，而随机、打乱和 dummy 对照组仅接近随机水平（34–36%）。
正文 · AI 翻译
摘要：语言模型越来越多地被部署在内存和计算资源受限的环境中，此时语义路由（例如语言、语气或意图）可能在解码之前就被指定。然而，这些路由未必会持续反映在生成的回复中。我们将这一现象称为\emph{持久语义路由}。我们以嵌入一致性调节（ECR）作为最小探针来研究这一特性。ECR 使用冻结的嵌入模型为每个输入推导出一个简短的离散前缀，并在训练和推理过程中采用相同的前缀构造方式。在受控的前缀分配实验中，ECR 达到了 99.93\% $\pm$ 0.12\% 的语言路由准确率，而随机、打乱和虚拟对照组则接近随机水平（34--36\%）。这一差距无法通过似然可靠地体现：一些对照组尽管失去了路由一致性，却仍取得了有竞争力的 NLL。我们提出了响应路由可恢复性（RRR），这是一种与编码器无关的诊断方法，用于检验被分配的路由在生成之后是否仍然可观测。路由可恢复性在多语言设置、无监督划分、降低精度和迁移任务中均得以保持。这些发现确立了路由持久性作为语言模型一种独特且可度量的特性，与任务性能和似然互为补充。
| 评论： | 预印本 19 页，6 幅图 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.00543 [cs.CL] |
| （或 arXiv:2601.00543v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2601.00543 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chung-Wei Victor Yuan [查看邮箱]
[v1]
2026 年 1 月 2 日星期五 03:16:24 UTC（10,164 KB）
[v2]
2026 年 10 月 31 日星期六 16:34:24 UTC（4,573 KB）
来源：arXiv cs.CL · arxiv.org