arXiv cs.CL· Boris Malashenko, Ivan Jarsky, Egor Soldatov, Vladislav Luzhnov, Sviatoslav Stumpf, Vladislav Shmatkov, Viacheslav Shalamov, Andrey Stankevich, Valeria Efimova·· 10 小时前AI 评分26
StaRSE：用符号编码静态编码器实现紧凑俄语句子嵌入
StaRSE: Compact Russian Sentence Embeddings with a Sign-Coded Static Encoder
AI 导读
StaRSE 是一款紧凑的俄语静态句子编码器，部署时无需 Transformer 推理：token 方向以符号位存储、token 范数单独保存，句子通过对范数缩放的符号方向做均值池化编码。
正文 · AI 翻译
摘要：Transformer 句子编码器能提供很强的检索质量，但当嵌入必须在 CPU 上生成或需要频繁刷新时，其推理成本会成为瓶颈。我们提出 StaRSE，一种紧凑的俄语静态句子编码器，在部署时去除了 Transformer 推理：词元方向以符号位存储，词元范数单独存储，句子通过对范数缩放后的符号方向进行平均池化来编码。StaRSE 从 ruBERT-base 初始化，在俄语相邻句子对和任务形态句对上进行微调，并通过一个直接优化符号投影词元表的对比阶段进行后训练。在 RuMTEB 上，StaRSE 的任务均值为 $51.16$，比纳入的最强静态基线高 $7.98$ 分。打包后的模型占用 $11.3$ MiB，平均 CPU 延迟为每句 $0.08$ ms；而质量最接近的上下文编码器估计参数占用为 $55.7$ MiB（16 位），平均 CPU 延迟为 $1.43$ ms。消融实验考察了相邻句子监督、词元范数以及直接的符号投影后训练。
| 评论： | 已被 ReNeuIR @ SIGIR 2026 接收。16 页 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.14236 [cs.CL] |
| （或 arXiv:2611.14236v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14236 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ivan Jarsky [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 15:47:46 UTC（114 KB）
来源：arXiv cs.CL · arxiv.org