arXiv cs.AI· Mahendra Roopa, Srikanth Roopa·· 11 小时前AI 评分34
面向托管模型的隐私推理：为冻结的 Qwen3.8-27B 学习输入嵌入变换
Privacy-preserving inference on hosted models: a learned input-embedding transform for frozen Qwen3.8-27B
AI 导读
研究者提出一种客户端本地完成的输入嵌入变换方案，让托管方只收到变换后的向量而非文本或 token id。该变换是一个 55.6M 参数的小网络，作用于冻结的 Qwen3.8-27B，训练时以冻结模型为固定评判者，结合前向 KL 效用项与使向量偏离原方向的辅助项。
正文 · AI 翻译
摘要：发送给托管语言模型的每条提示词都能被运行该模型的人读取。我们研究提示词能否留在客户端，而托管方接收代替它的变换后向量。语言模型通过公开查找表将文本恰好转换一次为向量；我们在本地执行该步骤，并在向量离开边界之前让其通过一个小型训练网络（55.6M 参数）。托管方在变换后的向量上运行冻结的 27B 模型（Qwen3.8-27B），且从不接收文本或 token id。我们以冻结模型作为固定评判器来训练该变换，将前向 KL 效用项与一个辅助项结合，后者将每个向量推离其原始方向。在训练中留出的 1,490 道 MMLU 问题上，该变换带来 1.5 个百分点的准确率损失（80.7% 对 82.3%），在未修改模型能正确回答的 1,226 道题中破坏了 68 道（5.5%），而在最近邻查找下，30.1% 的内容 token 不再解码为其原始 token。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27817 [cs.AI] |
| （或 arXiv:2610.27817v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27817 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Mahendra Roopa [查看电子邮件]
[v1]
2026年10月20日星期二 08:08:46 UTC（18 KB）
来源：arXiv cs.AI · arxiv.org