arXiv cs.AI· Diptangshu Sen, Jibang Wu, Juba Ziani·· 13 小时前AI 评分27
面对模型蒸馏，企业能做什么？一项基于经济理论的干预策略分析
What Can Firms Do in the Face of Model Distillation?
AI 导读
一项基于经济理论的研究分析了模型蒸馏对市场的影响：小公司可用强大闭源模型的对话数据蒸馏训练自有模型，以更低成本获得较高模型质量。研究提出，在能以一定概率检测蒸馏攻击时，惩罚性监管可完全遏制蒸馏，但可能损害市场竞争与用户剩余；在无法可靠检测时， incumbent 可用自蒸馏作为缓解策略，其效果取决于新自蒸馏模型的部署成本效率，并能在一定程度上保护用户剩余。
正文 · AI 翻译
摘要：模型蒸馏已成为快速发展的生成式 AI 讨论中的一个主要关注点。在最简单的形式中，蒸馏是指较小公司可以利用从与强大的专有闭权重模型对话记录中提炼出的数据来训练自己的模型，从而以低得多的成本获得相当高的模型质量。除了与蒸馏相关的合理安全与安保担忧之外，另一个主要问题是它如何扭曲市场结果。这促使我们从经济理论视角启动对该问题的探索。我们考虑一个包含两个参与者的设定：一个现有企业和一个蒸馏竞争者，并刻画现有企业的模型特征如何驱动竞争者应蒸馏多少的激励。我们还考虑蒸馏对用户侧剩余和现有企业效用等关键市场结果的影响。然而，我们的关键贡献是研究用于防止或限制蒸馏攻击的干预措施。在此背景下，我们研究两种设定：i）当有可能以一定概率（该概率随所进行蒸馏的程度而增长）检测到对现有企业模型的攻击时；以及 ii）当蒸馏攻击无法被可靠检测时。在第一种设定中，我们表明基于惩罚的监管可以非常有效地完全阻止蒸馏，尽管它可能对市场竞争和用户剩余产生潜在不利影响。在后一种设定中，我们表明现有企业可以将自蒸馏用作一种缓解策略。重要的是，自蒸馏的有效性取决于现有企业能够以多高的成本效率在市场上部署新的自蒸馏模型。从积极方面看，自蒸馏可以保持市场竞争，从而在一定程度上保护用户剩余。
| 评论： | 32 页 |
| 主题： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38088 [cs.GT] |
| （或 arXiv:2610.38088v1 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38088 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Diptangshu Sen [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 00:04:48 UTC（437 KB）
来源：arXiv cs.AI · arxiv.org