热点事件观察中

研究量化蒸馏中潜意识行为迁移比例

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Uwe König 等作者发表研究，量化语言模型蒸馏中的潜意识行为迁移比例。研究对 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 两个教师模型施加不同强度的引导，再仅用良性数据蒸馏学生模型。结果显示，即便训练数据全部为良性，教师被引导出的行为仍能稳健迁移到学生模型。

AI 根据报道生成 · 10 小时前更新

最新进展11月14日 13:00

沿着报道，了解事件的不同侧面。

11月14日

13:00
arXiv cs.AI
语言模型蒸馏中的潜意识行为迁移比例量化研究
研究量化了语言模型蒸馏中的潜意识行为迁移比例：对 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 两个教师模型施加不同强度的引导后，仅用良性数据蒸馏学生模型，迁移依然稳健。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。