arXiv cs.AI· Sirisilp Kongsilp·· 10 小时前AI 评分36
小语言模型从用户反馈中学习:何时有效,何时衰减
Learning through Discernment: when a small language model learns from user feedback on the job, and when it decays
AI 导读
研究用 Qwen3 0.6B 和 1.7B 加 LoRA 适配器,在 WebShop 和 τ²-bench 上模拟最多一年的 127 次“夜间学习”,发现模型自评判会先提升后衰减。
正文 · AI 翻译
摘要:设备上的小型语言模型可以通过每晚从自身日常工作中学习来持续改进。然而,在没有真实结果的情况下,必须有某种机制来决定哪些尝试值得学习,而模型自身的判断和用户的反应都可能出错。我们研究了一个带有 LoRA 适配器的小型模型(Qwen3 0.6B 和 1.7B),每晚在评判者接受的尝试上进行微调,在 WebShop 和 $\tau^2$-bench 上进行了 127 次最长为一年的运行。我们将真实结果、用户明确表述的判定以及模型自身的判断,与一个独立的、冻结的“反馈感知”进行比较,该感知读取用户的反应,构建了三个版本。就自我判断而言,模型在一年内先有提升随后衰退,无论其适配器如何。一个将礼貌性放弃视为成功的感知使 5 次运行中的 3 次崩溃;一个为辨别力而构建的感知——它首先询问用户是否给出了明确判定——在两周内使 5 次运行中的 4 次接近 oracle 水平,随后在干净但稀少的课程上逐渐衰退,到第 60 天时降至自我判断的水平。当用户无法看到结果时($\tau^2$-bench),该感知正确读取了反应,但其 80% 的课程是客户已致谢的失败。在 97 次运行中,课程中失败尝试的占比预测了结果(Spearman $\rho$ = -0.81)。在我们的实验中,从用户学习仅在评判者将失败排除在外且用户能看到结果的情况下才站得住脚;偏斜的课程也可能使模型变窄。
| 评论: | 34 页,11 幅图。代码和数据:此 https URL |
| 主题: | 机器学习 (cs.LG);人工智能 (cs.AI);计算与语言 (cs.CL) |
| ACM 分类: | I.2.6; I.2.7 |
| 引用为: | arXiv:2611.23716 [cs.LG] |
| (或 arXiv:2611.23716v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23716 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Sirisilp Kongsilp Ph.D. [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 02:18:51 UTC(169 KB)
来源:arXiv cs.AI · arxiv.org