Hugging Face Daily Papers· Zehao Jin·· 19 天前AI 评分36
Transformers 过早停止思考，一个微型 LoRA 就能修复
Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
AI 导读
预训练 Transformer 在上下文中跟随引用的深度有限，13 个基础模型只能可靠跟随 1.4-3.6 行，增加预训练循环层也收效甚微。
来源：Hugging Face Daily Papers · huggingface.co