研究：生产LLM外部经验服务的质量成本权衡

Lin Sun 与 Heming Zhang 发表研究，把生产环境 LLM 系统的外部经验服务作为面向部署的质量-成本权衡问题，在真实生产审核场景中对比无经验基线、随机经验对照、全局提示词注入与基于检索的选择性注入四种做法。 结果显示，当经验依赖具体案例时，选择性检索比无条件全局注入提供更优的运行点，且检索质量比单纯提高 Top-K 更重要。研究还发现，相同服务策略在短输出与解码密集型场景下的成本收益差异显著，外部经验只有在服务接口与任务成本结构匹配时才值得付出在线成本。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。