arXiv cs.CL· Lin Sun, Heming Zhang·· 10 小时前AI 评分34
生产环境 LLM 系统的外部经验服务：面向部署的质量-成本权衡研究
External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs
AI 导读
研究将外部经验服务视为面向部署的质量-成本权衡问题，在真实生产审核场景中对比无经验基线、随机经验对照、全局提示词注入与基于检索的选择性注入。结果显示，当经验依赖具体案例时，选择性检索比无条件全局注入提供更优的运行点，且检索质量比单纯提高 Top-K 更重要。相同服务策略在短输出与解码密集型场景下的成本收益差异显著，外部经验只有在服务接口与任务成本结构匹配时才值得付出在线成本。
正文 · AI 翻译
摘要：生产环境中的 LLM 系统会积累可复用的运行经验，但实际部署问题并不仅仅是这些经验是否有帮助，而是在现实约束下，不同服务策略如何在质量与在线成本之间进行权衡。注入外部经验可以提升任务质量，但也会增加提示负担、延迟和服务压力。我们将\textit{外部经验服务}作为一个面向部署的质量-成本权衡问题来研究。我们在真实的生产审核场景中评估这一问题，并以工具使用和 GPQA 作为辅助对比任务，以呈现不同的输出成本模式。我们比较了无经验基线、随机经验对照、全局提示注入和基于检索的选择性注入，并分析了任务质量和服务成本。结果表明，一旦经验变得依赖于具体案例，选择性检索比无条件的全局注入提供了更强的运行点。结果进一步表明，检索质量比单纯增加 Top-$K$ 更重要，并且同一服务策略在短输出和解码密集型模式下可能表现出显著不同的成本效益特征。这些发现表明，外部经验最好被视为一种选择性的、成本感知的服务决策，而不是一种通用的附加组件。总体而言，在本文研究的设置中，只有当服务接口和任务特定的成本结构都使其质量收益值得在线成本时，外部经验才会带来回报。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.11806 [cs.CL] |
| （或 arXiv:2606.11806v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.11806 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lin Sun [查看邮箱]
[v1]
2026年6月10日星期三 08:38:55 UTC（2,147 KB）
[v2]
2026年11月2日星期一 01:33:55 UTC（246 KB）
来源：arXiv cs.CL · arxiv.org