arXiv cs.AI· Xingyu Zhao·· 10 小时前AI 评分31
论文提出 LLM 可靠性是用户特定属性,呼吁用版本化运行声明补充能力分数
Reliability is a user-specific property of large language models
AI 导读
一篇 arXiv 论文主张 LLM 服务的可靠性应针对特定用户和使用条件评估,而非仅靠公开基准的能力分数。作者区分"发现故障的测试"与"评估可靠性的测试",提出涵盖声明规范、动态运行画像、分级结果与噪声判断、局部概率鲁棒性、交互依赖和统计推断与再评估的六工作流研究路线图。论文认为能力分数应辅以版本化运行声明,说明覆盖谁的需求、在何种条件下、以多大不确定性成立。
正文 · AI 翻译
摘要:公共基准支持对大型语言模型(LLM)能力进行比较,但用户对同一个高排名模型的体验可能不同。借鉴传统软件可靠性,我们认为应当针对特定用户和使用条件来评估 LLM 服务的可靠性。这需要的不仅仅是一个能力分数:评估证据必须支持关于未来运行中故障的论断。我们区分了用于发现故障的测试与用于评估可靠性的测试,并识别出此类论断背后的十项建模考量。我们提出了一个包含六个工作流的研究路线图,将论断规范、动态运行剖面、分级结果与噪声判断、局部概率鲁棒性、交互依赖性以及带重新评估的统计推断联系起来。局部概率鲁棒性解决了当不同的具体输入被视为同一任务时所隐藏的行为差异。已发表的研究结果和一个说明性的客户支持示例为路线图提供了动机;其集成验证仍是一项开放的研究任务。可靠性论断补充但不替代单独的安全与安保论证。因此,能力分数应当辅以版本化的运行论断,说明覆盖了谁的需求、在何种条件下以及具有何种不确定性。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23732 [cs.SE] |
| (或 arXiv:2611.23732v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23732 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xingyu Zhao [查看电子邮件]
[v1]
2026年11月18日星期三 02:44:28 UTC(1,704 KB)
来源:arXiv cs.AI · arxiv.org