OpenRouter发布LLM基准测试方法指南
热点事件持续更新
OpenRouter发布LLM基准测试方法指南
1 篇报道1 个报道来源35 分钟前更新
先了解这件事
AI 综述
OpenRouter 发布 LLM 基准测试方法指南及配套代码，主张用应用自身的输入与输出格式构造任务，在 OpenRouter 上运行相同任务，比较判分准确率、计费成本和请求耗时来选模型。 在其 60 个合成任务上，GPT-6.1 Sol 三次重复共通过 180/180 次试验，DeepSeek 响应成本最低、通过 157/180；OpenRouter 称该结果与公开排名的 Spearman 相关性仅 0.109。 工具默认离线校验，付费运行需显式加 --live 标志；花费超出预估时脚本会停止发送新请求；配套完整研究沙箱和原生 Ori 环境仅支持 Windows x64。
AI 根据报道生成 · 27 分钟前更新
最新进展11月12日 08:00
OpenRouter 如何对 LLM 做基准测试：用代码判分与成本核算选模型报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- OpenRouter AnnouncementsOpenRouter 如何对 LLM 做基准测试：用代码判分与成本核算选模型
OpenRouter 发布 LLM 基准测试方法指南，主张用应用自身输入与输出格式构造任务，在 OpenRouter 上跑相同任务并比较判分准确率、计费成本与请求耗时。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复中通过 180/180 次试验，DeepSeek 响应成本最低、通过 157/180；该结果与公开排名的 Spearman 相关性仅 0.109。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。