CallScreenBench：小模型充当电话秘书的基准

Jiaqi Gan 等作者发布 CallScreenBench，用五个自动化通话与记录度量组评估小语言模型充当电话秘书的表现。该基准只覆盖文本域对话决策层，语音识别、音频交互、端到端延迟和手机端执行均不在评估范围内。 测试覆盖三个模型家族、0.6-4B 的 4-bit 配对检查点。作者报告，较大检查点在服务、召回与合理性等指标上的点估计更高，但分诊区分度的排序不同。基准不设 Q1-Q5 综合分或排行榜分数，而是分别报告质量指标与戒备性通道，以免单一通过或失败分数掩盖权衡；三项戒备性诊断用于筛出候选案例，交由不持有凭证、不调用工具的无工具代理处理。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。