arXiv cs.AI· Jiaqi Gan, Haoyuan Tang, Jamey Z. Liang, Siying Chen, Ankit Raj, Kidus Zewde, Yuchen Zhou, Yuxin Zhang, Simiao Ren·· 14 小时前AI 评分34
CallScreenBench：以小语言模型作为电话秘书的基准测试
CallScreenBench: Benchmarking Small Language Models as Phone Secretaries
AI 导读
CallScreenBench 提出用五个自动化通话与记录度量组评估小语言模型充当电话秘书的表现，聚焦文本域对话决策层，不涉及语音识别与端侧执行。测试覆盖三个模型家族、0.6-4B 的 4-bit 配对检查点，较大检查点在服务、召回与合理性等指标上点估计更高，但分诊区分度排序不同。基准不设 Q1-Q5 综合分或排行榜分数，并单独报告质量指标与戒备性通道，避免单一通过/失败分数掩盖权衡。
正文 · AI 翻译
摘要：小到足以在手持设备上运行、量化到几个比特的语言模型，越来越有能力代表其用户行事——这使得设备端任务自动化重新变得可行。其中一项任务就是接听电话。电话秘书代表其主人接听未知的来电，与大多数基准所评估的智能体不同，它没有由来电者指派的、可配合完成的任务：目标掌握在来电者手中，而来电者可能是对手，秘书必须在没有神谕的情况下开始决定如何回应。重要的不是任务成功，而是主人是否会认可其代理处理来电的方式。我们仅评估文本域的对话决策层；语音识别、音频交互、端到端延迟和手持设备执行不在范围内。我们提出 CallScreenBench，它报告五个自动化的通话与记录度量组，其动机来自主人认可。每个度量组在可用时都配有一个反向指标和一个不确定性估计；没有定义基准范围的 Q1-Q5 综合评分或排行榜分数。三项警觉性诊断识别出无工具代理的候选案例，该代理不持有任何凭据，也不调用任何工具。在由成对的 4 位检查点（0.6-4B）所代表的三个模型家族中，主要评分快照在若干服务、召回和合理性度量上给出较大检查点更高的点估计，而分诊区分度则遵循不同的排序。仅诈骗侧的 TPR 会奖励普遍怀疑，而当纳入合法侧的假阳性并跨评审快照时，成对分离度会发生变化。脚本化的退化代理暴露出更多下限，包括一个实体召回率为 1.000 的挂断并回显策略。我们分别报告质量度量和警觉性通道，以免单一的通过/失败分数掩盖它们之间的权衡。
| 评论： | 24 页，8 张图 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.01033 [cs.CR] |
| （或此版本的 arXiv:2608.01033v3 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2608.01033 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Simiao Ren [查看电子邮件]
[v1]
2026 年 8 月 2 日星期日 06:31:25 UTC（256 KB）
[v2]
2026 年 8 月 21 日星期五 21:01:52 UTC（258 KB）
[v3]
2026 年 10 月 24 日星期六 20:53:19 UTC（259 KB）
来源：arXiv cs.AI · arxiv.org