训练前先测量：类型化决策模型、经典基线与生成式 LLM 在个人多语言收件箱路由上的对比

查看 PDF HTML（实验性）

摘要：个人电子邮件代理会针对每封邮件做出判断：它是什么、是否紧急、是否起草回复、创建任务还是忽略。其错误率很少被测量：存储的标签是由系统自身写出的。我们提出 Foyer——一个日常使用的自托管个人收件箱代理，以及一套测量协议（分层抽样、冻结快照、按线程分组划分、预注册假设、在代理审核循环中引入人工标签），可在任何训练之前获得真实基准。在由所有者标注的 739 封真实意大利语/英语邮件（231 封无偏、500 封对抗性采样）上，我们在按线程分组交叉验证下比较了九个系统：生产关键词规则、TF-IDF + 逻辑回归基线、本地类型化决策模型（Tev1、Nimble）、托管决策模型（Nimble v4-max），以及托管生成式 LLM（Qwen2.5-7B、Gemma 4 26B/31B）。四项结果。生产规则在消息类型上的得分为 28%，而多数类为 58%：展示最显眼的字段不携带任何信息。在约 200 个标签下，逻辑回归在每个字段上准确率最高（类型 0.79、紧急度 0.74、需回复 0.83、是否为噪声 0.90），尽管它从不预测两个最稀有的类别，且在类型上与 Gemma 4 统计上持平；少样本提示无法弥合差距。发件人关系（客户、供应商、服务）在联系人已见过的情况下可从同一联系人的其他邮件中以 98.6% 的准确率恢复，且任何模型都无法从单封邮件推断：它属于联系人图，而非提示词。最后，准确率不是产品指标：组合成动作后，最准确的系统最常忽略需要动作的邮件（18%，而最佳 LLM 为 4%）；在其噪声概率上按成本选择的阈值可将该比率减半，并使其成为最便宜的系统。

评论：	8 页，7 张表。单用户案例研究。代码与协议：此 https URL。邮件为私有，不予发布
主题：	计算与语言（cs.CL）；人机交互（cs.HC）；机器学习（cs.LG）
ACM 分类：	I.2.7; H.5.2
引用为：	arXiv:2610.32955 [cs.CL]
	（或本版本引用 arXiv:2610.32955v1 [cs.CL]）
	https://doi.org/10.48550/arXiv.2610.32955 arXiv 颁发的 DOI 经由 DataCite（待注册）

提交历史

来自：Federico Lucca [查看邮箱]
[v1] 2026 年 10 月 23 日星期五 17:49:43 UTC（19 KB）