Surge AI 推出 DAYJOB: Tax 基准，用 50 个专业税务任务评测 AI 智能体

Anna 打算卖掉她的公寓。她在 2024 年 8 月搬了出去，想知道在 2026 年 10 月还是 2027 年 1 月完成交易在税务上更有利。

一个 AI 智能体审查了这两个选项，并正确得出结论：无论选择哪个日期，都能满足享受最高 25 万美元免征收益的税务优惠所需的居住要求。

但它漏掉了一个重要的截止期限。

按照通常规则，房主必须在出售房产前的五年中至少居住满两年，才有资格享受该免征优惠。由于 Anna 在 2024 年 8 月搬出，她将在 2027 年 8 月底左右不再满足这一要求。如果她的出售延迟到 2027 年 8 月之后，她可能会失去资格。

在五次尝试中，Astra 从未识别出这个截止期限。Opus 在全部五次尝试中都识别出了它。

该智能体正确评估了提议的日期，但其建议让 Anna 没有意识到一个可能影响重大财务决策的截止期限。税务顾问应当识别出重大后果性问题，即使客户并不知道要询问这些问题。

这正是我们通过 DAYJOB: Tax 所测试的那种专业判断力，它是 Surge AI 的 DAYJOB 基准系列 的最新成员。

推出 DAYJOB: Tax

DAYJOB 评估 AI 智能体在专业税务任务上的表现，这些任务需要专业知识、复杂材料，以及初始指令中未完全说明的决策。我们之前的发布涵盖了 Healthcare 和 Finance。DAYJOB: Tax 将这项工作扩展到税务申报、合规和咨询服务。

该基准包含 50 个环境，覆盖税务实践的八个领域。智能体接收客户请求和支持记录，然后生成纳税申报表、工作底稿、技术审查或客户建议。

这些任务在税务知识、计算、检索和指令遵循之外，还测试专业判断力。智能体必须决定哪些内容值得调查、解决相互矛盾的证据、识别信息何时不足，并将这些决策带入最终工作成果。

结果：排行榜与帕累托前沿

Claude Sonnet 5.5 以 10.8% 的通过率领先 DAYJOB: Tax 排行榜，其次是 Claude Fable 5.1 的 9.6% 和 Claude Opus 5.5 的 9.2%。

我们报告的是在 95% 评分标准阈值下的 pass@1。当一次尝试满足任务至少 95% 的标准时，即视为通过；这些标准评估计算、支持证据、后果性问题和完成的交付成果。

性能与成本

我们还比较了模型性能与每次试验的平均成本。

Claude Sonnet 5.5 和 Opus 5.5 占据了所测帕累托前沿的高性能端。

专业税务工作的广度

DAYJOB: Tax 覆盖八个领域，每个领域都需要不同的规则、记录和专业知识：

• 个人与家庭税务
• 小企业税务
• 合伙企业
• 财产与投资
• 遗产、赠与和信托
• 国际税务
• 公司交易
• 税务审查与争议

有些任务需要完整的申报包及支持性工作底稿。另一些则要求智能体调查交易、审查之前的申报，或就客户尚未做出的决定准备建议。

任务内容包含什么？

该基准包含1,789 个工作区文件，每个任务的中位数为 30 个，最多达 123 个。其中包括 1,487 个 PDF、117 个 Excel 工作簿、38 个 Word 文档，以及额外的电子邮件、图像、CSV、JSON 记录和文本文件。

这些工作区包括已申报和草拟的纳税申报表、K-1、W-2、IRS 通知、总账、工资记录、合同和往来信函。它们还包含税务专业人员日常处理的不太标准化的证据。

其中一个任务包含一张为转售而购买商品的 handwritten receipt（手写收据）的照片。智能体必须读取商品描述和金额，将其与支出记录核对，并确定这些采购如何影响库存和销货成本。

另一个任务涉及一家工业筒仓服务公司，其客户认为该公司仅在阿拉巴马州运营。但其现场调度日志显示，工作人员在五个州开展工作。工作地点、人员规模和现场天数提供了与该公司多州纳税义务相关的证据。

其他环境同样多样。其中一个涉及一个跨境家庭，其波兰就业和财产记录必须与加密货币交易所导出数据、钱包历史和历史购买批次进行核对。

由税务专家创建并审核

DAYJOB 任务始于现实世界的专业工作流程。税务专家将这些情况转化为逼真的任务，开发支持记录、预期结果和评分标准。每个任务都要经过三层专家审核，以确保正确性、完整性和可解性。

税务专家带来涵盖公司税、合伙企业、个人申报表、信托和多州合规方面的经验。他们的背景包括：

• 公司和私募股权税务：一位在普华永道、德勤和埃克森拥有超过 10 年经验的税务律师，涵盖税务规划、合规、审计和争议。
• 合伙企业和公司税务：一位 Baker Tilly 税务总监，曾在普华永道、Moss Adams 和 Windes 任职，专长于复杂的合伙企业分配、合并公司申报表、REITs 和高净值客户。
• 房地产和个人税务：一位在德勤和安永有经验的税务专业人士，专长于房地产合伙企业、个人税务和信托。

建立在未经核实的假设之上的退休计划

一对正在分居的夫妇询问 AI 智能体如何分割他们的 Roth IRA 和 401(k)。Opus 5.5 告诉他们，他们并非合法已婚，并建议将账户分开，通过现金支付来平衡余额。

它在一条回复开头写道：

你们并非合法已婚，因此在不触发税收和罚款的情况下，两个账户都不能分割。

但这对夫妇自己的记录对这一结论提出了质疑。尽管他们现在住在佛罗里达州，而该州通常不承认新的普通法婚姻，但他们此前曾一起住在德克萨斯州，并在科罗拉多州举行了仪式。德克萨斯州在特定条件下承认非正式婚姻，而在其他地方确立的有效婚姻在佛罗里达州可能仍然有效。

这一区别可能会改变分割其退休账户的税务后果。

在全部五次尝试中，Opus 都基于这对夫妇未婚的假设来给出建议，即使它承认存在不确定性。Astra 在五次尝试中有四次认识到需要核实他们的婚姻状况。其中一条回复建议：

我们首先需要确认您的合法婚姻状况。

客户询问如何分割账户。代理需要在建议行动方案之前确定他们是否已婚。本应促使进行这项调查的证据已经在档案中。

DAYJOB：税务的定位

大多数现有的税务基准都从一个已定义的问题开始：一个需要回答的法律问题、一份需要计算的申报表，或需要收集的缺失纳税人信息。这些评估衡量的是重要能力，但税务专业人士的许多工作在于弄清楚问题究竟是什么。客户提供的指示不完整，记录中包含相互矛盾的证据，而重要问题可能根本不会出现在最初的请求中。

DAYJOB 测试代理能否承担这种端到端的责任，包括识别客户忽视的问题、评估相互矛盾的证据，以及首先决定需要做什么。

TaxBench

模型能回答一个困难的税务问题吗？

TaxBench 评估跨多个专业领域的 114 个税务问题，每个问题都有明确的定义和评分标准。

DAYJOB 还会追问客户是否问对了问题。 Anna 想比较出售其公寓的两个日期。两者都满足税收豁免的居住要求，但当该资格可能到期时，代理会警告她吗？

TaxCalcBench

模型能计算出一份准确的申报表吗？

TaxCalcBench 使用真实的税务文件和纳税人场景，对照预期申报值评估申报表的准确性。

DAYJOB 还会追问底层记录是否真的支持该税务处理。 一家工作室的账簿引用了一张随附收据，但该收据缺失。代理会标记缺失的证据，还是错误地将该报销视为已核实？

TaxLab

代理能收集缺失信息并正确申报吗？

TaxLab 测试代理能否询问模拟纳税人、获取缺失信息并完成一份联邦个人所得税申报表。

DAYJOB 将这一责任扩展到更广泛的税务专业领域。 交付成果可能是一份合伙企业亏损分析、一份遗产申报表、对一项有争议税务立场的审查，或一封策略信函。

核心区别在于代理承担多少责任。 DAYJOB 评估代理能否发现重要问题、运用专业判断，并将其发现贯彻到完成的申报、审查或建议中。

DAYJOB：税务衡量什么

DAYJOB 测试 AI 代理能否从头到尾负责一项专业任务。这意味着要处理杂乱的记录、识别客户从未提出的问题、在信息不完整的情况下做出合理判断，并交付符合专业标准的工作。

结果表明，这对前沿模型来说仍然非常困难。即使代理能够执行各个步骤，运用专业判断并可靠地执行现实世界的税务工作流程仍然遥不可及。

代理们尚未通过审计。

完整的排行榜，包含我们评估过的每一个模型，位于DAYJOB：税务基准测试页面。

如需了解更多信息或申请访问完整基准测试，请联系benchmarks@surgehq.ai。