arXiv cs.CL· Souvik Nath, Sumit Wadhwa, Luis Perez·· 11 小时前AI 评分22
领域自适应小型语言模型用于结构化税码预测
Domain-Adaptive Small Language Models for Structured Tax Code Prediction
AI 导读
一篇 arXiv 论文提出基于编码器-解码器架构的领域自适应小型语言模型（SLM），用于从非结构化产品与服务数据中预测层级化税码序列。实验显示，该模型在 HSN 税码预测上优于扁平分类器，并在结构化序列生成任务上优于纯解码器和纯编码器架构。该方法可扩展至 UNSPSC、巴西 NCM 等其他政府强制税则编码。
正文 · AI 翻译
摘要：每天，跨国企业处理数千笔交易，每笔交易都必须遵守因司法管辖区而异且往往十分细微的税务法规。确定产品和服务税码（如 HSN 或 SAC）是税务合规中的一个主要用例。准确确定此类代码对于避免任何税务处罚至关重要。本文提出了一种具有编码器-解码器架构的领域自适应小型语言模型（SLM），用于增强产品和服务税码的预测。在该方法中，我们解决了使用非结构化产品和服务数据预测分层税码序列的问题。我们采用基于编码器-解码器架构的 SLM，因为这能够顺序生成税码，以捕获税码中存在的分层依赖关系。我们的实验表明，编码器-解码器 SLM 可以成功应用于结构化税码的顺序预测，这一领域在当前 NLP 研究中相对尚未被探索。在本文中，我们展示了领域自适应编码器-解码器 SLM 在应用于商品名称及编码协调制度（HSN）时优于扁平分类器的性能，并在结构化序列生成任务中相比仅解码器和仅编码器架构取得了更优的结果。该方法还可以扩展到其他政府规定的税收商品代码，例如联合国标准产品与服务代码（UNSPSC）或巴西的共同对外关税命名法（NCM）。
| 评论： | 8 页，3 幅图，4 张表。v3：添加了相关工作、消融研究和成本分析。本工作已提交至 IEEE 以供可能发表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2507.10880 [cs.LG] |
| （或此版本的 arXiv:2507.10880v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2507.10880 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sumit Wadhwa [查看电子邮件]
[v1]
2025 年 7 月 15 日星期二 00:46:01 UTC（541 KB）
[v2]
2025 年 7 月 19 日星期六 21:12:12 UTC（541 KB）
[v3]
2026 年 11 月 3 日星期二 21:11:26 UTC（1,063 KB）
来源：arXiv cs.CL · arxiv.org