arXiv cs.CL· Gyuseong Lee, Gyeongje Cho, Jongmin Kim, Heejin Kim, Yeonkyoung So, Hyunggeun Jeon, Hyunji M. Park, Sangho Kim, Yoonhee Park, Youngbin Pyo, Jaejin Lee·· 11 小时前AI 评分31
Thunder-DeID+：面向韩国法院判决书及更广泛敏感文档的边界感知去标识化模型
Thunder-DeID+: Boundary-Aware Korean De-identification from Court Judgments to Broader Sensitive Documents
AI 导读
Thunder-DeID+ 将面向韩国法院判决书的去标识化模型迁移到更广泛的敏感文档，通过三层 PII 分类体系与边界感知 tokenizer 解决韩语黏着结构导致的 PII 与助词粘连问题。
正文 · AI 翻译
作者：Gyuseong Lee、Gyeongje Cho、Jongmin Kim、Heejin Kim、Yeonkyoung So、Hyunggeun Jeon、Hyunji M. Park、Sangho Kim、Yoonhee Park、Youngbin Pyo、Jaejin Lee
摘要：本研究考察了为韩国法院判决开发的去标识化模型向更广泛敏感文档的可迁移性，重点关注边界精度、标签粒度和召回率。韩语的黏着结构导致字节对编码（BPE）分词器经常将个人可识别信息（PII）与相邻助词合并，这使准确的跨度恢复变得复杂。此外，当前的 PII 分类体系对法律文本缺乏足够的粒度。为解决这些问题，本研究引入了 Thunder-DeID+，它将细化的三层 PII 分类体系与边界感知分词器相结合。该分词器通过引入 N-gram 和边界评分组件来增强预训练的 BPE 词汇表，以更好地对齐 token 与 PII 跨度边界。所提出的方法使用与分词器无关的词段级协议进行评估。在完整长度的判决书上，该分词器在四种模型规模（150M、395M、750M 和 1B）下将 W. Strict Typed F1-score 从 0.76-0.77 稳定提升至 0.87-0.88，主要通过提高精确率而非扩大模型规模实现。在 1,000 份更广泛的敏感文档上进行微调后，经判决书训练的模型进一步达到 0.93 的 W. Strict Typed F1-score，表明其可有效迁移至法院判决之外。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22733 [cs.CL] |
| （或 arXiv:2610.22733v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22733 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeonkyoung So [查看邮箱]
[v1]
2026年10月15日 星期四 23:11:43 UTC（320 KB）
来源：arXiv cs.CL · arxiv.org