arXiv cs.CL· Claire Wang·· 10 小时前AI 评分20
用 LLM 处理尼泊尔语推文中 NER 的困难案例
Using an LLM to Tackle Difficult Cases in NER for Nepali Tweets
AI 导读
研究用微调预训练语言模型（PLM）的 token 概率将尼泊尔语推文测试集分为“简单”和“困难”案例，再用 16 种提示词配置评估 LLM 在困难案例上的表现。基于语义相似度选择示例并增加示例数量，可使 F1 分数较基线配置提升近 10 分。LLM 在完整和简单测试集上不及 PLM，但在困难测试集上超过 PLM，两模型结合后得分进一步提升。
正文 · AI 翻译
摘要：对于低资源语言的社交媒体数据，命名实体识别（NER）颇具挑战性。在 NER 性能上，LLM 往往落后于预训练语言模型（PLM），但它们在处理 PLM 难以应对的案例时展现出潜力。我们使用一个尼泊尔语推文数据集，借助微调后的预训练语言模型（PLM）给出的 token 概率，将测试集划分为“简单”和“困难”两类案例。随后，我们使用 16 种不同的提示配置，在困难测试案例上评估一个 LLM。我们发现，基于语义相似度选择示例并增加示例数量，可使 F1 分数较基线配置提升近 10 分。尽管该 LLM 在完整测试集和简单测试集上的表现不及 PLM，但它在困难测试集上超越了 PLM，因此将两个模型结合时得分有所提升。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08967 [cs.CL] |
| （或 arXiv:2611.08967v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08967 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Claire Wang [查看邮箱]
[v1]
2026年11月6日星期五 04:24:46 UTC（221 KB）
来源：arXiv cs.CL · arxiv.org