arXiv cs.CL· Ayon Roy, Sadman Sharif, Syed Shams Islam·· 10 小时前AI 评分31
BanglishDepYT：用情感保留预处理与领域自适应预训练检测孟加拉语社交媒体抑郁
BanglishDepYT: Depression Detection in Native Bengali Social Media with Emotion-Preserving Preprocessing and Domain-Adaptive Pretraining
AI 导读
研究团队构建了原生采集自 YouTube 的孟加拉语抑郁数据集 BanglishDepYT，含 191,000 条无标注评论和 1,000 条经双语标注核验的样本。
正文 · AI 翻译
摘要：抑郁症影响着南亚数百万孟加拉语使用者，然而自动检测系统几乎完全依赖于从英语翻译而来的数据集。此类数据集无法捕捉真实痛苦表达中所特有的表情符号、罗马化孟加拉语词汇以及拉长拼写。我们推出 BanglishDepYT，这是一个从 YouTube 原生采集的孟加拉语抑郁症数据集，包含 191,000 条未标注评论和 1,000 个经双语双重标注验证的样本。我们提出 EPH（情感保留混合预处理），它将表情符号转换为语义标签、保留 Banglish 词元、保护否定词并规范化情感拉长。一个关键发现是，预处理选择会显著影响非正式文本上的性能：标准清洗将 Banglish 存活率降至零（SVM F1：0.7062），而 EPH 保留了信号（CESS：0.9996 对 0.6694）并将 SVM F1 提升至 0.8570，提高了 0.1508。我们进一步应用领域自适应预训练（DAPT），在未标注的领域内评论上继续预训练 SahajBERT。DAPT-SahajBERT 取得了最高的平均 F1（0.8161）和 MCC（0.6272），显著优于基线（F1：0.7805，p = 0.0013，d = 1.450）并与 MuRIL 相当（p = 0.589）。这些结果表明，有针对性的领域预训练是大规模多语言预训练的一个有竞争力的替代方案。使用 Qwen2.5-7B 的 LLM 辅助标注达到了与人类的高度一致（kappa = 0.611），从而能够对 96,071 条评论进行伪标注。半监督训练将 AUC 从 0.8499 提升至 0.8731（p = 0.044），为扩展标注提供了一条可扩展的路径。所有代码、模型和数据集均已公开发布，以支持可复现研究。
| 评论： | 39 页 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.01633 [cs.CL] |
| （或 arXiv:2611.01633v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01633 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ayon Roy [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 06:37:38 UTC（323 KB）
来源：arXiv cs.CL · arxiv.org