arXiv cs.AI· Md Mirajul Islam·· 12 小时前AI 评分26
面向人本环境的离线学徒学习：Md Mirajul Islam 博士论文
Offline Apprenticeship Learning for Human-Centric Environments
AI 导读
Md Mirajul Islam 的博士论文提出一系列离线学徒学习（AL）框架，围绕奖励建模与示范质量两大挑战展开。奖励建模方面，EM-EDM 按潜在奖励函数聚类示范并推导簇专属策略，THEMES 借助分层学习的奖励调节器将轨迹切分为时间连贯的子轨迹，在一个教育数据集和三个临床数据集上优于扁平与分层 AL 基线。
正文 · AI 翻译
摘要：在以人为中心的环境（如智能辅导系统（ITS）和临床医疗）中，有效的决策需要具备自适应性、数据高效性且可合乎伦理地部署的策略。学徒学习（AL）通过恢复潜在的奖励结构，直接从专家示范中推断策略，从而实现无需与环境交互的严格离线学习。本论文围绕奖励建模和示范质量这两个挑战，开发了一系列离线 AL 框架。在奖励建模方面，EM-EDM 按潜在奖励函数对示范进行聚类，并归纳出各聚类专属的策略；THEMES 在分层学习得到的奖励调节器引导下，将轨迹划分为时间上连贯的子轨迹；在一个教育数据集和三个临床数据集上，THEMES 的表现优于扁平式和分层式 AL 基线。在示范质量方面，HALIDE 将连续的质量信号整合到分层策略归纳中，从而能够在分布偏移下合理地复用混合质量的数据。CCHAL 进一步通过贝叶斯信用分配、对比专家与非专家行为的双臂关键性评分，以及针对失败轨迹的 Bradley-Terry 对比式 IRL 目标，将质量归因到单个决策上，在三个临床 EHR 数据集和一个 ITS 数据集上优于包括 HALIDE 在内的基线。最后，对 StuEDM（一种由 EDM 归纳得出、保留学生自主性且仅在意见不一致时进行干预的策略）开展的真实课堂评估显示，其相比专家基线取得了显著的学习增益，且经前测调整后的后测分数高于在规模大得多的语料上训练的 CQL 策略，同时对学生进行覆盖的频率不到后者的一半。总之，本工作确立了离线 AL 作为一种实用、数据高效且合乎伦理的范式，适用于以人为中心的环境。
| 评论： | Md Mirajul Islam 的博士论文（此 https URL） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28716 [cs.LG] |
| （或 arXiv:2610.28716v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28716 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md Mirajul Islam [查看电子邮件]
[v1]
2026年10月20日星期二 17:56:15 UTC（3,147 KB）
来源：arXiv cs.AI · arxiv.org