跳到正文
arXiv cs.CL· Ibrahim Khan, Thai Van Nguyen, Yi Xia, Pratch Suntichaikul, Mustafa Can Gursesli, Daniel Fernandez Galeote, Juho Hamari, Ruck Thawonmas·· 12 小时前AI 评分31

RE-ZS-CoT:角色增强零样本思维链提示的大规模评估

A Large-Scale Evaluation of Role-Enhanced Zero-Shot Chain-of-Thought Prompting

AI 导读

论文提出 RE-ZS-CoT 提示框架,将领域专家角色系统性地融入零样本思维链推理,无需任务示例。在 20 个 LLM 和 7 个基准上,该方法常超越零样本与零样本 CoT 基线,性能提升最高达 44 个百分点。静态与动态角色选择结果高度一致,非常规角色会降低性能,凸显任务与角色对齐的必要性;框架在 2b-14b 参数规模上验证可扩展,Granite3.3-8b 在算术推理上表现突出。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:本文提出角色增强零样本思维链(RE-ZS-CoT),这是一种提示框架,系统性地整合领域特定的专家角色,以增强大语言模型(LLM)在无任务特定示例情况下的推理能力。我们评估了该方法的两个版本。在第一个版本(静态角色选择)中,我们在算术、常识和阅读理解基准上评估八个预定义专家角色,以确定其对推理性能的影响。在第二个版本(动态角色选择)中,每个模型自主为每个基准选择唯一最合适的角色,从而实现无需人工指定的自适应任务-角色对齐。在 20 个 LLM 和七个基准上,RE-ZS-CoT 经常超越零样本和零样本-CoT 基线,性能提升最高达 44 个百分点。结果揭示了静态版本与动态版本之间的高度对应关系;静态角色带来改进的基准几乎总是动态角色也优于基线的基准,不过静态选择达到了峰值性能。消融研究进一步表明,非常规角色会降低性能,凸显了任务-角色对齐的必要性。该框架的可扩展性在模型规模(2b-14b 参数)上得到验证,像 Granite3.3-8b 这样较小的模型在算术推理方面达到了出色的熟练度。RE-ZS-CoT 通过将角色专业化与思维链推理统一起来,推进了零样本提示,为跨多样领域提升 LLM 能力提供了一种实用、资源高效的解决方案。
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2610.29073 [cs.CL]
  (或 arXiv:2610.29073v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.29073

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ibrahim Khan Dr [查看电子邮件]
[v1] 2026 年 10 月 21 日星期三 01:53:34 UTC(958 KB)

来源:arXiv cs.CL · arxiv.org