跳到正文
arXiv cs.CL· Meysam Sabbaghan, Nikesh Gyawali, Arman Zareian Jahromi, Sebastian Loera-Lozano, Doina Caragea, Cornelia Caragea·· 6 天前AI 评分18

MoPrO-SD:面向立场检测的模块化提示词优化框架

MoPrO-SD: Modular Prompt Optimization for Stance Detection

AI 导读

MoPrO-SD 是一个面向立场检测的模块化提示词优化框架,将提示词拆解为功能性语义模块,并利用 LLM 反馈依次精炼,同时提出 VaccineStance 疫苗立场检测基准。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:由于隐含观点、讽刺以及依赖上下文的立场表达,立场检测对大语言模型(LLM)而言仍具挑战性。尽管自动提示优化提供了一种无需更新模型参数即可替代微调的方法,但现有的结构化方法并非专门围绕立场标签语义和类别特定歧义而设计。我们提出 MoPrO-SD,一个立场专用的提示优化框架,它将提示分解为功能性语义模块,并利用基于 LLM 的反馈依次对其进行细化。我们研究了三种细化策略:仅指令优化(I)、带推理的指令(I+R)以及带逐示例推理的指令(I+R+E),并使用类别条件错误进行立场标签细化。我们还提出了 VaccineStance,一个用于疫苗立场检测的新的人工标注基准。在四个数据集和五个开放权重 LLM 上的实验表明,MoPrO-SD 在许多设置下优于人工编写的 Base 提示。在 SemEval-2016 上,对于五个主干模型中的四个,类别条件反馈比汇总反馈取得了更高的平均 Macro-F1。两种基于推理的策略 I+R 和 I+R+E 均取得了强劲的性能,其相对有效性因模型和数据集而异,同时与近期的提示优化方法相比仍具竞争力。MoPrO-SD 代码和 VaccineStance 数据集已在 GitHub 上提供。
学科: 计算与语言(cs.CL)
引用为: arXiv:2610.13386 [cs.CL]
  (或 arXiv:2610.13386v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.13386

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Meysam Sabbaghan [查看电子邮件]
[v1] 2026年10月9日星期五 11:00:33 UTC(6,615 KB)

来源:arXiv cs.CL · arxiv.org