跳到正文
arXiv cs.CL· Terry Yue Zhuo, Zhuang Li, Yujin Huang, Fatemeh Shiri, Weiqing Wang, Gholamreza Haffari, Yuan-Fang Li·· 2 天前AI 评分31

基于提示词的大模型语义解析鲁棒性研究:Codex 实证分析

On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex

AI 导读

针对基于提示词的大代码模型 Codex 的对抗鲁棒性实证研究显示,这类 SOTA 代码语言模型对精心构造的对抗样本依然脆弱。由于对抗训练对大规模模型不可行(需大量算力和领域内语义解析数据的人工标注),作者提出了无需大量标注数据或高算力即可提升鲁棒性的方法。该研究被 EACL2023 主会接收。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语义解析是一种旨在构建自然语言问题含义的结构化表示的技术。近期,在代码上训练的少样本语言模型在生成这些表示方面表现出优于传统单模态语言模型的性能,后者是在下游任务上训练的。尽管取得了这些进展,现有的微调神经语义解析器仍易受到针对自然语言输入的对抗攻击。虽然已有研究表明,较小的语义解析器的鲁棒性可以通过对抗训练得到增强,但这种方法在现实场景中对大型语言模型不可行,因为它既需要大量计算资源,又需要昂贵的领域内语义解析数据人工标注。本文首次对基于提示的大型代码语言模型 \codex 的对抗鲁棒性进行了实证研究。我们的结果表明,最先进(SOTA)的代码语言模型容易受到精心构造的对抗样本的攻击。为应对这一挑战,我们提出了无需大量标注数据或繁重计算资源即可提高鲁棒性的方法。
评论: 已被 EACL2023(主会)接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2301.12868 [cs.CL]
  (或 arXiv:2301.12868v4 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2301.12868

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Terry Yue Zhuo [查看邮箱]
[v1] 2023年1月30日星期一 13:21:00 UTC(3,624 KB)
[v2] 2023年2月6日星期一 07:06:53 UTC(3,625 KB)
[v3] 2023年3月9日星期四 11:01:02 UTC(3,625 KB)
[v4] 2026年11月13日星期五 11:26:17 UTC(47 KB)

来源:arXiv cs.CL · arxiv.org