arXiv cs.CL· Esmeralda S. Whitammer, Sameera Lanka, Pranav Goel, Nebojsa Jojic·· 11 小时前AI 评分26
研究：通过迭代打乱（IBIS）检验词序是否编码语义
Studying word order through iterative shuffling
AI 导读
研究提出 IBIS（inference by iterative shuffling），一种无需额外训练、可作用于任意黑盒语言模型的高效流程，用于找出词袋在固定语言模型下似然最高的排列，效果优于现有词序算法。
正文 · AI 翻译
摘要：随着神经语言模型在 NLP 基准任务上接近人类表现，其进展被广泛视为对句法理解日益复杂的证据。这一观点基于一个尚未经过实证检验的假设：词序编码了对完成这些任务至关重要的语义。我们在许多情况下反驳了这一假设：在 GLUE 套件以及各种体裁的英文文本中，句子或短语中的单词很少能被重新排列成一个携带显著不同信息的短语。我们这一令人惊讶的结果依赖于迭代打乱推断（IBIS），这是一种新颖、高效的程序，能够在固定语言模型下找到一组词袋中似然最高的排序。IBIS 可以使用任何黑盒模型而无需额外训练，并且优于现有的词序算法。综合我们的发现，我们讨论了诸如 IBIS 之类的打乱推断程序如何有益于语言建模和受限生成。
| 评论： | EMNLP 2021；代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2109.04867 [cs.CL] |
| （或 arXiv:2109.04867v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2109.04867 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.18653/v1/2021.emnlp-main.809
链接到相关资源的 DOI |
提交历史
来自：Esmeralda Whitammer [查看电子邮件]
[v1]
2021年9月10日星期五 13:27:06 UTC（6,467 KB）
[v2]
2026年11月5日星期四 12:23:23 UTC（6,463 KB）
来源：arXiv cs.CL · arxiv.org