arXiv cs.CL· Boyu Cao, Wenshuo Wang·· 10 小时前AI 评分31
面向表征系统性评估的有界评估协议 Bounded-RS 提出
A Bounded Evaluation Protocol for Representational Systematicity
AI 导读
研究者提出有界评估协议 Bounded-RS，用于检验神经网络是否真正表征并因果使用部件及其角色，而非仅靠捷径产生正确输出。该协议通过控制校准的分数、门控与停止规则，将解释判定为 Unsupported、Present-only、Causal-use 或 Undetermined 四种状态。
正文 · AI 翻译
摘要：多项研究表明，神经网络可以在行为上具有系统性，即对熟悉部件的新组合产生正确输出。但它们是否也在表征上具有系统性，也就是说，它们是否表征这些部件及其角色，并利用它们产生输出，仍然难以检验，因为每种证据单独来看都可能产生误导：正确的输出可能来自捷径，可解码的信号未必被使用，干预可能通过非预期的通路起作用，而搜索失败并不能证明其不存在。我们提出一种针对表征系统性的有界评估协议（Bounded-RS）：对于将某种系统性行为归因于某个已声明表征的解释，它在匹配的行为对比上检验该表征是否可恢复以及是否被因果性地使用，检查这些证据的有效性，并通过控制校准的分数、门控和停止规则，将该解释归入四种有界状态之一：不支持、仅存在、因果使用或未确定。在我们发布的包含 96 个匹配集的语义解析测试平台上，对微调 T5 模型所测试的角色-填充者 Binding 解释为因果使用，而分布式 Geometry 解释在其声明的搜索空间内为不支持，这些判定在校准兼容的参数配置、训练种子和 T5-base 上均成立。在 41 个已知因果状态的案例上，完整裁定在 34 个非因果案例中仅 1 个被误判为因果使用，而将可恢复性视为使用时则有 13 个，且未漏掉任何因果案例。因此，Bounded-RS 将自 Fodor 和 Pylyshyn 以来一直争论的表征系统性问题，转化为对已声明解释的可比较、可证伪的判定，每项判定都报告使其成立的证据模式，对于否定性判定，还报告限定它的搜索空间。
| 评论： | 已被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01755 [cs.CL] |
| （或 arXiv:2611.01755v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01755 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenshuo Wang [查看邮箱]
[v1]
2026 年 11 月 1 日星期日 10:01:34 UTC（272 KB）
来源：arXiv cs.CL · arxiv.org