arXiv cs.CL· Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad·· 12 小时前AI 评分31
ALIAS：评估 LLM 编写 TLA+ 规范时的性能与记忆化
ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications
AI 导读
研究团队提出 ALIAS，用 TLA+ 模型检查器作为 oracle 检验一致标识符重命名（CIR）能否测出 LLM 的记忆化。在 111 个 TLA+-Bench 任务上，重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%，但改按行为评分后降幅分别缩至约 3 个百分点和 0。
正文 · AI 翻译
摘要：记忆化会抬高大型语言模型（LLM）的基准分数，因为模型能够复现它在训练中见过的答案。研究人员用一致标识符重命名（CIR）来检测这一点，即给任务中的每个标识符赋予新名称，并将重命名任务上较低的分数视为记忆复现的证据。我们在动作时序逻辑增强版（TLA+）语言上测试了该方法，其模型检查器充当预言机，确认重命名后的任务是否保留原任务的确切行为。在 111 个 TLA+-Bench 任务中，重命名使 Claude Opus 4.8 的正确率从 28% 降至 18%，使 GPT-5 从 9% 降至 7%。这一下降大部分来自测试的评分方式，它要求大多数描述从未给出的确切名称。按行为评分使 Opus 4.8 的下降缩小到约 3 个百分点，GPT-5 则缩小到 0。在两个分别用不相交的一半任务进行微调的模型系列中，重命名消除了约一半的似然训练增益，并在未见任务上造成 4.9 个百分点（Qwen）和 1.3 个百分点（Gemma）的损失。因此，重命名后分数降低混合了记忆化、基于名称的评分以及新名称带来的代价。
| 评论： | 19 页（8 页正文 + 附录），6 幅图，9 张表。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.29767 [cs.CL] |
| （或 arXiv:2610.29767v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29767 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Arslan Bisharat [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 14:02:02 UTC（88 KB）
来源：arXiv cs.CL · arxiv.org