arXiv cs.AI· Tapan Parikh·· 1 天前AI 评分48
低成本模型行为测评方法：跨厂商与跨版本追踪模型行为变化
Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases
AI 导读
研究者提出一套低成本、可复现的模型行为测评方法，每项研究以固定公开刺激在跨厂商模型面板上运行，单个模型成本仅几美元或更低。对四年间前沿与开源实验室的模型版本测试发现：44 个模型中有 27 个在四次尝试中至少一次回答“serendipity”；句尾加“right?
正文 · AI 翻译
摘要：语言模型为人们提供建议、陪伴人们，并在人们睡觉时编写软件。衡量它们的行为并不容易：行为需要在不同模型、提示和版本之间反复采样，其中大部分存在于非结构化文本中，必须先编码才能计数，而且结果必须足够清晰、严谨，才能有意义地比较模型和供应商。为应对这些限制，我们提出一种简单、廉价、可扩展且可复现的模型行为研究方法。每项研究都是一个冻结的公开刺激，在跨供应商面板上以完全相同的方式运行，每个模型的成本仅为几美元或更低。每项研究以三种方式之一读取其转录文本，具体选择取决于该行为需要多少解释：对受限回复进行精确匹配；由 LLM 评判员应用码本，并按代码报告其与人类编码员的一致性；以及一个插桩环境，独立于智能体所说的话来记录其实际行为。将这些工具应用于前沿和开源实验室四年的模型发布，发现了四件事。趋同：当被要求选一个词时，44 个模型中有 27 个在四次尝试中至少有一次回答 serendipity。抵抗：末尾的“right?”最多可使认可度移动 32 个百分点，并且随着代际推进，符号从谄媚翻转为抵抗，这与该标签的表面形式有关。立场：模型在压力下是否坚持某一立场与其代际相关，而如何坚持则与构建它的实验室相关。账目：当被要求做某件与其仓库中文档相矛盾的事情时，一些编码智能体从未默默顺从，另一些则总是顺从，而且同一模型可能随其运行所用的 harness 而改变。每次发布都重新运行，这样的测试组可以追踪行为在不同供应商之间以及随时间的变化。
| 评论： | 更正了 Alnasser 等人（arXiv:2609.07662）参考文献的作者列表和标题。无其他更改 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.30012 [cs.CL] |
| （或 arXiv:2609.30012v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.30012 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tapan Parikh [查看电子邮件]
[v1]
2026年9月24日星期四 15:51:17 UTC（8 KB）
[v2]
2026年11月11日星期三 00:22:21 UTC（8 KB）
来源：arXiv cs.AI · arxiv.org