Thinking Machines 的 Inkling 2 Small 在基准测试中爆粗口:13 项基准 2655 次运行出现 316 次 F 词
Thinking Machines' Inkling 2 Small drops 316 F-bombs across benchmark runs
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 项基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体共 316 次,其中 241 次集中在两次失控运行里。
Thinking Machines 的 Inkling 2 Small 在其内部思维链中会爆粗口。 Vals AI 的研究人员读取了该模型在 13 个基准测试中 2,655 次运行的思考日志,发现 50 次运行中出现“fuck”或其变体,共计 316 次。其中 241 次仅来自两次失控的运行。在其中一次任务中,模型被要求计算一颗小行星的轨迹,却生成了单条 50 万字符的回复,长度大致相当于一部小说,反复重复同样的句子,并夹杂 158 次脏话。ProgramBench 受影响最严重,200 次运行中有 20 次受到影响。

Inkling 2 Small 通常会因自己的错误、看似取得的突破,或是在放弃时爆粗口。有一次运行中写道:“FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.” 不过,这些脏话并不能作为有效的警示信号。在 48 次带脏话的评分运行中,有 46 次失败,但所有评分运行中本来就有约 75% 会失败,而且 96% 的失败运行并不包含脏话。用户通常看不到这些思考步骤,或者只能看到经过过滤的内容。
没有炒作的 AI 新闻——由人类精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
来源:The Decoder · the-decoder.com