为什么我不用 LLM 做安全研究：一位研究者的自述

最近很多人问我“你用的是哪个 AI 模型？”，几乎针对这个博客上的所有文章。答案一直是我的大脑，我从未在研究中使用过任何 AI，从来没有。

接下来的问题通常是为什么，接着是“你要是用上 claude mythos 就无敌了”。这篇文章应该能解释为什么我不喜欢在研究中使用 AI，以及我对 LLM 在开发和网络安全方面的总体看法

为什么我不用 AI

原因很简单：我做这些是为了好玩，而把戳弄东西的乐趣全交给 AI、自己不动手，我并不觉得好玩。换句话说，我喜欢动脑子

我喜欢写代码，喜欢盯着 devtools、binary ninja 或其他工具一盯就是几个小时，喜欢翻看奇怪的库源码，仅凭 github 代码搜索和一股信念去追踪它，这对我来说很有趣。我在这个博客上做任何事都不是为了钱，我是为了好玩，钱只是顺带的副产品

但为什么不把那些枯燥的部分交给 AI 呢？

很多枯燥的部分其实仍然有趣，有些确实不有趣，但我也不能把 LLM 为我做的事算作自己的功劳，而且把 LLM 为我做的东西作为文章发表在我的个人博客上，我会非常不舒服

这个博客是我的，上面所有的工作都是我的，或者是与他人共同的研究且明确署名。我不能把 LLM 为我做的事算作自己的功劳，我也无法恰当地给 LLM 署名，因为它们不是人

使用 LLM 让我抓狂

我确实尝试过使用 LLM，只是想试试看。不是要作为研究发表的东西，但我真的受不了，这让我再也不想用 LLM 了

我不知道为什么更多人没有这种体验，但盯着 LLM 的输出，看它自信地犯错、最后才在过程中绕到正确答案，或者看它运行的命令、发现它在做一些非常愚蠢的事，会把我逼疯，以至于我会在它给出答案之前就把它停掉。我受不了某个东西如此自信地犯错（即使它最终可能还是会做对）

我不否认这些模型很强大

LLM 是相当强大的机器，我们最近已经看到了，这是肯定的。它们仍然被大肆宣传得比实际更强大，但我无法否认它们确实强大，因为它们就是强大

LLM 仍然需要引导

如果你把一个 LLM 扔给 Linux 内核，让它找 RCE 而不给任何其他引导，它大概做不到。在当前状态下，你仍然需要技能和经验来引导 LLM

我们一直恐慌的那些漏洞，都是由熟练的研究人员使用 LLM 发现的，很可能是在大公司里，能给他们想要的所有 token。因为 LLM 仍然需要引导，不是随便谁都能做到，不管 OpenAI 或 Anthropic 想怎么告诉你

营销与 php2shell

AI 公司已经把网络安全当作他们的营销策略，而且很明显，一个很好的例子是 php2shell。其中三家公司：

• calif（研究公司）
• openai（你知道 openai 是谁）
• wiz（研究公司）

都参与了合作并各自发布了博客文章，似乎都带着不同的叙事

calif 的叙事是 AI 在人类引导下发现了这些 PHP 漏洞，而 OpenAI 的叙事是智能体发现了关键漏洞，wiz 则取中间立场，仍然相当接近 OpenAI 的说法

“修补世界”

OpenAI 大谈他们如何帮助维护者修补这些问题，并更快地为更多人缓解这些问题。我相信他们在一定程度上做到了，但我不认为他们尽了全力

如果他们愿意，他们可以借助 AI 轻松地将这些安全修复向后移植到旧版本的 PHP，他们并非没有算力，他们有，而且有很多，他们是 OpenAI

在补丁发布前放出 PoC 视频

这是近来基于 AI 的网络安全领域的一个常见趋势：研究人员以及其他公司出于某种原因，在 Twitter 上发布未修补 0day 的 PoC 视频

这明显就是营销，除了让安全状况变得更糟之外毫无用处。这些 PoC 视频包含相当多有用的信息，无论你隐藏多少（而其中很多根本没怎么隐藏），都只会制造恐慌

哈希值也是其中一部分，哈希值一直是用来声称对某个漏洞或一般性成果拥有证明的方式，而不是用来制造恐慌的。你不应该把产品名称放在哈希值旁边，那根本不是哈希值存在的目的。

但现在很多公司和一般人像发糖果一样随意发布它们，毫无理由地引发恐慌。至少有了 PoC 视频你知道漏洞是什么，而只有一个哈希值和产品名称，你连这个都不知道，你只知道存在某个漏洞

tailworm

这件事没那么大，但仍然相当重要。在 Bluesky 上，一位“安全研究员”声称在 Tailscale 中发现了一个 0day。他们的做法是发布一个哈希值，配文“Tailscale 权限提升”

显然，这让人们非常非常担心。Tailscale 权限提升可能意味着什么？有人能绕过所有 ACL 规则吗？会发生什么？

别担心！因为我们在一条 Bluesky 帖子串里被慢慢喂给了关于该漏洞的信息

那么，这有什么意义？你几乎没发布任何信息，一小时后发布了更多但隐晦的信息，然后又过一小时你直接透露了漏洞在哪里？

我以为这里进行了某种负责任的披露，这就是哈希值被发到 Twitter 上的原因，等等

你信不信这甚至都不是负责任披露？

第二天，这个人拥有的（单人）公司在 Bluesky 上发布了这个网站：

一个完整的网站，明显是 vibe-code 出来的，包含他们所有的发现，其中很多完全不重要或根本不关键。虽然“权限提升”确实存在，但它要求你已经拥有对某台机器的 ACL 规则，并且该机器启用了 Tailscale SSH

这个漏洞只是你可以在那台机器上专门提权到 root。仅此而已。这就是被如此大肆恐慌的东西，然后他们第二天就公开了，甚至没有联系 Tailscale 让他们修补

它被赋予了一个花哨的名字，甚至还有一句口号。但没人想到要负责任地披露它，而是把它发在社交媒体平台上

这件事发生的原因很清楚：是为了给公司做广告，而不是为了让世界变得更好。是为了让所有人都想到这家揭露了 Tailscale 关键问题的公司，也许还会请他们做审计

并非所有发现这些漏洞的都是 AI

在我看来，其中最大的一个是 eMudhra。你知道的，就是那家把 CA 私钥设成数字四的公司。这不是 AI 发现的，而是一个人出于好奇，用谷歌做的一个老掉牙的库 paranoid_crypto 扫描密钥玩时发现的。

在我看来，这正是它的美妙之处：所有 AI 都漏掉了最大的那件事，而它恰恰出自一个只是随便折腾的人之手。

结论

我觉得人们在这股 AI 万能浪潮中迷失得太深了，以至于在很大程度上忽视了亲自动手做事。自己写代码、自己调试、盯着压缩过的 JS 包一看就是几个小时、轮番浏览看起来有趣的随机子域名——这些都仍然极其有趣！我觉得人们已经有点忘了这一点。

虽然 AI“直接就能做”，但自己动手做才有趣。我完全理解在工作中使用 AI，因为我们生活在一个软件工程师被要求比以往任何时候都更快前进的世界里，在我看来这不是一个好先例，但这就是我们不得不接受的现实。

个人项目才是你享受乐趣、做自己喜欢的事的地方。而我觉得把这些交给 AI，甚至会毁掉你创造事物的乐趣。

至少对我来说，抵达某个目标的过程比最终产物更有趣。因为我享受沿途学习，也享受为一个走不通的原始想法撞得头破血流。

我折腾很多东西，也发现很多东西。但几乎没有一个会出现在这个博客上，原因很简单：我觉得每发一篇新博文都得超越自己，于是一直挑战自己去找到更搞笑、同时也更关键的东西。这让我学到了比原本已知的多得多的东西。

写代码本身就有趣，而让 AI 替你写——即使你给了它一份怎么写代码的计划——你也会因为不自己写而错过太多学习机会，因为不存在完美的架构计划，事情会随着你写代码的进程而变化。

去逆向那个老旧的 IoT 设备吧，中间人攻击那个长相古怪、需要联网、编号为四的中国自动喂食器吧，为你常用的一个前端很烂的网站做个新前端吧。折腾能让你学到很多。

附：下一篇很快™