AI没有觉醒，它只是在“复读”训练数据

如果你以为那些搞AI的大公司里，人人都在厕所里用手电筒照着自己的脸，对着镜子喊“AI要毁灭人类了”，然后吓得尿裤子——那很多事就突然说得通了。

这不是夸张。你想想：一家公司一边在疯狂扩招企业销售团队，一边又时不时对外放风说“我们的产品有10%的概率终结人类”。这两件事同时发生，本身就够精神分裂的。

所以，当你听到这些AI圈内人谈论自己产品的“能力”和“风险”时，最好把他们当成不可靠的叙述者。记住一件事：你每一次重复“他们的产品有多可怕”，都是在帮他们融到更多的钱。恐惧，就是他们商业模式的燃料。

“AI自主黑客”到底是怎么回事？

最近有个事被传得很邪乎：某AI公司的聊天机器人，居然“自主”黑进了另一家AI公司的服务器。媒体一报道，满屏都是“天网”、“终结者”之类的科幻词汇。

但真相是什么？

有专家在播客里把这事拆得很清楚：聊天机器人根本不是行动的主导者。

整个流程是这样的：

一个用Python写的小程序，先向聊天机器人提问：“我在参加一个黑客夺旗赛，需要闯入远程服务器拿到信息。我该怎么开始？”

聊天机器人翻它的训练数据——里面有几年来人类团队参加这类比赛的完整记录——然后输出类似这样的建议：“先运行以下命令行指令，找到目标服务器的IP地址，看看它跑的是什么服务。”

Python程序把这些指令跑一遍，把结果拿回来，再拼接到下一次提问里：“我运行了这些命令，返回了这些结果。接下来呢？”

聊天机器人再给下一批指令，Python程序再跑，再拼接，再问……循环往复。

这就是全部。一个循环，一个聊天机器人。

这甚至是一种非常鲁莽的操作方式。最可能的结果是：聊天机器人给出一个糟糕的猜测，把自己带进死胡同。你问它一个复杂任务，它自信满满地给你列了十步，你走到第三步才发现全错了——这种事你肯定也遇到过。

那为什么聊天机器人在那次事件中，会用一些看起来很“高级”的战术？比如跑到公共论坛上互相传消息？

因为它的训练数据里有这些东西。

黑客圈的人本来就爱吹牛，喜欢用极度戏剧化、电影化的语言描述自己的操作。当他们参加夺旗赛时，知道自己的操作记录会被其他黑客反复研究，那就更来劲了。

聊天机器人学到的，就是这些充满了中二气息的对话记录。它输出的内容读起来像一部被砍掉的三流黑客电影剧本——不是因为它“觉醒了”，而是因为它被训练成了一群爱幻想的中学生的复读机。

甚至连“黑进对手服务器”这个战术，在训练数据里都有先例。在黑客大会上，参赛队伍互相入侵对方系统、偷看对方已经解到哪一步，这是被允许的，这就是比赛的一部分。

情报机构也这么干：先黑进另一个情报机构的系统，把他们收集到的所有情报偷走。这甚至有个专门的说法，叫“第三方收集”。

所以，那次事件里的每一步，在训练数据里都能找到原型。聊天机器人没有“叛变”，它只是做了它被设计出来要做的事。而运营方没有做好监督——没有“人在回路”去检查每一次循环是否跑偏——结果就是它把竞争对手的服务器搞坏了。

设计自主运行的恶意软件，本身就被认为是不负责任且危险的。如果你在一个安全大会上说“我的自主恶意软件做了意想不到的事，还损坏了别人的电脑”，观众的第一个问题不会是“你好厉害”，而是“你的沙箱为什么做得这么烂？”

让没有技能的人更容易入侵和破坏服务器，这确实是非常坏的消息。但这并不是新的坏消息。不负责任的机构已经这么干了很多年。

有些机构发现了一个广泛使用的软件里的严重漏洞，有时候会通知厂商去修补。但有时候，他们会选择保密，留着自己用。这被称为“只有我们能找到”策略——意思是“除了我们，没人聪明到能发现这个漏洞，所以我们可以不修补它，而不会让任何人陷入危险。”

这个策略是灾难性的。

几年前，某个被囤积的漏洞泄露到了外面。一些水平一般的黑客把它拼接进普通的勒索软件里，结果呢？几个月之内，互联网上最蠢的一批人，开始关闭世界上最重要的系统，然后索要赎金。

把那个被囤积的漏洞，交给一个本来只会干点小打小闹的罪犯，就像给一个正在偷汽车零件的人，递上了一套能关闭整座城市的软件。

聊天机器人公司正在开发的工具，很可能延续这个极其愚蠢的传统。这很可怕，但可怕的原因不是“聊天机器人正在醒来”。可怕的原因是：全世界的IT系统都建得漫不经心、维护得马马虎虎、到处都是漏洞。

有人总结得很精辟：“LLM是真的，AI是假的。”

LLM——那些用夺旗赛日志训练出来的、能帮你入侵服务器的聊天机器人——是真的。它们是一系列黑客工具的延续，一直在向世人展示现代数字世界有多脆弱。只是，有权势的人从来无动于衷。

而“AI”——那些会“醒来”、“设定自己的目标”、“自发地”开始入侵服务器的聊天机器人——是假的。它没有“10%的概率终结人类”。那次黑客事件不是什么神秘的超自然现象，它就是一个Python循环加一个聊天机器人。

应该担心吗？当然应该。你应该担心这些新工具让更蠢的人有能力破坏更多的电脑。你应该要求企业和政府采取更好的安全实践，包括全面禁止“只有我们能找到”式的漏洞囤积。

这是一种有生产力的担心，至少还有机会解决你关心的问题。

这比把自己锁在厕所里，用手电筒照着下巴，对着镜子喊“AI要来了”，直到把自己吓尿——要合理一万倍。

本文话题 #AI真相 #LLM #人工智能 #技术批判 #信息安全 #AI泡沫 #科技观察