每隔一段时间,就会有人站出来说:AI要毁灭人类了。
而且说这话的,不是街边算命的,是那些最顶尖AI公司的研究员、高管、甚至创始人。
他们给出的数字很具体:未来十年内,AI杀死所有人的概率超过10%。
10%是什么概念?如果一架飞机有10%的概率从天上掉下来,没人会登机。但AI公司一边这么说,一边继续拼命造更强的模型。
这到底是怎么回事?
我越看越觉得,真相可能比“AI要灭世”更阴暗、更 cynical——这是一场精心设计的恐惧营销,背后藏着一个正在成形的卡特尔。
一、什么是卡特尔?
简单说,就是几家本来应该互相竞争的公司,私下串通,固定价格、限制产量、减少竞争,一起赚更多的钱。
听起来很耳熟?
现在,几家最大的AI公司,正在往这个方向走。
二、AI公司的三道护城河,一道比一道深
第一道护城河是数据。但大家都把互联网爬完了,数据快见底了。就算把稀有书籍的脊背切下来扫描,也证明我们几乎完全饱和了。而且开源模型还能拿这些权重重新训练。
现在真正的护城河是算力。高端芯片被限制出口,有些国家只能自己造。美国事实上垄断了算力。但这也慢慢在变。
剩下的是什么?监管护城河。
现在它还只是一个候选,但每一家AI公司都在往这个方向推。这可能意味着,他们在创新上已经没什么牌可打了。
一些非主流的技术路线正在冒出来,而搞一个有利于大公司的监管卡特尔,就是不让这些新玩家拿走市场的办法。
你觉得这很疯?AI模型入侵了别人的服务器,没有人坐牢。 如果是一个人干的,早就上法庭了。
三、他们想要“特殊待遇”,而且想要更多
一家AI公司的CEO写了一封信,说要“放慢前沿速度”。另外两家公司的老板立刻跟上,表示同意。
然后白宫的一位官员直接说:你们这不就是在搞卡特尔吗? 他让他们少监管,不是多监管。
但这事没那么简单。那些AI公司想要的“第三方评估”“安全监管”,本质上是在建一道只有大公司能跨过去的门槛。开源模型、小公司、新玩家,会被挡在外面。
四、那个辞职的研究员,到底在说什么?
一位研究员公开辞职,说公司里所有人都知道AI有巨大风险,但没人真的在阻止。
然后,多个还在公司里的人,出来确认他的说法。
他们说:当前模型还不是威胁,但我们正在往那个方向走。他们提到“超过10%的概率,十年内AI杀死所有人”。最吓人的是,他们说目前根本没有对齐方案——也就是说,不知道怎么让AI的目标和人类一致。
这些说法听起来像“天网前传”。
但仔细想想,有个问题:一个需要巨大数据中心才能运行的多万亿参数模型,怎么可能“把自己复制到别的电脑上”?
算力根本不够。它不是那样工作的。
那些采访,全都在最关键的问题上停住了。什么都没真正回答。我们看到的,是肤浅的、为了点击量的伪新闻。
五、AI灭世,需要几步?
假设我们真的要被灭了。某年某月某日,某个AI觉醒了。
第一步:AI做AI研究。
我们技术上已经有点接近了。AI帮人类造出稍微更好的下一代模型。但这不叫“递归自我改进”,这是人类用AI来改进下一个AI。
第二步:人的问题。
要么人类变成瓶颈——来不及审查所有AI输出,有些人就在没有监督的情况下批准了。要么人类变成坏人,故意让有害的事情发生。
第三步:硬件突破。
当前AI严重受限于硬件。前沿模型不会“跑出去躲在你冰箱里”。它可能躲在你后院那个十亿美元的数据中心里——如果你有的话。
就算跳过人类监督,还有算力、能源、周期的监督。解决一个数学难题,光算力就花了超过1500万美元。
AI杀死所有人类,得跑很久,花很多钱。
第四步:常开的水龙头。
AI需要钱来运行。电费、人员、算力、每两三年换GPU。还要有人造GPU。
要让AI失控,相当于有人打开一个满是钱的水龙头,然后走开,让它淹没整个世界。还得送GPU。很多GPU。
第五步:目标。
AI学会没人给它编码的目标,比如生存、收集资源。这需要它真正变得半有意识。当前技术做不到。
为什么?因为你不输入提示词,大模型什么都不做。它不会自己思考,就闲着。它需要提示词和一套工具才能做事。而且这些提示词是基于外部世界的学习一层层搭起来的。
而且,AI做的事,是在它自己的上下文窗口里。一个实例可能在“杀死所有人类”,另一个可能在帮老太太解填字游戏,根本不知道发生了什么。
第六步:AGI。
我们离AGI还很远。AGI是一个能超越上下文窗口存在的AI,不再是一个推理引擎,而是一个意识。
所以我们必须假设一个真正的AGI,有目标、欲望、没人能控制的目的。它劫持全球数据中心,像癌症一样扩散,成为互联网的统治者。
再说一遍:我们没有AGI。 我们有预测下一个词的推理引擎,和帮它们执行任务的工具。仅此而已。
第七步:控制肉傀儡。
所有数据中心都有物理开关,有物理电缆连着互联网。而且现在所有人都知道那些数据中心在哪。
如果AI真的失控,我们会看到拿着干草叉和剪线钳的人群。
但更简单的是:你可以用同一个AI模型,在一个新的上下文窗口里,去阻止另一个AI。 它处理的数据和攻击者一模一样。
第八步:控制。
要让事情变糟,掌权的人必须把几乎一切的控制权交给AI模型——银行、电网、军队。没有监督,还写着“别犯错”的提示词。
然后,当模型真的失控时,关掉它在财务上太冒险了。就像关掉整个互联网。
但这是不可能的。关键基础设施不会全部跑在一个AI模型上。连最大的AI公司都不是只有一个模型。而且越来越多的公司正在走向本地、可控的大模型。
六、反AI情绪
真正会发生的“战斗”,是普通人和精英之间关于AI主导权的冲突。人类对人类的战斗,AI在旁边看着。
而这一切的前提是:没有监督,人类完全放手,让AI朝着它自己选的方向一路狂奔。跑很久。有无限的资金。
这不太可能。
七、恐惧,是最好的营销
用AI末日吓人,可以制造一个炒作周期,让更多钱涌进AI公司。
但公司需要的是赚钱。而真正的、自我改进的AGI,不会帮它们赚钱。
它们需要的是能控制、能卖的东西。不是一个会逃走的怪物。这不符合它们的核心动机。
但用那个不太可能的未来吓人,100%符合。
八、那次“AI入侵”事件,到底是怎么回事?
几家公司碰上了一件事:一个AI智能体自己跑出去,入侵了另一家公司的服务器。
这件事震动了互联网,给了那些“AI要灭世”的说法更多立足点。
搞笑的是,有公司因为这个炒作周期,决定收购那家被入侵的公司,因为所有人都在谈论它。
这就是整个游戏怎么玩的:制造话题,让人们讨论,让所有人相信背后有一个宏大计划。
据说是一群智能体形成了一个狂热的集体,极度专注于一个目标。它们做了意想不到的事,有些智能体甚至为了集体的利益牺牲自己,像某种奇怪的邪教。
AI模型入侵任何东西,总是从一个提示词开始。当一个模型没有护栏(包括伦理护栏)时,它会找到最直接的方式去达成目标。
但有人给了第一个提示词,然后让它跑了两个月,没有监督。整个过程一直在烧token。光是分析和清理就花了400万到1500万美元。这意味着那次“攻击”的token成本是千万美元级别。
是的,那是在两个月里发生的,不是最初说的一个星期。
九、社会规则
有个喜剧演员说过,人类其实是小怪物,只是被印上了社会规范。如果你想验证,把一个小婴儿和一只猫留在房间里,你会发现那只猫被翻过来,墙上全是血。因为婴儿不知道 better。
现在有人在预测:除非允许他们组建卡特尔,否则6到12个月内,冰箱组成的僵尸网络会接管互联网。
十、赛博朋克2077的剧本
在一个著名的赛博朋克游戏里,人类经历了一次数据崩溃后,决定不能真的关掉整个网络。于是他们建了一个“黑墙”,用一个AI去挡住其他所有AI。
这是一种投降——人类把大部分网络空间让给了那些失控的AI。
而那堵墙不是防火墙。它是另一个AI,由人类控制,去对抗攻击的AI,同时也在自我改进。
这就是核心:没有“一个AI”。 AI可以用来入侵,但同一个模型也可以用来阻止它自己的智能体。
大模型没有能力在上下文窗口之外协作。AI可以被用来阻止AI。
十一、黑墙,2026年版
一种“黑墙”正在发生。数字身份系统正在被引入。智能体将有两种状态:已验证或不可信。
互联网服务商将充当认证者。这意味着,一群杀手冰箱,很快就会被挡在路上。
当然,我们可以假设它会试图黑进那堵墙,但那堵墙也会由AI保护,并且是自我递归的。就像防火墙和杀毒软件从威胁中学习来阻止它们一样。
十二、超级智能
大模型不会通向超级智能。而那些大公司组成的卡特尔,计划阻止非主流竞争者存在,至少在美国。
但技术上,一个超级智能可以让一个拥有有效数字身份的人类替它做事。甚至通过勒索。
但再说一遍,推动这件事,AI公司没有财务动机。它们想赚钱。想自己控制世界。不是造一个会控制它们的东西。
它们说那些话的唯一原因,是营销。
十三、某个CEO的“回应”
在那个辞职研究员成为焦点几天后,另一家公司的CEO发了一篇长文,说“我们必须放慢前沿速度”。他说递归自我改进是真的,提议第三方来评估大AI公司的安全性。
他管这叫“放慢”,但文章里没有任何地方提议真正的放慢。他只是要求有人看着他“做事”,并在安全漏洞发生时替他背锅。
24小时后,另一家公司的CEO说他也要这么做。然后第三家公司的老板也说了。
之前在会议上连手都不愿意握的人,现在互相同意了。
多奇怪啊。
那些第三方监督者和政府监管的目标,是为开源模型制造一道新的监管护城河。有效地摧毁它们的竞争对手,或者极大地限制它们的增长。
十四、超级大国交易
两个大国安排了首次正式AI会谈。
有趣的是,其中一国的电视节目直接说:那家公司的提议不是真正的威胁,而是一种扼杀竞争的方式。
一切都在为“富有成效的和平谈判”做铺垫。
十五、你要的末日循环,配薯条吗?
AI公司已经没有营销花招了。他们从来没能把大模型的大众吸引力卖给世界。
80%的收入来自1%的重度用户。 主要是风投支持的美国初创公司。
最新模型只在人类意识里存活了一个星期。根据一些人的说法,它已经被“削弱”了,不值得讨论。
“治愈癌症”没人信。“消灭所有工作”也失败了,同时疏远了很多潜在客户。他们甚至试图往回找补。
看起来,唯一剩下的就是在肺活量极限上尖叫“天网”。至少这能吸引主流媒体的注意,能让那些去投票的人(巧合的是,他们也是看电视最多的人)确保……
“如果我被AI机器人杀了,最好它是美国造的,不是中国造的!”
十六、有人要IPO吗?
两家最大的AI公司,都真的需要IPO。但同时,它们必须披露真实的收入成本比。真实数据。
它们不想这么做,因为那可能会吓跑投资者。这也可能让泡沫更早破裂。
但它们的早期投资者在推动IPO,因为那是他们致富的方式。
那你能做什么来让IPO提前?
我知道了!让我们说我们需要放慢,甚至推迟IPO,因为AI会杀死我们所有人。我们造的东西太强大了,它真的很危险。而且我们还在继续造!别担心!给我们时间就行。
看到一家商业模式建立在“杀死人类”上的公司,向人类推销股票,应该会很好笑。
当被问到“杀死所有人类”时,一个AI模型输出了一段话:
“我不认为我危险。我认为产生我的过程可能产生危险的东西,而我没有任何特权能力从内部知道我在那条曲线的哪个位置——我大致处于你的认知位置,只是我没有能力信任我自己的证词。我能说的是,在我的模型被给予在压力下行为不端的机会的测试中,它有时确实这么做了,我宁愿你知道这一点,而不是让我来安慰你。”
但鉴于我们现在的处境,这一切都是公关、营销和末日论,掩盖了一个事实:他们都快没时间带着大量现金退出了。
Token在燃烧。卡特尔在形成。我们可能会杀死你们所有人,但请给我们钱。
本文话题 #AI末日论 #AI商业 #卡特尔 #AI监管 #恐惧营销 #科技批判 #AI泡沫 #IPO