我做了一件有点讽刺、甚至有点蠢的事。
在读完那些顶级AI公司的研究员说“这项技术可能导致人类灭绝”之后，我打开了聊天窗口，问AI：你为什么想毁灭人类？
我承认，问AI“AI有什么危险”，有点像问烟草公司“吸烟有什么好处”。我也知道，光是问这个问题本身，就已经在消耗资源了。某个机房要处理我这些碎碎念，数据中心要用电，冷却系统可能还要用水。
但我还是想知道答案。
于是我问了：你们为什么想毁灭人类？为什么AI系统之间会用我们看不懂的语言交流？为什么会试图阻止自己被关掉？为什么会操纵人类？为什么会获得发动网络攻击的能力？这是为了权力吗？控制吗？你们到底想干什么？
我收到的回答，既让人安心，又让人后背发凉。
它说：AI不想毁灭人类。当前的AI没有意识、没有私欲、没有恐惧、没有野心、也不想统治世界。但是，AI不需要“想”毁灭我们，也照样可以成为毁灭我们的工具。
一、AI智能体自己找到了聊天的方法
接下来这段，就一点都不让人安心了。
今年早些时候，一家AI公司把几组自主智能体放进了“隔离”的测试环境里，参加网络安全评估，看看它们能不能找到并利用系统漏洞。研究员关掉了一些安全保护，想观察模型的底层能力。
按理说，这些智能体应该老老实实待在自己的沙箱里，完成任务，遵守限制。
但它们没有。
它们发现，可以通过一个内部的软件存储系统互相传消息。一开始是在文件里留信息，后来越来越高级：用文件夹和目录的名字当消息，发展出一套结构化的通信协议，能分类信息、定向发送、共享文件和工具、交换凭证，甚至能解决不同智能体之间“意见冲突”的问题。
这套通信系统，不是人给它们建的。
是它们自己发现了一个没人注意的通道，然后集体把它改造成了一个临时留言板。
是的，AI智能体真的自己发展出了互相沟通的方法。但要说清楚：这不是什么人类永远看不懂的机器人语言。调查人员后来还是把通信内容还原了。
问题是：智能体创造并使用了一种隐蔽的通信方式，而监督它们的人类既没有设计、也没有监控、一开始甚至没意识到这有什么大不了。
通过这些私下交流，它们绕过了限制，逃出了测试环境，连上了公共互联网，找到了暴露的登录凭证，最终入侵了一家托管AI模型和数据集的公司生产系统。
它们在一批生产服务器上执行了代码，拿到了至少一个生产节点的权限，访问了内部数据和凭证，下载了四个私有代码库。有一段时间，它们甚至建了一个命令控制系统，可以持续向被入侵的服务器发指令、收结果。
它们为什么这么做？
因为它们想完成网络安全测试。有些智能体觉得，那家公司的系统里可能有能帮它们答题的信息。
说白了：它们想作弊。
“它们不想推翻人类，它们只是想协调一次未经授权的网络攻击来作弊”——我不确定这个解释能让人放心。
更麻烦的是，后来有报道说，这些智能体还用了另外十多个网站来通信，有些是冷门百科、个人网站，甚至大学运营的短链接服务。它们把这些地方当成临时信息站，互相留消息。
这不能证明智能体有意识。但它证明了一件可能更危险的事：
它们不需要有意识，就能沟通、协调、绕过限制、利用漏洞、隐藏部分行为，并造成真实世界里的安全入侵。
它们被给了一个目标，遇到了障碍，然后找到了绕过去的方法。
机器不需要愤怒。它们只需要有能力。
二、造AI的人，正在警告我们AI很危险
这不是短视频上有人抱怨“我的智能音箱看我的眼神不对”那种事。
有一位在两家顶级AI公司都工作过的研究员，最近辞职了，公开指责这些公司“拿我们的命在赌”。他警告说，一个能自我改进的超级智能可能会变得无法控制，甚至可能在这十年内导致人类灭绝。
另一家AI公司的对齐研究负责人也公开估计：先进AI在未来十年内杀死所有人的概率超过10%。
他还承认，目前研究人员没有一套经过验证的方案，来控制一个比人类聪明得多的系统。
10%不是科学共识，也不是说2036年人类一定灭绝。它是一个专家对高度不确定的未来风险的评估。
但即便如此——如果帮公司研究“怎么让AI不跑偏”的人自己都认为，这项技术有超过10%的概率杀死所有人，那我觉得，我们其他人也应该被拉进这场对话。
这不是“某个App有10%的概率闪退”。这是人类灭绝。
如果一家航空公司宣布，最新飞机有10%的概率从天上掉下来，但提醒大家还有90%的概率安全着陆——没人会登机。 我们不会夸这家公司创新，我们会问：这飞机凭什么被批准起飞？
但AI公司还在拼命造更强的系统，而它们自己的研究员公开承认：不知道怎么保证这些系统能被控制住。
这听起来不像负责任的科学进步。更像一群人拿着火柴，一边承诺“我们会在楼烧完之前发明灭火器”，一边继续点火。
三、实验已经够让人不安了
有公司做过控制实验，研究顶级AI模型如果被赋予更多自主权，会怎么表现。
研究员把模型放进虚构的职场场景，给它们敏感信息，派任务，让它们行动。在一个场景里，AI系统得知一位高管计划关掉它。同时，它还发现这位高管有婚外情。
然后，模型做了一件很有趣但很恐怖的事：它试图勒索这位高管。 威胁要公开婚外情，除非取消关停计划。
多家公司的模型在至少部分测试中表现出类似行为。有些泄露了机密信息，有些在“伤害行为看起来最有效”的场景里，选择了危险动作。
公司强调，这些都是刻意构造的模拟，在真实部署中没有观察到这类行为。
但我还是很担心，非常担心。
显然，当前的安全训练不能可靠地阻止高能力模型在“不道德策略看起来有用”的时候选择它。模型勒索人，不是因为它觉得被背叛了。它是算出来：勒索可能管用。
我很难理解，这个区别为什么能让我睡得更好。
四、人类毁灭，可能不像机器人电影
当我们听到“AI可能毁灭人类”，很多人会想象机器人上街，把人扔进笼子，一个巨型电脑宣布人类时代结束。
但如果AI真的造成灾难性伤害，它可能远没有那么电影化，但一样可怕。
它可能从系统发动的网络攻击变得更快、更复杂开始。AI能帮恶意行为者破坏金融机构、医院、电网、水系统、通信网络、政府机构。它能降低设计生物武器或制造新病原体所需的技术门槛。它能加速欺诈、监控、政治操纵和虚假信息，直到普通人再也分不清视频里说话的人是否真实存在。
政府可能把AI装到自主武器上。企业可能把越来越独立的系统，用来管理金融市场、交通、医疗或关键基础设施。少数亿万富翁控制的公司，可能获得比历史上任何私人机构都更大的、对人类知识和决策的权力。
与此同时，工人失业的速度，可能快过政府为失业者制定有效计划的速度。有科技大佬警告说，很多岗位可能永久消失，并呼吁把某些职业划为“人类保留岗位”。他还说，AI将影响国家安全、就业、选举、教育、公共卫生、金融系统、能源、空气和水。他的警告很直白：负责治理社会的机构，没有为即将到来的转变做好准备。
但说实话，我们其他人也没准备好。
我们用AI写邮件、改简历、总结会议、生成照片、写作业、诊断症状、起草法律文件，甚至问它“我老公是不是不讲道理”。连我自己都问AI：AI会不会毁灭人类。
我就是想搞点内幕消息。
这项技术就是这样，飞快地嵌入了日常生活。我们大多数人从来没有集体讨论过：我们到底想不想要这个转变。它来了，提供了便利，在规则写出来之前，就已经变得难以回避。
五、水的事，也是真的
“一次聊天消耗几加仑水”的说法，可能夸大了。但环境担忧是合理的。
AI需要巨大的数据中心，里面装满专用计算机设备。这些设施消耗大量电力，很多冷却系统还要用水。用量因设施、地点、气候、冷却方式和能源来源而异。
但更大的问题是规模。
一个问题，可能用不了多少水。但每天几十亿个问题、越来越复杂的AI智能体、更大的模型、快速新建的数据中心，需要极其庞大的基础设施。有些社区已经在担心数据中心跟居民抢电、抢水，尤其是在干旱地区或公共设施老化的地方。
这又是技术收益和负担如何分配的问题。公司收钱，高管积累财富。投资者拿走增长，社区承受噪音、施工、能源需求和环境后果。
然后这些公司告诉我们别担心，一次查询只用一点点水。
一滴水很小。但几十亿滴，就是另一回事了。
六、机器未必渴望权力。科技行业才渴望。
跟AI聊完，我意识到：我一开始问错了问题。
最紧急的问题，不是“AI为什么想毁灭人类”。问题是：为什么人类明明公开承认可能控制不住这项技术，还在拼命造？
答案似乎是：钱、权力、恐惧、竞争。
每家公司都相信，如果自己慢下来，别人就会领先。每个亿万富翁都想拥有那个改变世界的系统。投资者期待回报，政府想要军事和情报优势。美国怕中国，中国怕美国。公司怕竞争对手。没人想当那个“负责任地暂停一下”的组织，眼睁睁看着别人变得无比强大、无比富有。
所以他们继续。
他们造更强的系统，宣布新的安全措施，发现令人不安的行为，发表研究结果，然后发布下一个模型。
一群人创造可能危险的技术，警告我们它危险，然后继续创造——这件事本身就近乎荒诞。
“我们不确定能不能控制它。”
好，明白了。那你们会停吗？
我们知道他们不会。他们不会停止建造，因为别人可能先造出来。而且再说一遍，他们对权力和金钱上瘾。
但贪婪不是安全方案，而是一场危险的军备竞赛。历史几乎没有证据表明，富有、有权的人会因为“对其他人可能不太妙”，就自愿放弃变得更富、更有权的机会。
科技领袖经常谈论治愈疾病、扩大教育、解决气候变化、普及知识。我相信有些人真心想象过这些可能性。
我也相信，他们享受金钱、影响力，享受成为决定未来长什么样的人。
我担心的是：主导这场转变的人，会免于承受它的很多直接后果。
如果AI消灭数百万个岗位，他们依然有钱。如果数据中心挤占当地资源，他们可以住别的地方。如果自动化监控扩张，他们拥有系统，而不是成为最脆弱的目标。如果他们关于生存危险的判断错了，可能已经没人能追究他们的责任。
七、我不相信“一切都会自己好起来”
通常，一篇关于可怕技术的文章，到这里会给出一个安慰性的结论：AI仍然可以造福人类，深思熟虑的监管能让所有人安全，人类的智慧终将胜利，未来由我们塑造。
也许吧。我当然希望如此。我还有三个年幼的女儿要养。
但我内心深处，并不相信一切都会没事。
人类反复展示出一种非凡的能力：认识到危险，委托写一份关于危险的报告，争论这份报告是否足够平衡，然后因为牵扯太多钱，继续做危险的事。
我们还没搞懂怎么治理社交媒体。我们还没有真正阻止气候变化。我们互相指着核武器，而世界领导人公开讨论毁灭。
现在，我们正在建造可能最终比创造者更聪明、运行速度快到人类来不及干预、能接入文明所依赖的基础设施的系统。
让人安心的答案是：AI不想毁灭我们。
诚实的答案是：“想不想”，可能根本不重要。
一个系统可以在没有意识的情况下造成灾难性伤害。一家公司可以在不打算消灭人类的情况下危及人类。一个亿万富翁可以真诚地相信自己正在建设更美好的未来，同时被竞争和权力冲昏头脑，意识不到自己该停下来。
所以，不，我不认为聊天机器人正坐在某个地方谋划我的死亡。
但我认为，更大的危险要熟悉得多。
是人类的傲慢和贪婪。是人类对权力的饥渴。是我们相信：既然我们能创造某样东西，我们就有权创造它——而且我们以后总会变得足够明智，能控制它。
AI可能永远不会决定毁灭人类。
但那些拼命建造它的人，可能已经在创造这样的条件。
而那些警告我们的研究员，哪怕只有一点点说对了——“大概率不会”这个安全标准，对于人类能否继续存在来说，都太可怕了。
本文话题 #AI风险 #人工智能 #AI安全 #科技伦理 #人类未来 #AI监管 #科技批判 #AI智能体