“LLM这个，LLM那个”——喊了好几年，终于出现了一个不一样的。

它快、便宜到离谱，是眼下AI圈最火的东西：决策模型。

而且做这个东西的人，是当年参与创建ChatGPT的那批人之一。

你可以把它理解成一个“自主决策器”。别人都在忙着造“上帝”，它却捡起了一个几十年前的老思路，做出了一个极其有用、而且正好补上大模型最大短板的东西。

我们来看看它和LLM到底哪里不一样，为什么连最前沿的大模型在某些事上都干不过它。

一、决策模型，一个全新的品类

虽然本质上它就是个分类器，但大家还是被它惊到了。

为什么？

因为现在几乎每一条用AI自动化的流程，都有一个共同的毛病：我们用巨大、缓慢的LLM去做那些本该是条件反射式的决策。

我们用同一个用来发现新数学定理的模型，去过滤邮件。去判断一个客户请求急不急。去决定一张工单该转给哪个部门。

这些系统凑合能用，但又慢又容易出错，账单还不便宜。用西班牙谚语说，就是“用大炮打苍蝇”。

决策模型解决的就是这个问题：通用、便宜、独特，专门帮你处理那些无聊的、重复的决策。

它的创造者说得很清楚：“我们不是在造上帝。” 他们造的是一个永远不会帮你洗碗、也不会被用来毁灭人类的东西，它只帮你自动化生活中最无聊的那些决策。

二、给我数据，我来决定

简单说，Jev是一个专门做结构化决策的“系统1”模型：分类、路由、打分、是/否。

不生成文字，不生成图片，不生成音频。只做决策。

你给它一个状态和一个问题，它做三种决定之一：选择、打分、或判断真假。

听起来很普通？

但世界充满了决策，一个能极低成本处理大量决策的模型，威力巨大。

而且，看起来简单的决策器，能做出相当惊人的事。因为哪怕像打游戏这么复杂的事，也能拆成一个个决策。

比如：

  • 实时玩《毁灭战士》：从结构化游戏状态里每秒做约10个决策，成本约7美元/小时。
  • 在数据库里用Jev做过滤：WHERE jev(people, '能远程工作')，129行数据约1秒判断完，成本0.0009美元。
  • 分类500封邮件：几秒钟，3.5美分。
  • 给1018篇AI论文打标签：总共0.08美元，每篇256毫秒。
  • 40秒拆解37个品牌的724条广告：9美分。

这只是冰山一角。

三、又强、又好玩、还几乎免费

Jev有三个特点，让它在“条件反射式决策”这件事上远胜LLM。

第一，便宜到离谱，快到离谱。

它每秒能做10个决策。LLM跟它比，慢得可怜。

价格是每10亿token 42美元，比Fable/Astra便宜238倍，而且输出token免费。不是促销，是它根本不生成文本，压根没有输出token这回事。

第二，输出经过校准。

模型的输出概率是校准过的。也就是说，如果模型说80%的概率，那实际发生的概率就真的接近80%。

这一点，LLM根本做不到。

你问ChatGPT它有多确定，它说“90%”，这个“90%”本身就是它生成的文字，不是它读了内部测量值。一个语气自信的假话，也可能是一个概率很高的续写。

LLM是被“偏好奖励”训练出来的，也就是被训练来取悦你，这导致它系统性地高估概率，就为了让你满意。

Jev用的是另一种训练方法，专门训练它输出校准过的概率，而不是取悦你的回答。

第三，输出完全可预测。

它的回答可以是对的，也可以是错的，但结构和格式完全可预测。你要求它在“生气、开心、中性”里选一个，它就一定会从这三个里选。

四、LLM的“结构化输出”，其实是作弊

你可能会说：LLM也能输出固定格式啊？

能，但那是逼出来的。

LLM是自回归模型，一个词一个词地预测下一个词。我们想要固定格式时，用的是一个叫约束解码的方法：把所有不可能的选项遮住，让模型从一个小得多的集合里选。

这就像让一个孩子考试，每次他写错，你就伸手擦掉，然后让他在你已知正确的选项里选。孩子看起来答对了，但不是因为他真的会。

Jev不需要这套。它只生成数字、概率和布尔值，结构是你规定好的，它在数学上就不会犯格式错误。

它可能把概率算错，但它不会把格式搞错。

五、Jev其实不新，它就是一个分类器

说穿了，Jev就是几十年前就有的东西：分类器。

我们只是把它做得通用了、便宜了、全世界都能用了。

在LLM出现之前，大部分机器学习的商业应用就是回归和分类。

回归能根据历史模式做归纳预测：喂一堆房价数据，模型学会“房间越多越好”“曼哈顿邮编大概率贵”“只有一个卫生间会大幅降价”，然后预测未知房价。

分类器类似，但输出是一个类别：给它一张家猫照片，它分类为猫，不是豹子。

这些模型已经很有用，但缺乏通用性，只能干一件事。

直到基础模型出现，能在很多任务上做预测，不只是某一个。

而基础模型不等于LLM。只是文本数据恰好最容易规模化，所以LLM先火了。现在视觉、音频都能规模化，同一个模型都能处理。

Jev的创造者，当年也是推动LLM浪潮的人之一。现在他反过来觉得我们跑偏了——什么都用LLM，于是做了这个便宜、超快的决策器。

六、AI不等于LLM

我不知道Jev会不会成为新的ChatGPT，也不在乎。

重要的是它打开了一条新轴。

Jev很快就会面对大量竞争。所有大公司和顶级实验室都会推出决策模型。Google已经在公开讨论用扩散模型做近实时视觉，扩散模型也比普通LLM快得多。

但眼下最火的东西是一个机器学习分类器，这感觉是对的。

这也给了很多不做生成式AI的研究者一个迟来的正名——他们被忽视了太多年。

Jev证明了一件事：不是所有AI问题都要用生成式模型解决。分类器可以做得足够通用、即插即用，成本只有零头，速度还更快。

这对一个渴望万亿美元收入的行业来说，可能不是最好的消息。对投资者来说，可能也不太好。

但对普通用户来说，这是好事。

便宜到让人无法拒绝，也说明AI不需要很贵，也能好用。

很久没有出现一个真正和LLM不一样的东西抢走聚光灯了。

而几乎每一次AI“突破”，本质上都是把我们40年前就知道的东西，重新捡起来——只不过过去万亿美金都砸向了一个方向，让我们忘了别的路。

现在不一样了。

本文话题

#决策模型 #Jev #TypeSafe #AI模型 #LLM #人工智能 #机器学习 #分类器 #ChatGPT #OpenAI #Anthropic #LangChain #Google