苹果在AI上的口碑,一直挺分裂的。

Siri被骂"人工智障"骂了这么多年,Apple Intelligence的发布会也让人觉得不温不火。跟OpenAI、Google比起来,苹果好像总是慢半拍。

但如果你真的去翻macOS 27的终端,会发现一个几乎没人讨论的东西。

一个完整的本地大模型,就藏在 /Ausr/bin/fm 里。

不用账号,不用联网,不要钱。从你更新系统那天起,它就在那儿了。

这东西到底是什么

fm 是 Apple Foundation Models 的命令行工具。

就是驱动 Apple Intelligence 的那套模型,苹果把它做成了一条终端命令。

背后有两个模型:

system:端侧模型,跑在你自己的Mac上。离线,免费,默认选项。

pcc:同样的东西,但更大,跑在苹果的私有云计算数据中心里。更强,也真的私密。

底层框架从macOS 26就有了,但那时候你!能通过"快捷指令"里的"使用模型"来碰它。macOS 27新增的,是一个真正能写脚本、能管道输入、能接到任何东西上的命令行工具。

这个区别很重要。快捷指令是给普通人用的,fm 是给开发者和喜欢折腾的人用的。

几个真正有用的场景

网上已经有人整理了10种用法,但大部分你看了也不会用。我挑几个真正实用的说。

场景一:把乱文本变成结构化数据

这是我最喜欢的功能。

你可以强制模型用严格的JSON格式回答。不啰嗦,不加markdown,就是脚本能直接吃的数据。

比如你想从一段话里提取联系人信息:

提取联系人:张三,邮箱zhangsan@example.com,刚满29岁。

返回就是:

{"age": 29, "email": "zhangsan@example.com", "name": "张三"}

这意味着什么?你有了一个本地、免费、私密的"把乱文本变成结构化数据"的机器。

从邮件里提取联系人、从收据里拉出条目、给一堆笔记打标签,每次都能拿回JSON。这种活以前你得花钱调API,现在离线就能干。

场景二:把Mac上任何东西管道给它

fm 从标准输入读取,所以你可以这样用:

cat notes.txt | fm respond
pbpaste | fm respond

或者把一个日志文件传进去,问"这里的错误是什么"。

这是它从玩具变成工具的关键。 你可以在任何脚本里插一步AI处理,不用联网,不用调API。

场景三:把它变成一个私有的"ChatGPT服务器"

这是隐藏功能。

fm serve 启动一个本地Web服务器,说的是OpenAI API格式。

现在任何期待OpenAI接口的工具——Python脚本、VS Code插件、聊天应用——都可以指向你的Mac,用本地模型,不用API key,不用账单。

而且——端侧模型在更强的Mac上更聪明。

M1/M2跑的是苹果的小模型,约3B参数。M3或M4,12GB以上内存,跑的是大得多的模型,约20B参数。

同样的命令,回答明显更好。一台强Mac放在路由器后面,可以给家里所有设备提供更好的AI。

场景四:叫出更大的大脑

当小模型不够用的时候,fm 有第二挡:

fm respond --model pcc '用两句话解释CAP定理。'

PCC是苹果对"我想要更大的模型,但不想把命交给聊天机器人公司"的回答。

它是无状态的——你的提示回答完就没了,不存储,苹果也看不到——而且苹果公开了服务器代码和密码学证明,独立研究员可以验证这个说法。

更大的上下文窗口,32768 token,是端侧4096的八倍。

但有一个限制:PCC有每日配额,绑在你的苹果账号上。重度过使用最终要花钱。

几个必须知道的坑

它读不了你的备忘录和消息。

我反复问它,每次都是空的。"不可用""禁止""我无法访问"。它甚至不知道现在几点。

更有意思的是,它之前还高高兴兴告诉我"是的,我可以访问你的备忘录、消息和文件"。那是彻头彻尾的幻觉。

它不能访问你的个人数据。这是设计,而且是对的。

"个人上下文"那个东西属于Siri,不属于这个模型。fm面对的是一个故意保持空白、私密的石板。它只看你选择递给它的文本。

它会胡说。

小模型会偶尔编造内容。有人让它列键盘快捷键,它开头来了一句"苹果标志显示在屏幕上,这是一个由苹果开发的基础模型……"——后面列的快捷键是对的,但第一句是它编的。

信任它的速度和形式,别信它的每一句话。

它的知识是冻结的。

它以为今天是2024年9月11日,以为iPhone 15是最新手机。世界知识很薄,而且不能上网。

苹果说得很直白:端侧模型不是用来做通用知识聊天机器人的。它是用来总结、提取、分类、改写和结构化文本的——在这些事上,端侧、免费、它做得很好。

4096 token是硬上限。

你的指令、你的提示、它的回答,全算在一起,大概3000词。超了会直接报错,不会悄悄忘掉开头然后继续。

我的判断

苹果在AI上的策略,一直跟其他家不一样。

别人在拼谁的模型更大、谁的榜单更高。苹果在拼谁能把AI塞进你的设备里,还不碰你的数据。

fm 就是这个策略的终端版本。

它不惊艳,不万能,不知道今天几号,偶尔还会编故事。但它免费、离线、私密、随时可用,而且已经装在你的Mac里了。

如果你需要一个处理小任务的AI——总结一段话、提取几个字段、给文本打个标签——它完全够用。

如果你想要一个无所不知的聊天机器人,它不是。

但一个免费的、离线的、不碰你数据的本地AI,本身就是一件值得知道的事。

打开终端,输入 fm respond hello。这就是全部的入门门槛。

参考原文链接:https://medium.com/macoclock/macos-27-has-a-hidden-llm-inside-10-amazing-things-you-can-do-with-it-44a28d8cc042

本文话题 #macOS27 #Apple #AppleIntelligence #本地大模型 #终端工具 #隐私计算 #AI工具 #Mac技巧