IBM把AI塞进你的笔记本:Granite 4.2让30亿参数模型免费跑本地

4次阅读

你家里那台旧笔记本,内存16G往上,固态硬盘还剩点空间——从下周开始,它能跑得动企业级的AI了。

8月25日,老牌科技公司IBM丢出一个新东西:Granite 4.2。一口气放出3B、8B、30B三个尺寸,全部开源,全部免费。下载到本地就能跑,不需要给任何云厂商交钱。

重点来了——这是IBM第一次把"推理能力"当作主菜端出来。

过去两年,"AI会思考"这种说法被用滥了。IBM这次很直白:他们的"推理",不是让机器假装有意识,而是给模型装上一个内部的"草稿纸"——让它回答问题前先在后台自己过一遍逻辑链,校验一下,再给你答复。

结果就是:8B和30B两个版本训练时专门加了一道"代理强化学习"工序——让模型练习怎么操作终端、怎么自己调用工具、怎么一气呵成完成多步骤任务。说白了,它不是在等你手把手喂指令,而是能自己拆活儿了。

几个关键数字:

(1) 三个尺寸可选,3B给手机和老笔记本,8B是甜点档,30B给硬核玩家和工作站

(2) 12.8万token原生上下文窗口,整本《三体》丢进去不用切段

(3) 全部走Apache 2.0协议——商用、改代码、闭源分发都行,没人在后面追着你要授权费

(4) macOS用户用Ollama一行命令就能拉下来跑

这事儿不是凭空冒出来的。背后是本地大模型这条赛道正在爆炸:前有Meta的Llama把开源水位抬起来,后有无数创业公司押注"数据不出门"的本地部署。现在连IBM这种老牌B端巨头都下场做推理型本地模型,信号够明确了——云端AI的算力账单,正在逼所有人重新算账。

另一个隐藏趋势是"模型路由器"。简单说,就是在你和应用之间插一个调度层:简单问题丢给本地小模型秒回,复杂问题才付费调云端大模型。这套打法已经在Cursor这类编程工具里跑通了,据说能砍掉六成成本。

对个人用户意味着什么?你的下一台笔记本,可能要开始认真选显卡了。

对开发者意味着什么?以后写代码不用纠结要不要给OpenAI充值——本地跑一个Granite 4.2 8B,绝大部分活儿就够用了,速度还更快。

对企业更直接:数据、模型、推理全部留在自己的服务器里,不用再担心客户隐私被传到境外云端。

IBM这家老牌公司这两年在AI圈的存在感一直不强,Granite系列也没怎么霸过头条。但这次把"开源+本地+推理"三张牌一起打,押的是下一波AI基础设施的钱——不是云端算力,是端侧算力。

毕竟,当每个用户的笔记本都能跑得动30亿参数模型的时候,"AI是云端的奢侈品"这个故事,就讲不下去了。

正文完
 0