一个27B参数的AI模型，原本要吃掉几十GB显存。PrismML刚刚发布的Bonsai 2 27B，把它塞进了5.9GB——相当于一部高清电影的大小。
更狠的是，模型能力只丢了1.8%。
这件事意味着，你那台16GB内存的MacBook，下个月可能就能本地跑一个接近顶级水平的AI助手，不用再给OpenAI交月租了。
怎么做到9倍压缩
Bonsai 2 27B用的是"三值量化"——每个参数的权重不再是浮点数，只保留-1、0、+1三个值。听起来粗暴，但配合FP16分组缩放，最终做到了1.76个有效比特每参数。
效果有多夸张？
(1) 模型体积从原始的几十GB压到5.9GB
(2) 性能保留了Qwen3.8 27B的98.2%
(3) 支持26.2万token上下文窗口
(4) 文本图像多模态输入
(5) Apache 2.0开源协议
上一代Bonsai只能保留95%能力，这代直接补到98.2%，团队自己都说"实际上已经无损"了。
能跑多快
在RTX 5090上，Bonsai 2 27B跑到每秒143个token。在苹果M5 Max上是46.8个token。
什么概念？你说一句"帮我写个Python爬虫"，模型大约一两秒就能开始吐代码——和云端体验几乎没差。
更有意思的是能耗：在RTX 4090上，每生成一个token只消耗0.714毫瓦时。比一个8B模型满精度运行还省电40%。
AI推理终于不用再当电老虎了。
本地AI的时代来了
过去一年，"本地跑大模型"一直是个半成品概念。能跑，但慢；能聊，但弱。
Bonsai 2 27B打破了这个尴尬：
(1) 27B级别的智能，能理解复杂指令、做编码agent、处理多模态任务
(2) 5.9GB体积，普通笔记本甚至高端手机都能塞下
(3) 速度快到可以当日常助手用
(4) 完全本地运行，敏感数据不出门
想象一下：程序员在本地让AI读代码、改bug，全程断网；律师让AI分析合同，文件不传给任何云端；医生让AI读病例，病人隐私零泄露。
这些场景，过去必须依赖云端大模型。现在5.9GB就够了。
云端AI的护城河正在变浅
OpenAI、Anthropic这些公司的核心商业模式是"你付月租，我跑模型给你用"。
当本地模型能力逼近云端、价格为零、隐私拉满时，付费动力会被大幅削弱。
不是说云端会被消灭——超大规模推理、训练新模型、复杂多步推理，依然是云端的天下。但日常80%的简单任务，本地5.9GB的Bonsai已经够用了。
云端AI的护城河，从"我有你没有"，正在变成"我大你小"。可问题是，对大多数人来说，"小且够用"比"大但要付费"更有吸引力。
开源生态的杀手锏从来不是技术领先，是让技术变便宜。
Bonsai 2 27B已经在Hugging Face上线，Apache 2.0协议，免费下载。当本地AI和云端AI的体验差距缩小到5%以内时，剩下95%的理由只有一个：用户懒得折腾。
而这个理由，对科技公司来说比技术差距更难守住。