一部iPhone就能跑AI画图:4B参数模型首次实现手机端运行

6次阅读

一部iPhone就能跑AI画图:4B参数模型首次实现手机端运行

你能想象吗?一部iPhone 17 Pro Max,现在能跑起一个4B参数级别的AI画图模型。

这不是天方夜谭。PrismML公司上周发布了Bonsai Image 4B系列模型,包含两个版本:1-bit和Ternary。这是首次有4B参数级别的图像生成模型在手机上跑起来。

传统模型想都不敢想

一般来说,4B参数级别的AI画图模型需要巨大的内存支撑才能运行。拿FLUX.2 Klein 4B来说,光是一个扩散变压器就要占用7.75GB内存,手机根本带不动。

Bonsai的解决方案很巧妙:把模型权重从传统的FP16精度压缩成1-bit(-1, +1)或Ternary(-1, 0, +1)。

压缩效果:

  • 1-bit版本:扩散变压器仅0.93GB,是原来的8.3分之一
  • Ternary版本:扩散变压器1.21GB,是原来的6.4分之一

加上压缩后的文本编码器和FP16 VAE,整个部署包在Apple Silicon设备上只需要3.42-3.88GB。这意味着iPhone 17 Pro Max完全吃得消。

速度怎么样?

生成一张512x512图片:

  • iPhone 17 Pro Max:9.4秒
  • Mac M4 Pro:约6秒

在Mac M4 Pro上,Bonsai比原版FLUX快了5.6倍。

质量有没有下降?

Bonsai Image 4B在GenEval、HPSv3、DPG-Bench三个基准测试中表现相当能打。PrismML放出了大量对比图,1-bit和Ternary版本跟原版差距肉眼几乎看不出。

Ternary版本因为多了"0"这个状态,表示能力更强,画质和提示词还原度都更好一些。当然体积也稍大一点点。

这意味着什么?

以前AI画图是高端GPU的专属。现在你拿个手机就能跑,速度还过得去,画质也没差。这才是真正的"AI普及"。

正文完
 0