OpenAI联姻博通:$299一片,定制芯片能省多少电费?

6次阅读

6月24日,OpenAI和博通联合发布了一款定制芯片,名字叫Jalapeño(墨西哥辣椒)。这不是什么新手机或新电脑,而是专为数据中心跑大语言模型设计的ASIC芯片,从立项到发布只用了9个月。

目前数据中心跑AI推理主要靠英伟达的GPU。Jalapeño的不同之处在于,它从零开始设计,专门优化大语言模型的推理效率,而不是通用计算。OpenAI CEO山姆·奥特曼和博通CEO陈福阳(Hock Tan)一同亮相发布会,奥特曼的目标很明确:以后想自己掌控整个技术栈,减少对英伟达的依赖。

芯片赛道突然热了起来。

博通已经不是第一次做定制芯片了。谷歌的TPU、Meta的MTIA芯片,都是博通代工。但这次是OpenAI第一次亲自下场,深度参与芯片设计——博通根据OpenAI研究团队的反馈,从架构层面做了针对性优化。

省电是核心卖点。

官方数据显示,Jalapeño的单位功耗性能"明显优于当前最先进水平"。虽然没有公布具体数字,但参照博通之前给谷歌做的TPU v5e,数据中心推理能效提升通常在30%-50%之间。如果Jalapeño真能达到这个水平,对于日均耗电量巨大的ChatGPT来说,每年能省下的电费相当可观。

两款芯片今年底就要在数据中心部署了。这是OpenAI垂直整合的关键一步——从模型训练到推理硬件,全部自己来。英伟达的CUDA生态依然强大,但至少现在,有人开始动他的奶酪了。

接下来,看黄仁勋怎么接招。

正文完
 0