月之暗面把参数砸到2.8万亿:开源Kimi K3想让每个人都能跑大模型

7次阅读

7月27日晚,月之暗面突然发布Kimi K3模型权重和技术报告,同时开源了支撑模型训练的底层Infra技术。这个拥有2.8万亿参数的混合专家(MoE)模型,一出手就是全球参数规模最大的开源大模型。

具体参数:2.8万亿、MoE架构、原生视觉理解、100万token上下文窗口。这意味着什么?相当于你丢给它一本《战争与和平》的全部内容,它能一口气读完还能跟你讨论情节。

月之暗面说,现在每个人都可以下载并部署Kimi K3,用于内部研发或嵌入面向终端用户的产品,免费用。

次日,国家超算互联网AI社区火速上线相关模型及API调用服务。企业开发者戳一下API,就能下载模型文件并部署,2.8万亿参数直接调用。

几个关键数据:

(1) 2.8万亿参数,全球最大开源模型

(2) 100万token上下文窗口,Claude 3.5 Sonnet只支持20万

(3) 开源范围:模型权重 + 技术报告 + MoonEP + FlashKDA + AgentEnv三项底层Infra技术

开源大模型赛道最近很热闹。前脚DeepSeek刚靠低成本训练刷了一波存在感,后脚Kimi K3直接用参数规模碾压。参数大不一定代表能力强,但开源社区最吃这一套——参数大意味着可定制空间大,做垂直领域微调更顺手。

对普通开发者来说,这可能是今年门槛最低的一次。上次Llama 3发布时,光是70B参数就劝退了不少小团队。现在2.8万亿参数直接开源,GPU不够的可以直接调API。

Kimi K3能不能打,还要等社区测试。但有一点可以确定:开源这张牌,月之暗面是认真的。

正文完
 0