格隆汇7月28日|据澎湃,中国大模型企业月之暗面宣布全面开源,K3背后的技术细节也随之浮出水面。Kimi介绍,在并不宽裕的算力条件下,K3凭借Kimi Delta Attention、Attention Residuals以及MoonEP等一系列技术创新,实现模型规模化效率提升2.5倍,即在算力最优意义下,单位算力产出智能约等于原来的2.5倍。此前7月16日,Kimi推出2.8万亿参数的Kimi K3,成为全球参数最大的开源模型,瞬间震动全球——发布48小时后,用户请求量逼近集群承载极限。7月19日晚,月之暗面发布公告,暂停C端新用户订阅,将全部算力优先保障已付费老用户。
对于K3此次开源,外媒分析,这是对AI大厂的有力挑战,尤其是Anthropic和OpenAI。这两家公司最新的模型分别是Claude Fable和GPT系列模型,K3性能紧随其后,其运行成本似乎只有它们的1/2-1/3;如果特定查询被缓存,成本甚至可以降低至十分之一。北美AI基础设施创企Osmantic AI的创始人兼CEO Ahmad发文,将Kimi K3称为“本地版Fable 5”,并称“
知道为什么Anthropic讨厌开源AI吗?Kimi K3免费且可下载,让他们的万亿美元估值失去意义。”