月之暗面Kimi發(fā)布MoE架構基礎模型K2并同步開(kāi)源,總參數1T
月之暗面Kimi發(fā)布MoE架構基礎模型K2并同步開(kāi)源,總參數1T,激活參數32B,在自主編程、工具調用、數學(xué)推理等領(lǐng)域超越全球其他開(kāi)源模型。Kimi K2使用MuonClip優(yōu)化器實(shí)現萬(wàn)億參數模型的高效訓練,在高質(zhì)量數據遇到瓶頸的背景下通過(guò)提升Token效率,找到新的預訓練擴展空間。K2具備更強代碼能力,擅長(cháng)通用Agent任務(wù),在多個(gè)實(shí)際場(chǎng)景中展現出更強的能力泛化及實(shí)用性,新模型目前已上線(xiàn)開(kāi)放體驗。
0人