“全球大模型第一股”,公開(kāi)技術(shù)細(xì)節(jié)
2月22日,智譜發(fā)布技術(shù)報(bào)告,全面解讀GLM-5的技術(shù)細(xì)節(jié)。
從技術(shù)導(dǎo)向而言,此前AI編程范式屬于“Vibe Coding”(氛圍編程),即程序員手動(dòng)提示AI生成代碼,較為依賴人力,效率有瓶頸。
GLM-5瞄準(zhǔn)的是Agentic Engineering(智能體工程),要求AI不再只是輔助工具,而是一個(gè)可以自主規(guī)劃、執(zhí)行、迭代的“虛擬工程師”。
為了實(shí)現(xiàn)這一目標(biāo),GLM-5在技術(shù)上實(shí)現(xiàn)了四大突破:
第一,更高效的模型“大腦”。GLM-5引入DSA稀疏注意力機(jī)制(DeepSeek Sparse Attention,DSA),可以理解為,模型在處理長(zhǎng)文本時(shí),不再對(duì)每個(gè)詞都投入同等注意力,而是智能地聚焦在關(guān)鍵信息上。這大幅降低了計(jì)算成本,使得模型能用更少的資源處理更長(zhǎng)的上下文。
得益于此,智譜將模型參數(shù)規(guī)模擴(kuò)展至744B(7440億),同時(shí)將訓(xùn)練token規(guī)模提升至28.5T(28.5萬(wàn)億)。
第二,更快的“學(xué)習(xí)”方式。GLM-5構(gòu)建并完善了一套名為“slime”的異步強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施,這是其訓(xùn)練效率取得突破的核心。傳統(tǒng)的強(qiáng)化學(xué)習(xí)訓(xùn)練效率相對(duì)較低,slime將“生成任務(wù)軌跡”和“模型參數(shù)更新”解耦,即將這兩個(gè)過(guò)程分開(kāi)后同時(shí)進(jìn)行。這就像一邊讓AI在實(shí)踐中不斷嘗試,一邊后臺(tái)同步總結(jié)經(jīng)驗(yàn)教訓(xùn),極大提升了訓(xùn)練效率。
第三,更聰明的“決策”算法。GLM-5提出了全新的異步Agent RL算法。這一算法針對(duì)動(dòng)態(tài)環(huán)境下的規(guī)劃與自我糾錯(cuò)能力進(jìn)行了深度優(yōu)化,這使得模型能夠從海量的、多步驟的交互中持續(xù)學(xué)習(xí),優(yōu)化其在動(dòng)態(tài)環(huán)境中的規(guī)劃、執(zhí)行和自我糾錯(cuò)能力。
第四,全面擁抱國(guó)產(chǎn)算力生態(tài)。從模型發(fā)布伊始,GLM-5就全面兼容七大主流國(guó)產(chǎn)芯片平臺(tái):華為昇騰、摩爾線程、海光、寒武紀(jì)、昆侖芯、沐曦與燧原,完成從底層內(nèi)核到上層推理框架的深度優(yōu)化。
GLM-5發(fā)布后,獲得了開(kāi)發(fā)者社區(qū)的用腳投票。發(fā)布之初,智譜以代號(hào)“Pony Alpha”在頂級(jí)模型平臺(tái)OpenRouter上進(jìn)行了匿名盲測(cè),在社區(qū)引發(fā)了轟動(dòng)。初步統(tǒng)計(jì)顯示,25%的用戶推測(cè)它是Anthropic的Claude Sonnet5,20%認(rèn)為是Grok的新版本,10%猜是DeepSeek-V4,而其余用戶則成功猜中了GLM-5。
“最終確認(rèn)Pony Alpha真身即是GLM-5,這對(duì)我們團(tuán)隊(duì)是一次巨大的鼓舞,也有力回?fù)袅碎L(zhǎng)期以來(lái)外界對(duì)中國(guó)本土模型技術(shù)水準(zhǔn)的質(zhì)疑!敝亲V團(tuán)隊(duì)表示。
GLM-5折射出的另一趨勢(shì),是開(kāi)源與閉源模型的差距正在被填平。硅谷頂級(jí)的風(fēng)投機(jī)構(gòu)a16z近期發(fā)布了一組數(shù)據(jù),稱開(kāi)源大模型與頂級(jí)閉源模型之間的能力差距,正在以肉眼可見(jiàn)的速度快速收窄。而報(bào)告中被選為開(kāi)源陣營(yíng)的代表、并與閉源天花板ClaudeOpus4.6進(jìn)行正面對(duì)標(biāo)的,正是GLM-5。
智譜團(tuán)隊(duì)稱,開(kāi)源追趕閉源的戰(zhàn)役仍在繼續(xù),將堅(jiān)定不移地探索技術(shù)前沿,構(gòu)建更高效、更智能的底層系統(tǒng)。
0人