昨天馬斯克及其 xAI 團(tuán)隊(duì)在直播中正式發(fā)布了 Grok 3,此前馬斯克通過持續(xù)的預(yù)熱宣傳,將外界對(duì) Grok3 的期待值推向了前所未有的高度。馬斯克稱 Grok 3 為,然而其實(shí)際表現(xiàn)似乎對(duì)不起這個(gè)名號(hào)。
在發(fā)布會(huì)上,馬斯克宣稱 Grok 3 在數(shù)學(xué)、科學(xué)與編程的基準(zhǔn)測(cè)試中超越了所有主流模型,并計(jì)劃將其應(yīng)用于 SpaceX 的火星任務(wù)計(jì)算,甚至預(yù)測(cè)未來三年內(nèi)將實(shí)現(xiàn)諾貝爾獎(jiǎng)級(jí)別的突破。
但 Grok 3 的實(shí)際測(cè)試表現(xiàn)卻讓人大跌眼鏡。發(fā)布后,一些媒體測(cè)試了最新的 Beta 版 Grok 3,并提出了那個(gè)經(jīng)典的用來刁難大模型的問題:“9.11 與 9.9 哪個(gè)大?”遺憾的是,號(hào)稱目前最聰明的 Grok 3,仍然無法正確回答這個(gè)問題,被網(wǎng)友戲稱為“天才不愿意回答簡(jiǎn)單問題”。
此外,在 xAI 發(fā)布會(huì)直播中,在分析游戲《流放之路 2》的職業(yè)與升華效果時(shí),Grok 3 也給出了大量錯(cuò)誤答案,并且馬斯克也沒有看出這些明顯的錯(cuò)誤。
盡管在官方 PPT 中,Grok3 在大模型競(jìng)技場(chǎng) Chatbot Arena 中看似“遙遙領(lǐng)先”,但實(shí)際上其與 DeepSeek R1 和 GPT4.0 的差距僅為 1% 到 2%。
馬斯克在發(fā)布會(huì)上透露,Grok 3 使用了超過 20 萬張 H100 芯片,總訓(xùn)練小時(shí)數(shù)達(dá)到兩億小時(shí)。作為對(duì)比,DeepSeek V3 僅使用 2000 張 H800 芯片訓(xùn)練兩個(gè)月,其性能卻與 Grok 3 相差無幾。這表明,隨著模型規(guī)模的不斷擴(kuò)大,性能提升的邊際效應(yīng)已經(jīng)顯現(xiàn)。
值得一提的是,馬斯克在社交媒體上表示,當(dāng)前的 Grok 3 僅是測(cè)試版,完整版將在未來幾個(gè)月推出,并邀請(qǐng)用戶反饋使用問題。