Meta 公司的一位高管出面澄清了一則關(guān)于公司新 AI 模型的不實傳言。該傳言聲稱 Meta 在其新推出的 Llama 4 Maverick 和 Llama 4 Scout 模型上存在不當行為，即通過在特定基準測試的“測試集”上進行訓(xùn)練來提升模型的測試表現(xiàn)，同時隱藏模型的不足之處。
Meta 公司生成式人工智能副總裁艾哈邁德 阿爾 達赫勒（Ahmad Al-Dahle）在社交平臺 X 上發(fā)表聲明稱，這種說法“根本不屬實”。
在人工智能領(lǐng)域，測試集是用于在模型訓(xùn)練完成后評估其性能的數(shù)據(jù)集合。如果在測試集上進行訓(xùn)練，可能會人為地提高模型的基準測試分數(shù)，從而使模型看起來比實際更強大。
值得一提的是，Maverick 和 Scout 在某些任務(wù)上的表現(xiàn)不佳，以及 Meta 選擇使用未發(fā)布的實驗版本 Maverick 來在基準測試平臺 LM Arena 上獲得更好成績的決定，都為這一謠言提供了“燃料”。研究人員觀察到，可公開下載的 Maverick 與在 LM Arena 上托管的模型在行為上存在顯著差異。
阿爾 達赫勒承認，部分用戶在使用不同云服務(wù)提供商提供的 Maverick 和 Scout 模型時，確實遇到了“質(zhì)量參差不齊”的情況。他解釋道：“由于我們在模型準備好后就立即發(fā)布了，我們預(yù)計需要幾天時間才能讓所有公開的實現(xiàn)版本都調(diào)整到位。我們將繼續(xù)進行錯誤修復(fù)并與合作伙伴進行對接。” 
