據(jù)報道，字節(jié)跳動豆包大模型Foundation團(tuán)隊近日宣布了一項重要創(chuàng)新成果——UltraMem稀疏模型架構(gòu)。
這一架構(gòu)通過將計算和參數(shù)解耦，在保證模型效果的同時，有效解決了推理過程中的訪存問題，為人工智能領(lǐng)域帶來了新的突破。
據(jù)了解，UltraMem架構(gòu)巧妙地將計算與參數(shù)分離，不僅確保了模型的卓越性能，更針對推理過程中的訪存瓶頸提出了革命性解決方案。
這一設(shè)計直擊要害，有效應(yīng)對了混合專家（MoE）模型在推理階段長期遭遇的高訪存成本挑戰(zhàn)，該挑戰(zhàn)以往極大地限制了MoE模型的廣泛應(yīng)用。
得益于其獨到的架構(gòu)設(shè)計，UltraMem顯著提升了推理速度，相較于傳統(tǒng)MoE架構(gòu)，提升幅度驚人地達(dá)到了2至6倍。更令人振奮的是，該架構(gòu)還實現(xiàn)了推理成本的大幅度削減，最高降幅可達(dá)83%。
實驗數(shù)據(jù)彰顯了UltraMem架構(gòu)的強(qiáng)大實力：在訓(xùn)練規(guī)模達(dá)到2000萬value的條件下，UltraMem模型在同等級別的計算資源上，展現(xiàn)了業(yè)界頂尖的推理速度和性能表現(xiàn)。這一突破為構(gòu)建規(guī)模達(dá)到數(shù)十億value或expert的模型鋪平了道路，預(yù)示著人工智能領(lǐng)域?qū)⒂瓉砀痈咝�、�?jīng)濟(jì)的新發(fā)展模式。 
