C114訊 2月14日消息(顏翊)昨日,國(guó)際數(shù)據(jù)公司(IDC)與浪潮信息聯(lián)合發(fā)布《2025年中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》,《報(bào)告》指出,隨著人工智能技術(shù)的飛速發(fā)展,企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)的需求達(dá)到了前所未有的高度。
IDC數(shù)據(jù)顯示,2024年全球企業(yè)在人工智能存儲(chǔ)領(lǐng)域的支出達(dá)到67億美元,2025年將增至76億美元,2028年有望達(dá)到102億美元,2023-2028年五年年復(fù)合增長(zhǎng)率為12.2%。
大模型訓(xùn)練和生成式人工智能技術(shù)的應(yīng)用對(duì)存儲(chǔ)市場(chǎng)產(chǎn)生了顯著影響。首先,算力的增強(qiáng)推動(dòng)了對(duì)存儲(chǔ)性能需求的升級(jí)。存儲(chǔ)系統(tǒng)需要具備更大的容量、更快的讀寫(xiě)速度、更低的延遲、更高的可靠性和更佳的靈活性,以支持高效的數(shù)據(jù)處理與模型訓(xùn)練,同時(shí)適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)量和擴(kuò)大模型規(guī)模的需求。在這個(gè)過(guò)程中,分布式存儲(chǔ)架構(gòu)憑借其性能線性擴(kuò)展的優(yōu)勢(shì),成為訓(xùn)練場(chǎng)景的主要選擇。
隨著算力集群規(guī)模擴(kuò)大,存儲(chǔ)帶寬需相應(yīng)提升,傳統(tǒng)集中式存儲(chǔ)和串行運(yùn)算模式已難以滿足需求。分布式存儲(chǔ)與并行運(yùn)算的結(jié)合,為人工智能領(lǐng)域提供了新的解決方案。分布式存儲(chǔ)系統(tǒng)通過(guò)將數(shù)據(jù)分散在多個(gè)物理節(jié)點(diǎn)上,提供冗余備份、無(wú)限擴(kuò)展性和并行訪問(wèn),提升數(shù)據(jù)可靠性和容錯(cuò)性,系統(tǒng)可以迅速?gòu)钠渌?jié)點(diǎn)恢復(fù)數(shù)據(jù),確保應(yīng)用的連續(xù)運(yùn)行;支持PB級(jí)甚至EB級(jí)數(shù)據(jù)擴(kuò)展,滿足人工智能模型對(duì)海量數(shù)據(jù)的需求;支持并行訪問(wèn),多個(gè)節(jié)點(diǎn)可以同時(shí)讀取和寫(xiě)入數(shù)據(jù),降低數(shù)據(jù)訪問(wèn)延遲。
其次,存儲(chǔ)系統(tǒng)需要能夠靈活應(yīng)對(duì)復(fù)雜的數(shù)據(jù)治理和應(yīng)用需求。當(dāng)訓(xùn)練出的大模型應(yīng)用于具體行業(yè)時(shí),需要將行業(yè)內(nèi)的各種數(shù)據(jù)與大模型結(jié)合,而這些海量數(shù)據(jù)來(lái)源廣泛、類型多樣且分布在不同地點(diǎn),企業(yè)需要高效完成這些數(shù)據(jù)的匯集和預(yù)處理。除分布式存儲(chǔ)架構(gòu)外,多協(xié)議支持將成為關(guān)鍵。存儲(chǔ)系統(tǒng)需要支持多種數(shù)據(jù)訪問(wèn)協(xié)議以及具備無(wú)損互通非結(jié)構(gòu)化數(shù)據(jù)的能力,兼容不同數(shù)據(jù)格式和傳輸方式,從而提高數(shù)據(jù)管理的效率和靈活性,滿足復(fù)雜應(yīng)用場(chǎng)景的需求。
未來(lái),隨著推理工作負(fù)載的增加,存儲(chǔ)系統(tǒng)將更加注重快速讀寫(xiě)數(shù)據(jù)、實(shí)時(shí)響應(yīng)推理任務(wù)、支持大量并發(fā)訪問(wèn)以及確保數(shù)據(jù)的高可用性和完整性。通過(guò)采用NVMe SSD等高性能存儲(chǔ)介質(zhì),結(jié)合數(shù)據(jù)緩存和預(yù)取機(jī)制,設(shè)計(jì)靈活的擴(kuò)展方案,并實(shí)施智能數(shù)據(jù)管理和優(yōu)化策略,可以幫助企業(yè)提高存儲(chǔ)利用率和性能,優(yōu)化數(shù)據(jù)治理,加速數(shù)據(jù)價(jià)值挖掘。
全閃存存儲(chǔ)方案憑借其卓越的數(shù)據(jù)傳輸速度、更低的能耗以及更高的單位物理空間容量,在人工智能市場(chǎng)中展現(xiàn)出強(qiáng)勁的增長(zhǎng)勢(shì)頭。特別是QLC SSD(四層單元固態(tài)硬盤(pán)),預(yù)計(jì)將在以讀取為中心的工作負(fù)載及應(yīng)用程序中,以及緩存和分層架構(gòu)的企業(yè)SSD市場(chǎng)中占據(jù)越來(lái)越重要的地位。PCIe接口協(xié)議正逐步占據(jù)更大的市場(chǎng)份額,代表下一代高性能網(wǎng)絡(luò)技術(shù)的NVMe over Fabric(NVMe-oF)也開(kāi)始嶄露頭角。NVMe-oF能夠提供服務(wù)器與網(wǎng)絡(luò)存儲(chǔ)間極低的訪問(wèn)延遲,從而充分發(fā)揮NVMe SSD的優(yōu)勢(shì)并加速其普及。