生成式人工智能(GenAI)和大語言模型(LLM)的迅猛發(fā)展催生了空前的算力需求。隨著AI模型復雜度不斷提升,支撐其運行所需的能源已對數(shù)據(jù)中心造成巨大壓力。Gartner預測,到2027年,數(shù)據(jù)中心運行新增AI服務器所需的用電量將達到每年500太瓦時(TWh),是2023年的兩倍以上。GenAI不斷攀升的電力需求為數(shù)據(jù)中心運營帶來了成本、性能和可持續(xù)性等多重挑戰(zhàn)。
Gartner預測,到2027年,40%的數(shù)據(jù)中心將因電力供應問題而面臨運營限制。這種情況不僅會影響數(shù)據(jù)中心自身,還會對其客戶和終端用戶產(chǎn)生連帶效應,導致成本上升、服務性能下降等問題。
對于IT部門而言,GenAI日益增長的電力需求正成為關(guān)鍵制約因素,限制其部署GenAI相關(guān)產(chǎn)品和應用的能力。
GenAI處理向終端轉(zhuǎn)移
數(shù)據(jù)中心電力消耗所帶來的運營風險,將迫使產(chǎn)品負責人考慮將更多AI推理工作負載轉(zhuǎn)移至終端設(shè)備。目前,更高的響應速度和更好的數(shù)據(jù)隱私保護是終端GenAI的兩大優(yōu)勢。如今,為應對數(shù)據(jù)中心電力限制的壓力,終端GenAI正在成為更具吸引力的解決方案。
Gartner預測,到2026年,終端GenAI查詢量將超過云端,這標志著AI戰(zhàn)略的重大轉(zhuǎn)向。
終端GenAI處理需重新設(shè)計關(guān)鍵技術(shù)
隨著行業(yè)格局演變,產(chǎn)品負責人必須重新評估其AI戰(zhàn)略以適應這一轉(zhuǎn)向。評估如何優(yōu)化推理方式,在終端分配GenAI工作負載至關(guān)重要。采用終端GenAI,企業(yè)不僅能緩解數(shù)據(jù)中心電力約束帶來的風險,還能提升整體用戶體驗。這一戰(zhàn)略轉(zhuǎn)向不僅可以幫助企業(yè)解決當前的電力挑戰(zhàn),也讓企業(yè)在快速演進的AI環(huán)境中更好地應對未來需求。
受改善用戶體驗(如增強數(shù)據(jù)隱私、降低延遲、加快響應速度)的需求驅(qū)動,GenAI正加速向智能手機、個人電腦(PC)、平板電腦、XR頭顯、可穿戴設(shè)備、車輛、機器人和物聯(lián)網(wǎng)設(shè)備等終端設(shè)備轉(zhuǎn)移。由于終端設(shè)備外形尺寸的限制,其搭載的GenAI處理需要極高的能源效率,同時不應因新增的GenAI功能而影響終端設(shè)備的續(xù)航時間和電池壽命。終端GenAI的發(fā)展需要半導體、電池以及AI模型開發(fā)領(lǐng)域的顯著協(xié)同創(chuàng)新。
·半導體:高效節(jié)能芯片是實現(xiàn)實時處理和低延遲的關(guān)鍵。專為終端GenAI設(shè)計的專用AI處理器、低功耗存儲芯片,以及集成神經(jīng)處理單元(NPU)的應用處理器和微控制器單元(MCU)成為首選方案。氮化鎵(GaN)等寬禁帶半導體在快充電源轉(zhuǎn)換中至關(guān)重要,可顯著提升用戶體驗。由于本地GenAI處理可能快速消耗電池電量,快充技術(shù)對于智能手機、PC等電池供電的終端設(shè)備至關(guān)重要,是保障其GenAI功能用戶體驗的關(guān)鍵因素。
·電池:智能手機、PC、XR頭顯、可穿戴設(shè)備等大多數(shù)終端設(shè)備都依賴電池供電,而終端GenAI處理將消耗更多電量。固態(tài)鋰離子電池這類更高能量密度的電池,將成為支持更長續(xù)航時間的關(guān)鍵。
·AI模型:終端設(shè)備的本地處理需要參數(shù)規(guī)模更小的定制化AI模型。參數(shù)更少的輕量化大語言模型適用于特定任務和行業(yè),可降低計算需求,使其適合部署在無法運行標準“重型”LLM 的終端設(shè)備上。