算力正如水、電一般，正在逐日成為現(xiàn)代社會賴以生存的重要基礎(chǔ)資源。全國各地都在緊鑼密鼓地“上馬”各種智算項目，算力不僅是新質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵抓手，又是各地方招商引資的有力手段。
然而，算力利用率低、東西供需不平衡、國產(chǎn)化算力不足等成為目前我國算力高質(zhì)量發(fā)展面臨的窘境。當下，大模型產(chǎn)業(yè)井噴式發(fā)展再度加劇了智能算力緊張的局面。近日，中國移動智算中心（哈爾濱）（以下簡稱哈爾濱智算中心）建設(shè)完成并投產(chǎn)使用為打破以上困境帶來了新的解題思路。
萬卡集群：智算新標桿讓算力邁上新臺階
據(jù)不完全統(tǒng)計，截至今年6月，各地方政府參與建設(shè)并已投產(chǎn)的智算中心數(shù)量已接近百個。
與其他不同的是，近日建設(shè)完成并正式投產(chǎn)使用的國內(nèi)運營商最大單集群智算中心——哈爾濱智算中心，更將“大”表現(xiàn)的淋漓盡致。
“單集群擁有超過1.8萬卡的豐富資源，可提供6.9EFLOPS（每秒690億億次浮點運算）智能算力。”該智算中心具有單集群算力規(guī)模最大、國產(chǎn)化網(wǎng)絡(luò)設(shè)備組網(wǎng)規(guī)模最大等特點，技術(shù)領(lǐng)先、自主可控，可為萬億級大模型訓(xùn)練提供高效、穩(wěn)定、安全可控的算力底座。
通俗地說，單集群智算中心，就是把所有AI加速卡打造成1個集群，用以支持千萬億級參數(shù)的大模型進行訓(xùn)練。通過先進的智算網(wǎng)絡(luò)技術(shù)把上萬塊GPU芯片像“積木”一樣拼接在一起，大幅提升GPU節(jié)點間的通信效率，使其在瞬息之間便能處理海量數(shù)據(jù)與復(fù)雜計算任務(wù)。
哈爾濱智算中心可有效提升區(qū)域乃至全國的算力服務(wù)水平。在此之前，智算規(guī)模大多在一萬卡以下，對于千億或者萬億模型訓(xùn)練來說，仍會在一定程度上受限于底層的算力資源。哈爾濱1.8萬卡集群的建成和投入，將更有利于模型團隊充分利用底層資源，通過并行度更高的訓(xùn)練策略，加快模型訓(xùn)練進度。大規(guī)模智算落地絕非簡單的規(guī)模數(shù)量堆疊，其復(fù)雜程度呈指數(shù)級增加，對智算建設(shè)運營者的技術(shù)實力、資源優(yōu)勢、產(chǎn)業(yè)協(xié)同能力有著很高的要求，中國移動做到了。
不僅如此，面對大規(guī)模萬卡集群建設(shè)的嚴峻技術(shù)挑戰(zhàn)，中國移動研究院作為中國移動的技術(shù)創(chuàng)新中堅力量，為哈爾濱智算中心建設(shè)提出了一系列突破性和創(chuàng)新性的技術(shù)方案，圍繞“新互聯(lián)、新算效、新存儲、新平臺、新節(jié)能”五大創(chuàng)新技術(shù)領(lǐng)域展開了系統(tǒng)性重構(gòu)，并制定了《中國移動NICC新型智算中心技術(shù)體系》。哈爾濱萬卡集群是業(yè)內(nèi)首個大規(guī)模應(yīng)用融合存儲的集群，也是首個落地中國移動原創(chuàng)智算網(wǎng)絡(luò)全調(diào)度以太網(wǎng)（GSE1.0）的萬卡集群，并應(yīng)用中國移動自研“AUTO行云”算網(wǎng)基礎(chǔ)設(shè)施自動化平臺實現(xiàn)萬卡集群自動化驗收的全量設(shè)備覆蓋。這充分彰顯出中國移動在科技創(chuàng)新的研發(fā)實力和技術(shù)優(yōu)勢。
中國速度：兩個“100天”，AUTO挑戰(zhàn)極限助力驗收
通常IDC 數(shù)據(jù)中心規(guī)劃到投產(chǎn)所需的時間受多種因素影響，會有較大差異，一般來說可能需要1-3 年左右。哈爾濱智算中心從2024年3月規(guī)劃到2024年9月投產(chǎn)交付，僅用了兩個“100天”，建成交付，創(chuàng)下IDC建設(shè)新的“中國速度”。
要知道，在哈爾濱智算集群建設(shè)過程中，智算基礎(chǔ)設(shè)施不僅要滿足上層大模型業(yè)務(wù)的極致運行和性能要求，還要面臨萬卡、國產(chǎn)化等規(guī)模和生態(tài)的多重挑戰(zhàn)，亟待在智算基礎(chǔ)設(shè)施硬件及網(wǎng)絡(luò)層面保證建設(shè)、交付、運維各階段保障效率和質(zhì)量的“雙達標”。“AUTO行云”平臺在哈爾濱智算中心建設(shè)驗收過程中，為智算基礎(chǔ)設(shè)施高質(zhì)量交付“嚴把關(guān)”，保障后續(xù)大模型的穩(wěn)定運行。
“AUTO行云”是中國移動研究院自主研發(fā)、致力于提升算網(wǎng)基礎(chǔ)設(shè)施集成驗證交付效率和質(zhì)量的自動化平臺。前期AUTO BOX承載的都是千卡集群，哈爾濱智算中心是AUTO驗收的第一個萬卡集群。
據(jù)了解，哈爾濱1.8萬卡超大規(guī)模智算集群中，一輪自動化測試覆蓋總計約25萬個測試用例，涉及6000多臺各類服務(wù)器和交換機設(shè)備，以及近7萬多條網(wǎng)絡(luò)連線，無論從規(guī)模數(shù)量、設(shè)備多樣性、配置參數(shù)、建設(shè)進度等都是一項巨大、復(fù)雜的系統(tǒng)工程。但憑借AUTO工具的優(yōu)越性能以及AUTO團隊的豐富經(jīng)驗，在哈爾濱1.8萬卡超大規(guī)模智算集群中，2小時內(nèi)即可對所有設(shè)備和網(wǎng)絡(luò)連線進行一輪自動化全量檢查，對智算中心高質(zhì)量、高效率交付發(fā)揮了非常關(guān)鍵的作用。AUTO工具的應(yīng)用使得驗收效率整體提升73%，進一步節(jié)省智算集群的上線時間、耗電、人工等多項成本。
如果說哈爾濱智算中心刷新了業(yè)界AI大模型訓(xùn)練集群的規(guī)模，那么AUTO無疑是其高質(zhì)量投產(chǎn)的關(guān)鍵助力。如果說，哈爾濱智算中心為我國智算基礎(chǔ)設(shè)施建設(shè)樹立了新的標桿，那么AUTO在哈爾濱智算中心建設(shè)快速投運這場戰(zhàn)役中可謂功不可沒。
創(chuàng)新突破：算力國產(chǎn)化跑出加速度
從規(guī)模“大”到建投速度“快”，哈爾濱智算中心讓外界看到更多是中國移動的技術(shù)硬實力。
但萬卡集群的構(gòu)建并非簡單的GPU卡堆疊，而是一項高度復(fù)雜的超級系統(tǒng)工程。從全調(diào)度以太網(wǎng)技術(shù)的首次成功應(yīng)用再到融合存儲技術(shù)的大膽引入，哈爾濱智算中心建設(shè)的背后技術(shù)離不開一個“新”。
哈爾濱萬卡集群中使用的國產(chǎn)化融合存儲技術(shù)是業(yè)內(nèi)首個大規(guī)模應(yīng)用融合存儲的集群。融合存儲技術(shù)不僅節(jié)省了大量存儲容量，還巧妙避免了數(shù)據(jù)在不同存儲系統(tǒng)之間的無效流轉(zhuǎn)，使大模型訓(xùn)練效率提升可達星期級。
全調(diào)度以太網(wǎng)（GSE）技術(shù)方案打破了西方科技巨頭壟斷，通過創(chuàng)新算網(wǎng)協(xié)同的負載均衡技術(shù)和端網(wǎng)協(xié)同的擁塞控制技術(shù)，實現(xiàn)網(wǎng)絡(luò)互聯(lián)的升級，為智算中心提供高性能的連接網(wǎng)絡(luò)，將訓(xùn)練過程通信時間占比縮短20%以上，達到國際領(lǐng)先水平。
同時，中國移動智算中心（哈爾濱）AI芯片國產(chǎn)化率100%，首次通過國產(chǎn)網(wǎng)絡(luò)設(shè)備探索1.8萬張智算卡單集群部署規(guī)模上限。中國移動研究院積極主動地推動國產(chǎn) GPU 在智算中心的廣泛應(yīng)用，有力證明了國產(chǎn) GPU 同樣能夠建設(shè)高效的超萬卡集群。他們以強烈的央企責任擔當，以創(chuàng)新架構(gòu)、系統(tǒng)集群、綠色低碳為關(guān)鍵戰(zhàn)略支點，全力推動培育形成國產(chǎn)人工智能算力產(chǎn)業(yè)生態(tài)，成功實現(xiàn)多家國產(chǎn)化智能算力芯片落地與實際應(yīng)用，為國產(chǎn)算力的蓬勃發(fā)展搭建了廣闊舞臺。
算力是生產(chǎn)力，也是創(chuàng)新力。當前，國產(chǎn)算力已經(jīng)覺醒，但國產(chǎn)算力的崛起，拼的不止是AI芯片，還要圍繞計算、網(wǎng)絡(luò)、存儲等關(guān)鍵環(huán)節(jié)，匯聚科技力量，提升自主創(chuàng)新能力，加大研發(fā)投入，實現(xiàn)高端芯片、新型數(shù)據(jù)中心、超算等領(lǐng)域的研發(fā)突破，推動算力產(chǎn)業(yè)高質(zhì)量發(fā)展。
哈爾濱智算中心的建成投產(chǎn)，不僅在規(guī)模上達到了新的高度，為大模型訓(xùn)練提供了強大的算力支持，更在建設(shè)速度、技術(shù)創(chuàng)新、國產(chǎn)化應(yīng)用等方面樹立了標桿。展望未來，中國移動將繼續(xù)發(fā)揮創(chuàng)新主體和產(chǎn)業(yè)引領(lǐng)作用，為超十萬卡集群的創(chuàng)新突破做好技術(shù)儲備，與合作伙伴共同實現(xiàn)國產(chǎn)智算設(shè)施的跨越式發(fā)展。 
