江蘇移動與華為聯(lián)合研發(fā)的智能故障治理平臺實現(xiàn)9個月穩(wěn)定運行,標(biāo)志著基于大模型的云原生運維技術(shù)完成從實驗室驗證到生產(chǎn)部署的關(guān)鍵跨越。該平臺通過跨模態(tài)數(shù)據(jù)融合治理,構(gòu)建"大模型推理決策+小模型異常檢測"的雙引擎架構(gòu),系統(tǒng)性重構(gòu)故障處置全流程。經(jīng)生產(chǎn)驗證,其智能診斷準(zhǔn)確率提升顯著,MTTR縮短37%(同比降17分鐘),形成"數(shù)據(jù)治理-智能診斷-知識反哺"的增強閉環(huán),為復(fù)雜系統(tǒng)故障治理提供可工程化復(fù)制的AI轉(zhuǎn)型路徑。
一、故障處理困境:
. 多云架構(gòu)日均產(chǎn)生億級運維數(shù)據(jù),分散在監(jiān)控大盤、調(diào)用鏈等異構(gòu)平臺,傳統(tǒng)固定規(guī)則難以識別指標(biāo)毛刺類隱患,人工監(jiān)控需高頻切換界面進行數(shù)據(jù)交叉驗證,存在故障發(fā)現(xiàn)延遲。
. 由于多代異構(gòu)技術(shù)形成的超復(fù)雜的動態(tài)連接,故障傳播路徑冗長,分層逐個定位的運維方法效率低下,故障定位時長難以有效收斂;
. 非結(jié)構(gòu)化故障報告缺乏可復(fù)現(xiàn)性,人工維護的知識庫更新滯后且復(fù)用率不足,疊加人員流動影響,經(jīng)驗傳承形成斷層。
二、破局之道:
針對上述痛點,以"構(gòu)建故障全生命周期治理能力"為目標(biāo),通過多源運維數(shù)據(jù)融合、異常指標(biāo)權(quán)重擬合、大模型根因推理等技術(shù)突破,打造覆蓋“故障感知-診斷-歸檔-經(jīng)驗復(fù)用”的閉環(huán)體系。
總體方案:構(gòu)建覆蓋故障全生命周期的智能化運維體系
1、 事前通過標(biāo)準(zhǔn)化數(shù)據(jù)治理,建立統(tǒng)一運維數(shù)據(jù)模型,實現(xiàn)跨系統(tǒng)(日志/指標(biāo)/追蹤)數(shù)據(jù)的采集、匯聚與管理,夯實分析底座;
2、 事中聚焦用戶體驗革新,打造低門檻感知診斷工具,運用AI算法關(guān)聯(lián)多源數(shù)據(jù),將復(fù)雜指標(biāo)翻譯為可視化的系統(tǒng)健康評分并自動完成根因定位,使新手可5分鐘內(nèi)完成故障處置;
3、 事后建立故障資產(chǎn)閉環(huán),將案例歸檔融入到故障處理流程中,數(shù)字化且結(jié)構(gòu)化的故障數(shù)據(jù)(如故障指標(biāo),案例報告,故障圖譜)反哺到故障發(fā)現(xiàn)和診斷能力的提升。
最終形成“數(shù)據(jù)治理-智能診斷-知識反哺”的增強式運維飛輪。
創(chuàng)新點1:基于多維度系統(tǒng)健康度量化評估模型,構(gòu)建系統(tǒng)健康曲線,實現(xiàn)全層級系統(tǒng)異常實時感知與可視化
構(gòu)建統(tǒng)一指標(biāo)智能分析能力,通過動態(tài)閾值、短長時差分,機器學(xué)習(xí)等方法對多種不同類型的指標(biāo)數(shù)據(jù)進行多維度的健康分析,識別關(guān)鍵異常指標(biāo),通過指標(biāo)歸一化及權(quán)重計算形成一條系統(tǒng)健康曲線,直觀感知系統(tǒng)綜合異常。
基于歷史案例數(shù)據(jù)的多維度指標(biāo)特征歸一化處理與動態(tài)加權(quán)策略,構(gòu)建具有時序特征工程的機器學(xué)習(xí)訓(xùn)練集,通過集成學(xué)習(xí)框架完成模型訓(xùn)練后,結(jié)合實時采集的多源監(jiān)測數(shù)據(jù),運用訓(xùn)練完成的分類模型進行在線特征匹配與模式識別,實現(xiàn)實時指標(biāo)與歷史案例庫的相似度匹配,通過指標(biāo)特征權(quán)重計算系統(tǒng)健康指數(shù)。
與傳統(tǒng)的多平臺輪巡收集離散指標(biāo)監(jiān)測的方式相比,運維人員只需通過觀察心跳曲線即可全面感知系統(tǒng)各層級的故障情況。
創(chuàng)新點2:基于大模型的智能診斷與恢復(fù)推薦,實現(xiàn)故障根因推理與快速恢復(fù)
通過知識圖譜與檢索增強生成的協(xié)同架構(gòu),構(gòu)建基于大模型的故障診斷智能體,當(dāng)系統(tǒng)檢測到異常指標(biāo)(如API延遲突增)時,首先從向量化指標(biāo)庫中檢索指標(biāo)定義(如“數(shù)據(jù)庫連接池耗盡”指標(biāo)),同時通過知識圖譜關(guān)聯(lián)指標(biāo)傳播鏈信息(如該API依賴的應(yīng)用、數(shù)據(jù)庫節(jié)點),將檢索到的指標(biāo)信息注入大模型上下文;大模型基于檢索增強的上下文,結(jié)合幻覺抑制技術(shù),生成概率化根因結(jié)論,如“OB主庫CPU高導(dǎo)致接口查詢阻塞”,并自動完成自然語言故障診斷報告的輸出,支撐5分鐘故障定位目標(biāo)達成。
發(fā)生故障時,運維人員只需點擊診斷按鈕,系統(tǒng)即可通過AI算法快速抓取關(guān)鍵異常指標(biāo),并利用大語言模型(LLM)檢索故障傳播圖譜和運維知識庫生成上下文信息,最終形成結(jié)構(gòu)化的診斷報告與恢復(fù)預(yù)案。
創(chuàng)新點3:基于案例積累,數(shù)據(jù)飛輪驅(qū)動的持續(xù)演進機制
通過持續(xù)收集和沉淀生產(chǎn)系統(tǒng)中的故障案例,系統(tǒng)能夠自動生成高質(zhì)量的訓(xùn)練數(shù)據(jù)集,并周期性迭代升級模型,同時將故障資產(chǎn)歸檔融入故障處置流程中,持續(xù)完善指標(biāo)知識庫,知識圖譜,案例等數(shù)據(jù)。這一過程形成了“數(shù)據(jù)積累-模型優(yōu)化-能力提升”的正向循環(huán),這種自我演進的能力使得系統(tǒng)能夠適應(yīng)復(fù)雜多變的運維環(huán)境,為故障治理平臺的數(shù)智化能力提升提供了可持續(xù)的動力。
三、落地成效:
. 應(yīng)用于多個核心系統(tǒng),自動完成故障診斷300+次,支撐48次新業(yè)務(wù)支付上線以及20多次重大割接;
. 故障感知準(zhǔn)確率98%,保障秒級發(fā)現(xiàn)故障;
. 故障診斷準(zhǔn)確率從30%提升至73%,大幅降低專家依賴度;
. 1-5-10指標(biāo)(1分鐘故障發(fā)現(xiàn),5分鐘定位,10分鐘恢復(fù))達標(biāo)率82%,MTTR(故障平均恢復(fù)時長)同比去年縮短17分鐘;
四、未來展望:
目前,已與多家單位深入合作,推動AI運維體系在南通等地的試點應(yīng)用。未來,將持續(xù)深化技術(shù)應(yīng)用,通過標(biāo)準(zhǔn)化能力輸出,為更多行業(yè)場景提供可復(fù)用的智能運維范式,推動行業(yè)擁抱數(shù)智化未來。 
