中國的網(wǎng)絡(luò)通信技術(shù)在近年來實現(xiàn)了突飛猛進的發(fā)展,各種新興技術(shù)層出不窮，除了傳統(tǒng)的網(wǎng)絡(luò)接入終端智能手機和電腦外，智能手表、健身腕帶、智能家庭設(shè)備、網(wǎng)絡(luò)支付、高清影音、物聯(lián)網(wǎng)等的普及也使用戶對于聯(lián)網(wǎng)速率的要求越來越高，三大運營商為了適應(yīng)時代潮流，同時為用戶提供更為便捷迅速的服務(wù)，采用的通信技術(shù)也逐漸由從上世紀90年代的2G，到2010年左右興起的4G。時至今日，隨著用戶的音頻、 視頻、圖像等業(yè)務(wù)急劇增長，網(wǎng)絡(luò)流量的爆炸式增長,即使是4G網(wǎng)絡(luò)也逐漸無法完全滿足人民對網(wǎng)絡(luò)速率提升的需求，5G網(wǎng)絡(luò)的普及變得越來越迫切。
根據(jù)工信部等部門提出的5G推進工作部署以及三大運營商的5G商用計劃，我國最快2020年正式推出5G商用服務(wù)�？梢�5G時代馬上就要到來，而5G網(wǎng)絡(luò)其峰值理論傳輸速度可達每秒數(shù)十Gb，這比4G網(wǎng)絡(luò)的傳輸速度快數(shù)百倍，除了支持手機和平板電腦外，5G網(wǎng)絡(luò)將還可支持各種可佩戴式智能設(shè)備以及智能家居，等到5G網(wǎng)絡(luò)商用后，也將帶動車聯(lián)網(wǎng)、物聯(lián)網(wǎng)、無人機、云計算等應(yīng)用的發(fā)展，所以基礎(chǔ)承載網(wǎng)絡(luò)的擴容需求隨著也變得迫在眉睫。目前常用的千兆以太網(wǎng)技術(shù)已經(jīng)完全無法滿足時代的需求，萬兆以太網(wǎng)技術(shù)和基于IEEE 802.3ba標準的40/100G以太網(wǎng)技術(shù)必將成為以后的主流。
一、5G承載網(wǎng)絡(luò)中數(shù)據(jù)采集遇到的問題
凡事利弊共存，隨著5G時代海量數(shù)據(jù)的接入，用戶在享受便利的網(wǎng)絡(luò)沖浪的同時，面臨的諸如網(wǎng)絡(luò)蠕蟲、木馬病毒及垃圾郵件、DDOS攻擊、網(wǎng)絡(luò)資源濫用（包括P2P下載、IM即時通訊、網(wǎng)絡(luò)游戲、在線視頻等行為）、黑客攻擊行為等網(wǎng)絡(luò)威脅也愈發(fā)嚴峻，傳統(tǒng)的基于千兆接口和萬兆接口的安全性能分析設(shè)備和基于交換機端口鏡像的數(shù)據(jù)采集方式，由于性能和設(shè)計的時代特性，逐漸變得力不從心，用戶在監(jiān)控數(shù)據(jù)采集方面經(jīng)常會遇到如下問題：
（一）多種旁路監(jiān)控分析設(shè)備同時部署，交換機鏡像端口不足
基于交換機鏡像端口旁路部署的安全設(shè)備逐漸增多，在同時部署兩個或以上的旁路監(jiān)聽設(shè)備之時不僅增加交換機的性能開銷，且不能滿足各種安全監(jiān)控設(shè)備靈活部署的需要。
（二）基于核心出口南北向數(shù)據(jù)采集方式，存在東西向數(shù)據(jù)監(jiān)控盲點
傳統(tǒng)采集方式主要采用出口或核心區(qū)域的交換機鏡像方式采集流量，這種方式只能采集跨網(wǎng)段數(shù)據(jù)訪問，但相同網(wǎng)段下的數(shù)據(jù)訪問無法進行采集，存在監(jiān)控盲點和監(jiān)控分析數(shù)據(jù)不完整，將導(dǎo)致無法在第一時間溯源原始攻擊和影響數(shù)據(jù)分析結(jié)果
（三）安全監(jiān)控設(shè)備部署管理分散，數(shù)據(jù)存在泄密風(fēng)險
不同種類的監(jiān)控分析設(shè)備直接采集全量的區(qū)域數(shù)據(jù)流量，但數(shù)據(jù)安全審計設(shè)備只需監(jiān)控數(shù)據(jù)庫類型數(shù)據(jù)、網(wǎng)絡(luò)監(jiān)控分析系統(tǒng)只需監(jiān)控分析網(wǎng)絡(luò)層流量，一旦這些設(shè)備獲得全量的原始數(shù)據(jù)后，將存在人為泄密或系統(tǒng)安全漏洞泄密風(fēng)險
（四）監(jiān)控分析設(shè)備投資成本增加，但分析效率不高
在網(wǎng)絡(luò)帶寬升級時，企業(yè)首先考慮增加安全監(jiān)控設(shè)備的投資，但全量的數(shù)據(jù)監(jiān)控分析，勢必帶有大量無用的背景流，其真正所需的數(shù)據(jù)并不多，如不能有效過濾，將降低安全設(shè)備分析效率。
（五）無法監(jiān)控分析10/40/100G高帶寬鏈路
安全監(jiān)控設(shè)備廠商擅長于從普通100/1000M以太網(wǎng)網(wǎng)卡捕獲報文，通過CPU進行流重組、協(xié)議解密、數(shù)據(jù)分析，其技術(shù)架構(gòu)都沉淀在X86平臺上，這類解決方案由于受到網(wǎng)卡和硬件架構(gòu)的局限性，可處理的鏈路介質(zhì)和流量都不高。
（六）無法標識數(shù)據(jù)源，無法精確定位故障源
在復(fù)雜的網(wǎng)絡(luò)環(huán)境中采集原始數(shù)據(jù)時，不能有效的標識數(shù)據(jù)源來自那些網(wǎng)元設(shè)備或地理位置（如租戶、虛擬機、物理機、虛擬網(wǎng)元、物理網(wǎng)元設(shè)備的邏輯關(guān)系映射），將影響監(jiān)控分析設(shè)備及時發(fā)現(xiàn)攻擊事件或定位故障事件。
（七）采集節(jié)點和安全監(jiān)控設(shè)備缺乏統(tǒng)一可視化管理
大量采集節(jié)點和安全監(jiān)控設(shè)備管理相對獨立，采用傳統(tǒng)的傳統(tǒng)的網(wǎng)絡(luò)分流器或匯聚分流設(shè)備解決方案管理，無法做到全網(wǎng)全局可視化，存在許多管理盲點。
二、NetTAP流量可視化智能管控平臺解決方案
成都數(shù)維通信技術(shù)有限公司，是一家專注于流量可視化智能管控設(shè)備研發(fā)、生產(chǎn)、制造的高新技術(shù)企業(yè)，為了應(yīng)對5G網(wǎng)絡(luò)的發(fā)展所帶來的一系列問題，未雨綢繆，提出NetTAP流量可視化智能管控平臺整體解決方案，可以充分的利用現(xiàn)有安全設(shè)備，有效的解決用戶所面臨的一系列問題。
圖1.1
如上圖1.1所示，在用戶的網(wǎng)絡(luò)采集節(jié)點和后端安全分析設(shè)備之間構(gòu)建一層智能的數(shù)據(jù)采集分發(fā)平臺，采用全方位的圖形化控制界面，按需分配數(shù)據(jù)到相關(guān)的安全監(jiān)控設(shè)備，進而保護用戶網(wǎng)絡(luò)安全。
智能的數(shù)據(jù)采集分發(fā)平臺由兩個功能模塊組成，分別為（1）數(shù)據(jù)采集矩陣：由流量可視化智能管控設(shè)備級聯(lián)組成，執(zhí)行基礎(chǔ)的數(shù)據(jù)采集和預(yù)處理功能，通過多種采集方式對全網(wǎng)流量進行統(tǒng)一的采集，有效的消除監(jiān)控盲點，并根據(jù)后端安全分析設(shè)備的需求進行精確的流量復(fù)制提取和分發(fā)，簡化網(wǎng)絡(luò)復(fù)雜度，減輕后端分析設(shè)備壓力。（2）統(tǒng)一管理分析系統(tǒng)：成都數(shù)維自主研發(fā)的MATRIX NetTAP-insight統(tǒng)一管理分析平臺，實現(xiàn)可視化分析和可視化管理兩個功能子項，其中可視化管理是指對前端流量可視化智能管控設(shè)備的統(tǒng)一配置管理和網(wǎng)絡(luò)拓撲狀態(tài)的展現(xiàn)，可視化分析是指對輸入流量大小和趨勢分析、協(xié)議分布分析、鏈接質(zhì)量分析、輸出流量分析、實時預(yù)警、傳輸路徑和傳輸延遲分析和自動/人工流量快照等功能，最終實現(xiàn)幫助用戶及時了解全網(wǎng)狀態(tài)，精確進行故障定位的目標。
三、NetTAP流量可視化智能管控平臺-采集技術(shù)介紹：
成都數(shù)維通信公司生產(chǎn)的數(shù)據(jù)可視化采集設(shè)備支持旁路鏡像、光鏈路在線、電鏈路在線三種采集方式，通過這三種采集方式可以將用戶各個采集節(jié)點的流量采集下來，有效的減少監(jiān)控盲點。
（1）旁路鏡像采集
旁路采集是指通過鏡像數(shù)據(jù)采集設(shè)備作為前端采集設(shè)備，截取交換機端口鏡像數(shù)據(jù)，再由流量可視化智能管控設(shè)備對采集的數(shù)據(jù)進行統(tǒng)一分發(fā)；基于旁路的采集方式不會對網(wǎng)絡(luò)造成任何影響。
（2）光鏈路在線采集
光鏈路在線采集是指通過無源分光設(shè)備作為前端采集設(shè)備，串聯(lián)部署在網(wǎng)絡(luò)設(shè)備之間，透明采集其通信數(shù)據(jù)，再由流量可視化智能管控設(shè)備對采集的數(shù)據(jù)進行統(tǒng)一分發(fā)；基于無源分光的采集方式，一旦成功割接后，其穩(wěn)定性非常高。
（3）電鏈路在線采集
電鏈路在線采集是指通過在線TAP設(shè)備作為前端采集設(shè)備，串聯(lián)部署在網(wǎng)絡(luò)設(shè)備之間，透明采集其通信數(shù)據(jù)，再由流量可視化智能管控平臺對采集的數(shù)據(jù)進行統(tǒng)一分發(fā)；基于Bypass保護機制的設(shè)備，在其意外掉電情況下，由繼電器陣列進行切換，快速實現(xiàn)網(wǎng)絡(luò)設(shè)備物理直通，持續(xù)保障網(wǎng)絡(luò)暢通。
四、流量可視化智能管控平臺-預(yù)處理功能介紹：
成都數(shù)維通信公司生產(chǎn)的數(shù)據(jù)可視化采集設(shè)備，支持對采集到的流量進行各種預(yù)處理，有效解決用戶部署安全分析設(shè)備時遇到的各種問題，減輕安全分析設(shè)備處理壓力。
4.1基礎(chǔ)流量處理功能
4.1.1 復(fù)制/匯聚
對原始輸入流量和預(yù)處理后流量按1路信號復(fù)制到N路信號或者N路信號匯聚后復(fù)制到M路信號的10GE線速轉(zhuǎn)發(fā)，完美的解決了網(wǎng)絡(luò)中同時部署兩臺以上的多端口監(jiān)聽旁路設(shè)備的需求。
4.1.2 分流/過濾
對輸入的數(shù)據(jù)流進行精確分類，將不同數(shù)據(jù)業(yè)務(wù)按白名單或黑名單規(guī)則，丟棄或轉(zhuǎn)發(fā)至多個接口輸出。進一步滿足各類網(wǎng)絡(luò)安全設(shè)備、協(xié)議分析、信令分析、等流量監(jiān)控部署需求。
4.1.3負載均衡
依據(jù)L2-L7層特征進行Hash算法和基于會話的權(quán)重分算法的負載均衡，以保證旁路監(jiān)聽設(shè)備接收到數(shù)據(jù)流的會話完整性，且分流端口組成員在鏈路狀態(tài)發(fā)生變化時可靈活退出（鏈路DOWN）或加入（鏈路UP），分流組自動重新分配流量，保證端口輸出流量的動態(tài)負載均衡。
4.1.4UDF匹配
對報文前128字節(jié)任意關(guān)鍵字段的匹配，用戶可以自定義偏移值和關(guān)鍵字段長度、內(nèi)容，根據(jù)用戶配置決定流量輸出策略。
4.1.5vlan標記/替換/刪除
將原始數(shù)據(jù)包打上vlan 標記，用于標識數(shù)據(jù)包的來源，同時支持替換及對vlan 標簽的刪除。
4.1.6MAC地址替換
替換原始數(shù)據(jù)包中的目的MAC地址，可根據(jù)用戶配置決定實施流量輸出策略。
4.2智能流量處理功能
4.2.1時間戳標記
同步NTP服務(wù)器將時間校準后，以相對時間的標簽形式寫入報文中（在幀末尾打上時間戳標記），時間的精度為納秒級。
4.2.2標簽剝離
對原始數(shù)據(jù)包中的VxLAN、VLAN、MPLS包頭進行剝離后輸出。
4.2.3數(shù)據(jù)去重
基于端口或策略級的統(tǒng)計粒度對多個采集源數(shù)據(jù)進行對比，在規(guī)定時間內(nèi)對采集到的相同數(shù)據(jù)包去重復(fù)；用戶可選擇不同的報文標識（dst.ip 、src.port、dst.port、tcp.seq、tcp.ack）進行比對后實現(xiàn)去重復(fù)。
4.2.4數(shù)據(jù)切片
對原始數(shù)據(jù)進行基于策略級的切片（64-1518字節(jié)可選），可根據(jù)用戶配置決定實施流量輸出策略。
4.2.5數(shù)據(jù)脫敏
基于策略級的粒度對原始數(shù)據(jù)內(nèi)的任意關(guān)鍵字段進行替換，以達到屏蔽敏感信息的目的，可根據(jù)用戶配置決定實施流量輸出策略。
4.2.6高層協(xié)議識別
應(yīng)用層協(xié)議識別及過濾分流輸出�，F(xiàn)有特征庫可支持常用的應(yīng)用層協(xié)議識別，如ftp、http、pop、smtp、dns、ntp、BitTorrent、syslog、mysql、mssql等。若有特殊需求，也可進行二次開發(fā)。
五、流量可視化智能管控平臺-診斷與監(jiān)控功能介紹
5.1實時監(jiān)控
對端口級、策略級的數(shù)據(jù)流量進行實時監(jiān)控統(tǒng)計，并以報表、圖形曲線的方式對收/發(fā)速率、收/發(fā)字節(jié)數(shù)、收/發(fā)報文數(shù)、收/發(fā)錯誤數(shù)、最大收/發(fā)速率等關(guān)鍵指標進行展現(xiàn)。同時，也可對多條策略的命中流量實現(xiàn)關(guān)聯(lián)合并統(tǒng)計。
5.2流量告警
對端口級、策略級的數(shù)據(jù)流量監(jiān)控告警。通過設(shè)置各端口、各策略流量溢出告警閥值來對可能出現(xiàn)流量超限的接口或數(shù)據(jù)業(yè)務(wù)流量進行提前預(yù)警，并以圖表、日志報告的方式即時展現(xiàn)。
5.3歷史流量回溯
對端口級、策略級的近N個月的歷史流量統(tǒng)計查詢�？筛鶕�(jù)天、小時、分鐘等粒度對收/發(fā)速率、收/發(fā)字節(jié)數(shù)、收/發(fā)報文數(shù)、收/發(fā)錯誤數(shù)等信息進行查詢選擇。
5.4數(shù)據(jù)捕獲
對端口級、策略級的報文實時捕獲。當(dāng)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)包異常、流量異常波動的時候可在第一時間對可疑鏈路或策略中的原始數(shù)據(jù)包進行抓包并下載到本地，通過Wireshark工具進行分析，幫助用戶快速分析定位故障點。
六、部署方案介紹：
6.1 100G/40G接口流量采集方案
隨著5G通信時代的來臨，用戶業(yè)務(wù)網(wǎng)絡(luò)的擴容，100GE/40GE接口的應(yīng)用必將越來越普遍，而傳統(tǒng)的網(wǎng)絡(luò)安全分析和性能分析設(shè)備均是基于10G/1G/100M接口進行網(wǎng)絡(luò)流量的捕獲，無法適應(yīng)100GE/40GE接口數(shù)據(jù)采集的需求，成都數(shù)維針對該場景，推出了100GE/40GE系列高密度網(wǎng)絡(luò)NetTAP流量可視化智能管控設(shè)備， 如上圖所示，NetTAP設(shè)備對采集到的N路100GE 鏈路的流量首先執(zhí)行流量匯聚及基于特定規(guī)則的報文/流過濾流量標識，并根據(jù)不同的后臺應(yīng)用需求，通過多個 10GE 接口分配相應(yīng)流量輸出至各后臺系統(tǒng)進行分析。同時，流量可視化智能管控設(shè)備支持對多臺分析設(shè)備組成的監(jiān)控分析云系統(tǒng)的各個節(jié)點進行動態(tài)監(jiān)控健康檢查，基于健康檢查的結(jié)果對其進行智能分配流量，在分析節(jié)點狀態(tài)正常時，為其正常分配一定比例的流量，節(jié)點狀態(tài)異常時，減輕或停止為其分配分析流量。通過流量可視化智能管控設(shè)備與后臺分析云節(jié)點之間的互動共同構(gòu)建一套高可靠性的監(jiān)控分析云系。
6.2 級聯(lián)部署流量采集方案
5G通信時代，隨著用戶網(wǎng)絡(luò)的擴容，網(wǎng)絡(luò)架構(gòu)更加復(fù)雜、監(jiān)控節(jié)點更加廣泛，在執(zhí)行多級安全防護時，需要部署大量的安全監(jiān)控設(shè)備在各網(wǎng)絡(luò)處進行安全監(jiān)控，但大量的安全監(jiān)控設(shè)備分散部署，容易形成信息孤島，導(dǎo)致信息分散，重復(fù)數(shù)據(jù)監(jiān)控也無法避免，不僅降低了流量監(jiān)控工具的利用率，同時造成了管理和維護的困難。
采用多臺NetTAP流量可視化智能管控設(shè)備級聯(lián)作為解決方案，一般通過不同類型的流量可視化智能管控設(shè)備進行智能組網(wǎng)，使用旁路和在線采集方式捕獲各網(wǎng)段的數(shù)據(jù)流量，對不同節(jié)點的采集流量先進行入站標識，梳理分散流量；在出站時，可基于L2-L7層信息對關(guān)鍵流量進行提取、分類和優(yōu)先等級的分配，配合各類安全監(jiān)控設(shè)備對流量不同要求作出優(yōu)化，大幅降低出站流量，并智能地分配流量負載。最終通過流量智能采集統(tǒng)一分發(fā)平臺對數(shù)據(jù)流量進行整合、分類、可視化管控，可有效解決的大型網(wǎng)絡(luò)安全監(jiān)控中存在節(jié)點分散、管理維護困難、監(jiān)控流量過大等難題。
七、結(jié)語
在5G網(wǎng)絡(luò)時代，伴隨著海量網(wǎng)絡(luò)數(shù)據(jù)的接入，原有安全監(jiān)控項目中的傳統(tǒng)采集技術(shù)已經(jīng)不適應(yīng)迅速增大的數(shù)據(jù)量級，不同種類安全監(jiān)控設(shè)備的部署也面臨諸多挑戰(zhàn)。因此，應(yīng)以可視、可控、可調(diào)、可管為目的，在構(gòu)建海量數(shù)據(jù)信息安全等級保護技術(shù)框架時，使用可視化流量可視化智能管控平臺對流量進行預(yù)處理和精細化管控等方式無疑最佳選擇。 
