構(gòu)建網(wǎng)絡(luò)知識圖譜 混合云網(wǎng)絡(luò)監(jiān)控診斷需要這樣的利器

在國內(nèi)，云計算經(jīng)過十多年的發(fā)展，企業(yè)在IT基礎(chǔ)設(shè)施以及云原生的業(yè)務(wù)應(yīng)用上穩(wěn)步推進，上云業(yè)務(wù)規(guī)模大幅增加。但企業(yè)面對復(fù)雜的虛擬網(wǎng)絡(luò)，越來越難以保障業(yè)務(wù)的安全性和監(jiān)管的要求。企業(yè)監(jiān)控診斷的工具手段亟需提升，以滿足IT基礎(chǔ)設(shè)施逐漸向混合云架構(gòu)演變的過程中不斷涌現(xiàn)的業(yè)務(wù)需求。

企業(yè)上云的網(wǎng)絡(luò)挑戰(zhàn)

企業(yè)上云過程中，基礎(chǔ)設(shè)施在不斷云化，隨著容器技術(shù)的快速發(fā)展，上云后的應(yīng)用架構(gòu)逐漸微服務(wù)化。云服務(wù)高頻動態(tài)變化的特性滿足了業(yè)務(wù)快速變化的需求，但更多的業(yè)務(wù)上云使得東西向網(wǎng)絡(luò)流量激增，基礎(chǔ)設(shè)施的云化進一步模糊了網(wǎng)絡(luò)的邊界，種種因素疊加在一起使得上云后業(yè)務(wù)的安全和運維難度陡增。

網(wǎng)絡(luò)的監(jiān)控診斷伴著網(wǎng)絡(luò)的發(fā)展始終存在，網(wǎng)絡(luò)的邊界隨著基礎(chǔ)設(shè)施的云化尤其是網(wǎng)絡(luò)虛擬化層次的延伸而不斷擴大。相應(yīng)地，網(wǎng)絡(luò)監(jiān)控診斷的觸手也需要隨之增加。但在混合云環(huán)境中，網(wǎng)絡(luò)監(jiān)控診斷遇到了新的挑戰(zhàn)。企業(yè)現(xiàn)有的監(jiān)控診斷方案無法覆蓋日益增加的東西向流量，由此形成的網(wǎng)絡(luò)“黑盒”已成為企業(yè)上云的一大障礙。

混合云網(wǎng)絡(luò)的八卦圖

古人用八卦圖表示一切自然現(xiàn)象的動靜狀態(tài)，從事生產(chǎn)活動時參考卦象以趨利避害。與網(wǎng)絡(luò)而言，最重要的表象無非是網(wǎng)元的配置信息和運行狀態(tài)。要解決混合云網(wǎng)絡(luò)的監(jiān)控診斷難題，需要對網(wǎng)元的配置信息和運行狀態(tài)進行望聞問切。一幅刻畫云網(wǎng)絡(luò)的“八卦圖”呼之欲出。

網(wǎng)絡(luò)的點、線、面

在網(wǎng)絡(luò)監(jiān)控診斷的場景下，如果我們將具體數(shù)據(jù)包看做是“點”，完整的業(yè)務(wù)訪問路徑(一條流)則是由多個“點”連成的“線”。流信息包含了關(guān)鍵的網(wǎng)絡(luò)元數(shù)據(jù)，但在多地數(shù)據(jù)中心、資源池化，并且涉及公有云資源、專線鏈路的IT環(huán)境中，市場上的方案缺少全局的網(wǎng)絡(luò)狀態(tài)視角，即一張關(guān)聯(lián)IaaS資源、PaaS資源、服務(wù)應(yīng)用的知識圖譜——混合云網(wǎng)絡(luò)的全景圖。

云杉網(wǎng)絡(luò)的DeepFlow提供了針對云網(wǎng)絡(luò)的點、線、面操作邏輯，為混合云的監(jiān)控診斷提供了全面的信息保障。知識圖譜(網(wǎng)絡(luò)全景圖)包含網(wǎng)絡(luò)所涉及的對象實體映射關(guān)系，顯示結(jié)構(gòu)拓?fù)渑c現(xiàn)網(wǎng)流量的一系列不同視角的視圖展示，應(yīng)用可視化技術(shù)和搜索技術(shù)描述資源實體全面、豐富的運行信息，為云中業(yè)務(wù)的監(jiān)控診斷提供按圖索驥的指導(dǎo)。

云網(wǎng)絡(luò)八卦圖的繪制

要繪制一幅混合云網(wǎng)絡(luò)的全(八)景(卦)圖，首先要獲取的是生產(chǎn)網(wǎng)絡(luò)的拓?fù)洌浯问侨W(wǎng)的流量信息，最后是根據(jù)流量與網(wǎng)元的映射關(guān)系，梳理出與業(yè)務(wù)有關(guān)的知識圖譜并識別出異?；驉阂獾牧髁?，為企業(yè)上云后的監(jiān)控診斷提供可靠的依據(jù)。

云杉網(wǎng)絡(luò)DeepFlow監(jiān)控診斷方案由DeepFlow的采集器、控制器以及數(shù)據(jù)節(jié)點組成，滿足KVM、ESXi、容器、公有云等各類資源池的網(wǎng)絡(luò)監(jiān)控診斷需求;并支持IPv4、IPv6協(xié)議環(huán)境。獲取混合云環(huán)境的網(wǎng)絡(luò)流、數(shù)據(jù)包并非易事，需要兼顧性能和侵入性，方案的設(shè)計要充分考慮企業(yè)已有的生產(chǎn)環(huán)境。

DeepFlow控制器首先通過與生產(chǎn)環(huán)境尤其是云平臺的對接，自動學(xué)習(xí)云中的資源和網(wǎng)絡(luò)拓?fù)湫畔?。通過對接關(guān)鍵物理設(shè)備，DeepFlow完成全(八)景(卦)圖繪制的第一步。

考慮到網(wǎng)絡(luò)監(jiān)控框架的可擴展性，流量采集與后端監(jiān)控診斷工具必須解耦，在采集側(cè)，各類型號的DeepFlow采集器為全網(wǎng)流量采集方案提供基礎(chǔ)信息的捕獲能力，支持物理網(wǎng)絡(luò)、KVM、ESXi、容器、公有云等資源池網(wǎng)絡(luò)環(huán)境。對于多數(shù)據(jù)中心、多云異構(gòu)的混合云基礎(chǔ)設(shè)施，DeepFlow控制器以集群方式實現(xiàn)對不同平臺下眾多采集器的管理。控制器能秒級啟停海量采集器，采集器通過接收控制器的指令，在本地對流量做預(yù)處理。至此，DeepFlow完成全(八)景(卦)圖繪制的第二步。

控制器作為整個系統(tǒng)的中樞大腦，結(jié)合采集到的流量和已經(jīng)對接的生產(chǎn)環(huán)境網(wǎng)絡(luò)拓?fù)洌柚鷻C器學(xué)習(xí)和大數(shù)據(jù)等技術(shù)，自動對全網(wǎng)流量進行梳理，結(jié)合數(shù)據(jù)類型、監(jiān)控指標(biāo)、資源屬性、展示方式等多個維度，生成全局業(yè)務(wù)真實的網(wǎng)絡(luò)流量知識圖譜，亦即DeepFlow全(八)景(卦)圖繪制的第三步。

云網(wǎng)絡(luò)八卦圖的展示

不同角色的使用者對全景圖的展示各有偏好，全面覆蓋這些需求并提供統(tǒng)一的呈現(xiàn)，是滿足各方對網(wǎng)絡(luò)卦象解讀的重要前提。

企業(yè)通過DeepFlow平臺已經(jīng)掌握了混合云環(huán)境中的網(wǎng)絡(luò)數(shù)據(jù)。核心的監(jiān)控指標(biāo)是用以描述網(wǎng)絡(luò)狀態(tài)、性能的各類指標(biāo)，主要包括吞吐量、時延、異常、傳輸狀態(tài)等;展示方式根據(jù)使用場景主要有分布、關(guān)聯(lián)、對比及回溯等。網(wǎng)絡(luò)流量數(shù)據(jù)又是典型的時間序列數(shù)據(jù)，同時具備相應(yīng)的網(wǎng)絡(luò)特性。因此DeepFlow提供了分布式的網(wǎng)絡(luò)時序數(shù)據(jù)庫服務(wù)，在滿足快速寫入、數(shù)據(jù)持久化的同時，不斷優(yōu)化多維度的聚合查詢能力。平臺不同角色用戶可以在核心視圖的基礎(chǔ)上，定制自己更關(guān)心的監(jiān)控面板并設(shè)置告警策略。

混合云網(wǎng)絡(luò)監(jiān)控診斷方案的部署

整體方案包括DeepFlow采集器、DeepFlow控制器、DeepFlow數(shù)據(jù)節(jié)點三部分。對于整體規(guī)劃的方案，建議對整體混合云規(guī)劃獨立的網(wǎng)絡(luò)監(jiān)控平面，對于混合云的監(jiān)管流量統(tǒng)一、獨立地進行管理。在完成整體方案規(guī)劃后，可分區(qū)域、分資源池、按階段投入建設(shè)，最終使企業(yè)具備對混合云基礎(chǔ)設(shè)施全網(wǎng)絡(luò)監(jiān)控診斷能力，保障應(yīng)用業(yè)務(wù)穩(wěn)定運行。

由于大部分企業(yè)已經(jīng)具備對傳統(tǒng)物理網(wǎng)絡(luò)的監(jiān)控能力，通常重點選擇KVM、容器資源池網(wǎng)絡(luò)為第一階段建設(shè)，重點解決資源池內(nèi)網(wǎng)絡(luò)東西向流量“黑盒”不可見的問題，實現(xiàn)資源池網(wǎng)絡(luò)可視化，提高運維排障效率，保證網(wǎng)絡(luò)服務(wù)等級協(xié)議。

第二階段納入更多資源池，與新建擴容的資源池同步部署，接入物理網(wǎng)絡(luò)中分光鏡像流量，實現(xiàn)對整體數(shù)據(jù)中心網(wǎng)絡(luò)監(jiān)控。

第三階段面向混合云中的公有云資源，對運行其上的網(wǎng)絡(luò)進行監(jiān)控，部署采集器，具備對Workload或其上容器流量采集能力，完成對混合云IT環(huán)境網(wǎng)絡(luò)整體監(jiān)控管理。

對于已經(jīng)運行的混合云環(huán)境，可以在不影響生產(chǎn)環(huán)境運行的情況下部署實施，網(wǎng)絡(luò)規(guī)劃上將DeepFlow平臺所涉及的管理、監(jiān)控分發(fā)平面復(fù)用在已有的網(wǎng)絡(luò)平面中，通?？梢詮?fù)用已經(jīng)存在的網(wǎng)絡(luò)管理平面。

云網(wǎng)絡(luò)八(全)卦(景)圖總結(jié)

DeepFlow混合云網(wǎng)絡(luò)監(jiān)控診斷解決方案通過有效的網(wǎng)絡(luò)流量采集、數(shù)據(jù)分類存儲以及網(wǎng)絡(luò)點、線、面的緊密結(jié)合，為企業(yè)在混合云、云原生等新型IT基礎(chǔ)設(shè)施環(huán)境演進過程中，補齊網(wǎng)絡(luò)監(jiān)控的空白，避免重復(fù)建設(shè);應(yīng)對云原生特點，緊密結(jié)合業(yè)務(wù)，解決實際網(wǎng)絡(luò)監(jiān)控難題，支撐企業(yè)基礎(chǔ)設(shè)施向網(wǎng)絡(luò)智能化邁進。