云杉網(wǎng)絡(luò)DeepFlow容器網(wǎng)絡(luò)監(jiān)控診斷方案 解鎖業(yè)務(wù)上云新挑戰(zhàn)

企業(yè)在上云過(guò)程中新的技術(shù)不斷引入，中國(guó)信息通信研究院的調(diào)查報(bào)告顯示，2019年43.9%的被訪(fǎng)企業(yè)已經(jīng)使用容器技術(shù)部署業(yè)務(wù)應(yīng)用，計(jì)劃使用容器技術(shù)部署業(yè)務(wù)應(yīng)用的企業(yè)占比為40.8%;28.9%的企業(yè)已經(jīng)使用微服務(wù)架構(gòu)進(jìn)行應(yīng)用系統(tǒng)開(kāi)發(fā)，另外有46.8%的企業(yè)計(jì)劃使用微服務(wù)架構(gòu)。繼SDN之后容器、微服務(wù)、DevOps等為代表的云原生技術(shù)，大大提高了企業(yè)上云的敏捷性、彈性和云間的可移植性，使其基礎(chǔ)設(shè)施不斷云化的同時(shí)不可避免地遇到虛擬網(wǎng)絡(luò)的黑盒難題。容器網(wǎng)絡(luò)固有的波動(dòng)特性成為監(jiān)控診斷的最大挑戰(zhàn)，CNCF的報(bào)告指出，容器的網(wǎng)絡(luò)和安全已成為容器云平臺(tái)建設(shè)最主要的挑戰(zhàn)，當(dāng)企業(yè)將重要的核心應(yīng)用遷移至容器平臺(tái)，企業(yè)必須獲取全網(wǎng)的流量數(shù)據(jù)并在此基礎(chǔ)上繪制網(wǎng)絡(luò)知識(shí)圖譜以實(shí)現(xiàn)對(duì)全網(wǎng)狀態(tài)的可視化。

為了解決隔離性和跨節(jié)點(diǎn)的容器通信，Overlay Network成為眾多企業(yè)建設(shè)容器網(wǎng)絡(luò)方案的首選。新型容器網(wǎng)絡(luò)分為兩大類(lèi)——隧道方案和路由方案。目前常見(jiàn)的容器網(wǎng)絡(luò)方案通常基于CNI實(shí)現(xiàn)，包括Flannel、Calico、Weave Net、Contiv、NSX-T Container Plugin (NCP)、OpenShift-SDN等，其中Flannel-VXLAN、Calico-IPIP、Weave Net、Contiv-VXLAN、NCP、OpenShift-SDN都是基于Overlay隧道實(shí)現(xiàn)，而Flannel-HostGW、Calico-BGP、Contiv-BGP都是基于路由方式實(shí)現(xiàn)。此外，還有完全依賴(lài)Underlay實(shí)現(xiàn)的網(wǎng)絡(luò)方案，如SR-IOV、MACVLAN、IPVLAN等。隧道方案對(duì)底層的網(wǎng)絡(luò)沒(méi)有過(guò)高的要求，但隨著節(jié)點(diǎn)規(guī)模的增長(zhǎng)復(fù)雜度會(huì)提升，對(duì)網(wǎng)絡(luò)問(wèn)題的排查將變得更為困難。

企業(yè)上云之后，其業(yè)務(wù)的應(yīng)用架構(gòu)逐漸走向微服務(wù)化/容器化，業(yè)務(wù)和網(wǎng)絡(luò)結(jié)合的越來(lái)越緊密。容器云平臺(tái)比以往任何的基礎(chǔ)架構(gòu)平臺(tái)更加的接近業(yè)務(wù)，同時(shí)也包含了更多的層級(jí)和組件，因此也帶來(lái)了更多的風(fēng)險(xiǎn);在容器云平臺(tái)內(nèi)部，默認(rèn)的網(wǎng)絡(luò)模型在東西向訪(fǎng)問(wèn)隔離方面缺少必要的安全保障。在微服務(wù)架構(gòu)中，服務(wù)間的網(wǎng)絡(luò)監(jiān)控是業(yè)務(wù)保障中重要部分;在容器網(wǎng)絡(luò)中，POD間的網(wǎng)絡(luò)流量迫切需要工具手段進(jìn)行監(jiān)控保障。獲取完整的網(wǎng)絡(luò)流量尤其是虛擬網(wǎng)絡(luò)和容器網(wǎng)絡(luò)的流量是解決虛擬網(wǎng)絡(luò)黑盒問(wèn)題、保障業(yè)務(wù)上云的連續(xù)性和安全性的重要前提。企業(yè)需要構(gòu)建統(tǒng)一的云監(jiān)控平臺(tái)，使其具備全網(wǎng)流量采集和全面可視化能力，實(shí)現(xiàn)業(yè)務(wù)上云后的可視、可管、可控以及快速排障。

對(duì)于建設(shè)全網(wǎng)流量監(jiān)控與可視化方案的介紹請(qǐng)參照云杉網(wǎng)絡(luò)混合云網(wǎng)絡(luò)監(jiān)控診斷方案的論述。下文將針對(duì)容器網(wǎng)絡(luò)的流量監(jiān)控與可視化進(jìn)行展開(kāi)。在建設(shè)容器網(wǎng)絡(luò)流量監(jiān)控與可視化實(shí)踐中需注意以下原則：

a)功能一體化：在覆蓋容器資源池的同時(shí)要能兼容KVM、VMware、公有云、裸金屬等異構(gòu)資源池的虛擬網(wǎng)絡(luò)，同時(shí)兼具多租戶(hù)服務(wù)能力，避免重復(fù)建設(shè)和復(fù)雜管理。此外，方案須具備容器業(yè)務(wù)的梳理和畫(huà)像能力，為流量可視化奠定基礎(chǔ)。

b)架構(gòu)云原生：監(jiān)控平臺(tái)自身必須是云原生架構(gòu)，充分考慮和滿(mǎn)足企業(yè)上云的彈性需求，在適配不同容器環(huán)境的同時(shí)確保對(duì)主流私有云、公有云等混合云環(huán)境的統(tǒng)一監(jiān)控。當(dāng)企業(yè)對(duì)容器業(yè)務(wù)進(jìn)行跨資源池彈性部署時(shí)，方案應(yīng)具備自動(dòng)跟隨能力。

c)部署少侵?jǐn)_：整個(gè)方案的部署應(yīng)盡可能地避免對(duì)現(xiàn)有生產(chǎn)環(huán)境產(chǎn)生影響，對(duì)不同的容器環(huán)境須采用與之匹配的技術(shù)方案，在進(jìn)行容器流量采集部署時(shí)滿(mǎn)足平滑部署且保證業(yè)務(wù)不間斷，確保對(duì)計(jì)算資源的消耗安全可控。

d)數(shù)據(jù)標(biāo)準(zhǔn)化：企業(yè)IT環(huán)境往往是復(fù)雜和異構(gòu)的現(xiàn)狀，其監(jiān)控系統(tǒng)中的工具和數(shù)據(jù)也多種多樣。容器網(wǎng)絡(luò)的流量數(shù)據(jù)不可避免地要被多類(lèi)終端或平臺(tái)消費(fèi)，因此監(jiān)控?cái)?shù)據(jù)須遵循開(kāi)放標(biāo)準(zhǔn)，確保企業(yè)現(xiàn)有的分析工具可以無(wú)縫使用。

虛擬化在資源使用率、靈活性和彈性方面不如容器，容器在微服務(wù)、DevOps、分布式等方面天生具備優(yōu)勢(shì)，因此成為數(shù)據(jù)中心新一代云基礎(chǔ)架構(gòu)的選擇。Kubernetes憑借著其優(yōu)良的架構(gòu)，靈活的擴(kuò)展能力，豐富的應(yīng)用編排模型，成為了容器編排領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，也是企業(yè)進(jìn)行容器云平臺(tái)建設(shè)的首選。

容器環(huán)境中的常見(jiàn)故障一般有三類(lèi)。應(yīng)用類(lèi)故障通常表現(xiàn)為應(yīng)用的執(zhí)行狀態(tài)和預(yù)期不符;容器故障通常表現(xiàn)為無(wú)法正確的創(chuàng)建、停止或更新容器;集群故障通常表現(xiàn)為不滿(mǎn)足一致性或無(wú)法連接。企業(yè)在容器環(huán)境部署及管理方案中，對(duì)于系統(tǒng)監(jiān)控報(bào)警功能會(huì)更多地關(guān)注Prometheus，并結(jié)合Grafana、Zabbix等開(kāi)源工具以解決容器網(wǎng)絡(luò)監(jiān)控保障的難題，但所能獲取的指標(biāo)數(shù)據(jù)和展示維度相對(duì)有限，尤其是當(dāng)容器資源池規(guī)模繼續(xù)擴(kuò)容后，上述工具的擴(kuò)展性和部署問(wèn)題將難以滿(mǎn)足深入的分析需求。以容器Host模式為例，通常每個(gè)節(jié)點(diǎn)運(yùn)行100~200個(gè)Pod，獲取每個(gè)Pod的網(wǎng)絡(luò)流量并結(jié)合全網(wǎng)流量數(shù)據(jù)，實(shí)現(xiàn)秒粒度的查詢(xún)分析并不是一件容易的事。

云杉網(wǎng)絡(luò)多年以來(lái)專(zhuān)注云數(shù)據(jù)中心網(wǎng)絡(luò)的監(jiān)、管、控方案及SDN軟件產(chǎn)品的研發(fā)。主打產(chǎn)品DeepFlow®基于高效的混合云流量全網(wǎng)采集和時(shí)序數(shù)據(jù)存儲(chǔ)檢索技術(shù)，為客戶(hù)提供混合云全網(wǎng)流量采集與分發(fā)解決方案和混合云網(wǎng)絡(luò)性能監(jiān)控診斷解決方案。在容器網(wǎng)絡(luò)環(huán)境中，應(yīng)用的水平擴(kuò)展、網(wǎng)絡(luò)的可達(dá)性、配置管理、服務(wù)依賴(lài)、集群一致性等方面都存在技術(shù)難題，DeepFlow®平臺(tái)通過(guò)對(duì)容器平臺(tái)(如Kubernetes)進(jìn)行對(duì)接，主動(dòng)學(xué)習(xí)容器環(huán)境中的相關(guān)信息，包括集群(Cluster)、節(jié)點(diǎn)(Node)、Pod、服務(wù)(Service)、Ingress等;采集器根據(jù)容器環(huán)境共有容器OnVM采集器、容器OnHost采集器兩種規(guī)格，滿(mǎn)足不同容器資源池內(nèi)的流量采集和過(guò)濾。在“業(yè)務(wù)畫(huà)像”功能中創(chuàng)建業(yè)務(wù)，并加入相關(guān)的資源組、歸類(lèi)IP、功能服務(wù)、鏈路，描述業(yè)務(wù)應(yīng)用的網(wǎng)絡(luò)訪(fǎng)問(wèn)路徑。采集器將資源池內(nèi)的流量按業(yè)務(wù)畫(huà)像梳理出來(lái)的規(guī)則過(guò)濾，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用端到端訪(fǎng)問(wèn)的網(wǎng)絡(luò)監(jiān)控與診斷。

針對(duì)容器中的重點(diǎn)業(yè)務(wù)應(yīng)用，需要將其納入監(jiān)控系統(tǒng)視圖進(jìn)行持續(xù)關(guān)注;在網(wǎng)絡(luò)圖譜中，從區(qū)域、節(jié)點(diǎn)、Pod、IP等多個(gè)維度查詢(xún)展示容器業(yè)務(wù);在整條業(yè)務(wù)路徑中，分段排查網(wǎng)絡(luò)狀態(tài)，快速縮小問(wèn)題范圍，定位異常原因;回溯定位網(wǎng)絡(luò)流、數(shù)據(jù)包進(jìn)行分析取證。

DeepFlow®平臺(tái)從以下角度對(duì)容器網(wǎng)絡(luò)監(jiān)控進(jìn)行了創(chuàng)新：

首先，針對(duì)異構(gòu)資源池，構(gòu)建了統(tǒng)一的采集抽象層。DeepFlow®支持主流容器廠(chǎng)商產(chǎn)品、Kubernetes、KVM、ESXi、公有云Workload、專(zhuān)屬服務(wù)器等環(huán)境，滿(mǎn)足企業(yè)一體化監(jiān)控平臺(tái)建設(shè)目標(biāo)。

其次，DeepFlow®采用開(kāi)放架構(gòu)設(shè)計(jì)，具備良好的可擴(kuò)展性和兼容性;一套平臺(tái)可解決云上網(wǎng)絡(luò)性能監(jiān)控、基礎(chǔ)設(shè)施監(jiān)控、應(yīng)用性能監(jiān)控需求。有利于企業(yè)監(jiān)控體系數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)現(xiàn)。

第三，DeepFlow®自主設(shè)計(jì)的可視化資源知識(shí)圖譜，能從十幾個(gè)維度動(dòng)態(tài)關(guān)聯(lián)監(jiān)控?cái)?shù)據(jù)的屬性，全景展現(xiàn)容器網(wǎng)絡(luò)的運(yùn)行狀態(tài)。例如容器節(jié)點(diǎn)、命名空間、服務(wù)、Deployment、ReplicaSet、POD、區(qū)域、可用區(qū)、VPC、子網(wǎng)、IP等維度。

云杉網(wǎng)絡(luò)作為國(guó)內(nèi)最早的SDN創(chuàng)新企業(yè)，在業(yè)界率先實(shí)現(xiàn)了對(duì)容器網(wǎng)絡(luò)的監(jiān)控解決方案，并與領(lǐng)先的容器解決方案供應(yīng)商和業(yè)務(wù)應(yīng)用分析廠(chǎng)商達(dá)成合作，先后推出了企業(yè)上云聯(lián)合解決方案，滿(mǎn)足市場(chǎng)和客戶(hù)的需求。第四，DeepFlow®基于云原生方式純軟件部署，監(jiān)控能力真正做到了隨云而動(dòng)并最大限度降低了對(duì)生產(chǎn)環(huán)境的侵入性，自動(dòng)跟隨機(jī)制確保了能完整監(jiān)控容器資源彈性部署時(shí)的情況。