一、 概述

基于傳統(tǒng)的SNMP網(wǎng)絡監(jiān)控系統(tǒng)專為傳統(tǒng)實現(xiàn)而設計，當今高密度平臺的擴展性較差，而且可擴展性非常有限，而SNMP是基于查詢的模式，網(wǎng)管系統(tǒng)通過定期發(fā)送snmp 查詢消息，獲取網(wǎng)絡設備的接口統(tǒng)計、CPU使用率、內(nèi)線占用率等等；由于是定時查詢，一般情況下我們都是配置5分鐘，即300秒；而在網(wǎng)絡中會存在某一個時刻就會有突發(fā)數(shù)據(jù)，可是這突發(fā)流量仍然會造成網(wǎng)絡接口丟包。但在基于SNMP查詢時經(jīng)常又感知不到突發(fā)的存在，所有從SNMP獲取的數(shù)據(jù)看來流量是非常穩(wěn)定的，但是客戶抱怨網(wǎng)絡很差。

綜上所述，SNMP在現(xiàn)如今的網(wǎng)絡環(huán)境下，的確遇到了瓶頸。尤其是網(wǎng)絡規(guī)模日益擴大的今天，怎么辦？ 我們能不能換個角度，把傳統(tǒng)的從監(jiān)控系統(tǒng)到網(wǎng)絡設備”拉“數(shù)據(jù)的方法，變?yōu)榫W(wǎng)絡設備主動向監(jiān)控系統(tǒng)”推“數(shù)據(jù)的方法？

二、 Streaming Telemetry技術

流式遙測是(StreamTelemetry)一種用于網(wǎng)絡監(jiān)控的新方法，它就是實現(xiàn)了上述“推”數(shù)據(jù)的方法,網(wǎng)絡管理員可以通過訂閱的方式將特定數(shù)據(jù)項（標準化）從網(wǎng)絡設備發(fā)往數(shù)據(jù)收集器.

事實上Stream Telemetry并不是新發(fā)明，sFlow和NetFlow等早已實現(xiàn)了網(wǎng)絡流量的采樣和推送，下面介紹目前三種主流的流式遙測技術。

1.sFlow

行業(yè)標準sFlow是SNMP的流式遙測替代方案，在過去近20年中已經(jīng)被供應商迅速采用。

sFlow是嵌入在交換機和路由器中的采樣技術，數(shù)據(jù)包采樣是基于硬件的，由交換ASIC執(zhí)行，實現(xiàn)線速性能，它使sFlow成為一種可擴展的技術，能夠以高達10 GBps的速度監(jiān)控鏈路，。完整的一套sFlow系統(tǒng)由sflow Sample、sFlow Agent和sFlow Collector組成。

sFlow Agent是一個軟件進程，作為設備中網(wǎng)絡管理軟件的一部分運行（參見圖2）。 它將端口上的計數(shù)統(tǒng)計和采樣得到的數(shù)據(jù)封裝為sFlow數(shù)據(jù)報通過網(wǎng)絡發(fā)送到sFlow收集器。 報文的采樣通常由交換/路由ASIC執(zhí)行，它能提供以線速的方式提供采樣，以此同時它還可以記錄相關聯(lián)的轉發(fā)/路由表條目的狀態(tài)。 sFlow Agent執(zhí)行的處理非常少。 它只是將數(shù)據(jù)打包到sFlow數(shù)據(jù)報中，這些數(shù)據(jù)報立即在網(wǎng)絡上發(fā)送。 立即轉發(fā)數(shù)據(jù)可最大限度地減少與sFlow Agent相關的內(nèi)存和CPU要求。

圖3顯示了sFlow系統(tǒng)的基本元素。整個網(wǎng)絡中的sFlow代理不斷向中央sFlow收集器發(fā)送sFlow數(shù)據(jù)報流，在中央sFlow收集器中對它們進行分析，以生成豐富，實時，網(wǎng)絡范圍的流量視圖。高速，路由和交換網(wǎng)絡的sFlow監(jiān)控具有以下特性：

（1）準確 因為采樣非常簡單，可以在硬件中執(zhí)行，所以它以線速運行。此外，sFlow系統(tǒng)的設計使得可以確定任何測量的精度。其他交通流量測量技術在重負載下發(fā)生折疊，導致難以量化的錯誤。

（2）詳細的完整數(shù)據(jù)包標頭和交換/路由信息允許詳細分析L2-L7流量。  

（3）可擴展 sFlow系統(tǒng)可以在其可監(jiān)控的網(wǎng)絡的大小和速度上進行擴展。 sFlow能夠監(jiān)控10Gbps，100Gbps及更高速率的網(wǎng)絡。單個sFlow Collector可以監(jiān)控數(shù)千個設備。

（4）低成本 sFlow Agent實現(xiàn)起來非常簡單，并且可以為交換機或路由器增加可忽略的成本。

（5）及時 sFlow Collector始終在整個網(wǎng)絡中擁有最新的流量視圖。如果需要交通數(shù)據(jù)來提供實時控制，及時的信息尤為重要。例如，管理服務質量或抵御拒絕服務攻擊。

目前基于sFlow已成為行業(yè)的基本標準，其由RFC3176制訂規(guī)范，目前所有主流交換機廠商的設備基本上都支持sflow，由于sFlow是行業(yè)標準，故sFlow Collector和sFlow Analyzers可由專門的廠商提供；目前盛科的芯片已實現(xiàn)sFlow采樣技術，芯片可基于Port/Vlan/Flow將報文采樣送到CPU的sFlow Agent處理，然后組裝報文送到sFlow Collector。

2.NetFlow/NetStream/IpFix等

前述的sFlow是一種純數(shù)據(jù)包采樣技術，即每一個被采樣的X包的長度被記錄下來，而大部分的包則被丟棄，只留下樣本被傳送給采集器，所以它不可能獲得每臺主機流量100%的準確值；而NetFlow（或NetStream、IpFix（NetFlow v9））不同，它用來跟蹤每個開啟NetFlow功能接口上的所有進入會話的技術。比如它根據(jù)7個關鍵標準分析數(shù)據(jù)包，如果兩個包在所有7個判斷標準上都匹配的話，就把它們歸類為相同的流量或會話。一旦會話結束或被匯總，就被傳送給采集器，所以如果NetFlow配置恰當并且硬件沒有過載的話，這種技術可以以接近100%的準確性來描述誰經(jīng)過設備進行通信。   

由于NetFlow產(chǎn)生的數(shù)據(jù)包數(shù)量會非常巨大，由于需要100%的會話流量進行處理同一會話做比較，記錄和緩存，所以在采集器的負擔非常的重，采集器可能會變得不堪重負，早期，無論NetFlow還是NetStream是一種軟件技術，報文的采樣、緩存和數(shù)據(jù)導出等都是在CPU中完成的，故只有在路由器設備才能看到有相應的應用。

近年來，由于交換技術的發(fā)展，特別是對網(wǎng)絡監(jiān)控越來越重視，交換芯片內(nèi)部開始集成NetFlow的采集器，以盛科芯片為例，盛科的IpFix技術在交換機內(nèi)部硬件完成Ipfix會話的學習、會話記錄、會話更新、觸發(fā)導出等功能，最大限度的降低CPU的負擔。

3.openConfig

OpenConfig是近年來由Google提出（谷歌推動的Stratum項目），希望提供一個中立于設備廠商的標準 API等，有別于NetConfig是由網(wǎng)絡設備廠商推動的，內(nèi)耗太大，各個設備廠商都希望在軟件定義網(wǎng)絡的時代繼續(xù)保持硬件設備的重要性，并且能夠體現(xiàn)自己公司產(chǎn)品的差異化優(yōu)勢，所以一經(jīng)推出得到了各互聯(lián)網(wǎng)提供商的積極響應，目前AT&T，British Telecom，F(xiàn)acebook，Apple，Microsoft 等互聯(lián)網(wǎng)服務提供商加入了 OpenConfig 工作組，目前國內(nèi)的騰訊、百度和阿里等互聯(lián)網(wǎng)服務提供商也已經(jīng)加入了 OpenConfig 工作組，網(wǎng)絡設備商Cisco、Juniper也在其設備中增加對OpenConfig的支持。

       OpenConfig也不是一個全新的技術，它 沿用了 Netconf 的協(xié)議框架，但是它不太關注底層的數(shù)據(jù)傳輸，而是更關注上層的數(shù)據(jù)表達和數(shù)據(jù)建模。這意味著：不管是 A 廠還是 B 廠，所有的數(shù)據(jù)都必須符合 OpenConfig YANG Model，并且 Key-Value 都必須是 OpenConfig 所規(guī)定的標準格式，基于YANG Model/gRPC的OpenConfig網(wǎng)絡管理系統(tǒng)包括的網(wǎng)絡配置管理和流式遙測(Streaming Telemetry)，流式遙測（Streaming Telemetry）作為是網(wǎng)絡監(jiān)控是其重要的組成部分，Telemetry技術的采樣數(shù)據(jù)源來自轉發(fā)面、控制面和管理面的數(shù)據(jù)源，數(shù)據(jù)按照YANG模型描述的結構進行組織，利用GPB格式編碼，并通過GRPC協(xié)議將數(shù)據(jù)上送至采集器和分析器進行分析處理。

    目前OpenConfig官方定義了大量標準YANG模型，用于統(tǒng)一設備管理，期望一統(tǒng)天下，解決不同設備廠商間兼容的問題。

 而其中定義的Openonfig-telemetry.yang 是描述網(wǎng)絡設備telemetry的參數(shù)信息，包括：

（1）配置采樣傳感器組（sensor-group），包括傳感器路徑（sensor-path）和過濾條件，其sensor-path對應于需要采樣的YANG Model所在的路徑;

（2）配置上送目的組（estination-group）包括配置上送目標采集器的IP地址、端口號、上送目標傳感器的協(xié)議和加密方式;

（3）配置訂閱（subscription）參數(shù)包含配置關聯(lián)采樣任務組、采樣周期，關聯(lián)上送目標，觸發(fā)采樣、冗余抑制以及心跳間隔.

三、流式遙測優(yōu)勢

對比傳統(tǒng)SNMP/CLI，Telemetry 具有以下優(yōu)勢：

1.Telemetry 采用推模式推送數(shù)據(jù)，降低設備壓力

傳統(tǒng)SNMP/CLI“一問一答”拉模式采集數(shù)據(jù)；

Telemetry 采用“一次網(wǎng)管訂閱，多次響應“推模式采集數(shù)據(jù)，由于設備以周期性推送的方式向采集器主動推送數(shù)據(jù)，而不是被動的等待采集器定時查詢，避免查詢請求在網(wǎng)絡傳輸中的延遲和大量查詢請求對網(wǎng)絡和設備帶來的壓力，提升監(jiān)控性能

2.實現(xiàn)更實時更精確的監(jiān)控,避免網(wǎng)絡延時導致數(shù)據(jù)不準確;

在設備上線注冊的時候，SNMP模式下，設備就只能等待網(wǎng)管系統(tǒng)的定期輪循掃描；而Telemetry模式下，設備啟動后馬上上報注冊，讓監(jiān)控系統(tǒng)即刻發(fā)現(xiàn)自己，保證監(jiān)控系統(tǒng)的及時性和不間斷性；

在視頻出現(xiàn)卡頓時，傳統(tǒng)模式下可能需要查詢T1時刻CPU信息以滿足行為判斷；但由于網(wǎng)絡卡頓得到是是T1+3時刻的數(shù)據(jù)網(wǎng)絡出現(xiàn)失真；而在Telemetry 由于提前訂閱了CPU信息，網(wǎng)絡延時不影響，數(shù)據(jù)不會出現(xiàn)失真;

雖然傳統(tǒng)的監(jiān)控模式也可以通過SNMP TRAP或SysLog等方式主控上報數(shù)據(jù)，但定時上報的時間一般為分鐘級或秒級；而Telemetry可做到亞秒級或實時；

3.Telemetry可以訂閱大量的監(jiān)控節(jié)點，彌補傳統(tǒng)網(wǎng)絡監(jiān)控方式的不同；

傳統(tǒng)方式需要查詢N臺設備，做N次查詢同時采集M種數(shù)據(jù)，則一臺網(wǎng)管設備需要N*N*M次查詢，并返回N*N*M次結果

而Telemetry 的設備都只需要提前訂閱，各種設備實時上報，無需人工操作；

4.數(shù)據(jù)結構不同，傳統(tǒng)的SNMP采用MIB定義結構；而Telemetry 采用YANG模型定義結構；

四、廠商支持情況

1.Cisco

Cisco Model-driven Telemetry (MDT)技術就是來實現(xiàn)基于YANG Model的Telemetry,目前Cisco支持以下的YANGmodels來配置支持MDT：nopenconfig-telemetry.yang提供OpenConfig的配置；nCisco-IOS-XR-telemetry-model-driven-cfg.yang通過NETCONF配置MDT相關的配置nCisco-IOS-XR-telemetry-model-driven-oper.yang讀取關于MDT的信息.

2.SONIC

由微軟主導的SONIC系統(tǒng)的Telemetry參考OpenConfig的架構定義，數(shù)據(jù)源主要為為兩部分：以CPU子系統(tǒng)相關的監(jiān)控數(shù)據(jù)由SONIC系統(tǒng)軟件采集，消息封裝和消息發(fā)布；以芯片相關的監(jiān)控數(shù)據(jù)由SAI軟件進行數(shù)據(jù)采集、消息封裝和發(fā)布，但就目前進展來看，消息發(fā)布的格式并沒有完全細化，還有待進一步的定義。

3. Stratum項目

由Google主導的Stratum項目完全拋棄了SNMP/CLI管理模式，采用全新的基于YangModel的OpenConfig模型，目前整個項目還處于開發(fā)階段，只有項目組成員可以訪問其代碼。

五、 總結

無論是sFlow、NetFlow、NetStream或者是IPFix都是實現(xiàn)了主動向采集器上送設備數(shù)據(jù)信息，實現(xiàn)了推模式（Push Mode），但他們推送的都是最原始的數(shù)據(jù)采樣信息，數(shù)據(jù)以IP報文格式呈現(xiàn)給分析工具，而非用戶期望的規(guī)范化數(shù)據(jù)模型，所以預計未來不久，基于Yang的OpenConfig的數(shù)據(jù)模型將成為新一代數(shù)據(jù)中心網(wǎng)絡運維管理系統(tǒng)的主流選擇，無論是芯片廠商還是設備廠商，數(shù)據(jù)信息采集后導出的方式采用標準化和規(guī)范化數(shù)據(jù)模型（如YANG Mode）勢在必行。