Telemetry
3 秒看懂
網路遙測（Network Telemetry）是從交換器、路由器、網絡卡/DPU 等網路裝置中，以推送模式即時、連續、高精度地採集狀態資料並輸送至分析系統的技術範式。它替代傳統 SNMP 拉取，通過流式推送（Streaming Telemetry）實現亞秒級感知，支撐閉環自動化、意圖驅動網路與 AIOps。
3 分鐘產業解釋
傳統網路監控以 SNMP 輪詢為主，每隔 5–15 分鐘拉拉計數器，資料稀疏、對 CPU 有壓力，無法檢測微突發（microburst）或毫秒級抖動。雲端資料中心、運營商骨幹與 AI 叢集要求毫秒/微秒級感知、逐跳路徑追查、動態負載均衡與智慧排障，倒逼行業轉向推送式、模型驅動、高速取樣的遙測。
產業技術棧一般分為四層：
- 資料面：交換器 ASIC 內的 INT（In-band Network Telemetry）/帶內遙測、硬體時間戳、佇列深度暫存器。
- 採集與傳輸層：gRPC/gNMI 協議、NETCONF+YANG Push（IETF RFC 8641）、OpenTelemetry 標準化管道。
- 處理層：流處理引擎（Kafka、Flink）訂閱遙測流，即時關聯事件，做視窗聚合。
- 應用層：容量規劃、異常根因定位、意圖保障閉環。
產業主導者來自雲端巨頭與晶片原廠：Google 貢獻的 gRPC/gNMI + OpenConfig 模型已成事實標準；Intel（Tofino）、Broadcom、Marvell、NVIDIA 在晶片中內嵌高階遙測功能；Cisco、Arista、Juniper 提供全棧遙測平台；電信領域 O-RAN 將遙測作為 RIC 近即時控制的基礎。
技術原理
推送模式與模型驅動
傳統 SNMP 的“管理者主動請求”被反轉為“裝置自主推送”。裝置基於定時、閾值超限或事件變化主動發出遙測資料，極大減少無效傳輸。資料結構也從扁平 OID 升級為樹形 YANG 模型，通過 gNMI.Subscribe 實現 ON_CHANGE（變化即推）或 SAMPLE（週期取樣）模式。
帶內遙測（INT）工作機制
INT 在資料包穿越網路時讓交換晶片逐跳插入後設資料，原理如下（以 P4 定義的典型模式為例）：
資料包結構：[ 原始頭部 | INT頭部 | INT後設資料棧 ]
INT頭部包含指令點陣圖（需採集哪些欄位）。
後設資料棧每跳追加：
- 交換器ID
- 入口/出口埠
- 納秒級出口時間戳
- 佇列深度/排隊時延
- 丟包原因、自定義欄位關鍵細節：
- 插入開銷：INT 頭部約 12–20 位元組，每跳後設資料通常 16–32 位元組，需考慮對 MTU 的影響。
- 硬體觸發：可由每包、每流首包、1/N 取樣率或佇列深度閾值觸發。
- 精度依賴：硬體時間戳精度可達納秒級，依賴晶片內部 PTP 時鐘同步。
後端資料流水線
遙測收集器（如 Cisco MDT、Telegraf、開源 gNMI閘道器）接收 INT 映象包或 gRPC 流，拆解出帶時間標籤的事件序列，注入 Kafka 等訊息中介軟體。Flink/Spark Streaming 執行視窗聚合（例如 1 ms 視窗內佇列深度超過閾值即為微突發），結果寫入時序資料庫（ClickHouse、InfluxDB、Prometheus），最終通過 Grafana 等呈現並觸發告警。
協議棧細節
- gNMI：基於 gRPC+Protobuf，提供
Capabilities, Get, Set, Subscribe四個操作。訂閱支援STREAM、ONCE、POLL。 - NETCONF + YANG Push：IETF 推出的 XML-RPC 路徑，RFC 8641 定義了訂閱推送機制，支援週期性與按變化推送。
- IPFIX/NetFlow v9：側重流量統計匯出，取樣率有限，無法提供逐跳排隊細節。
- OpenTelemetry：定義統一的採集規範，網路遙測可作為 OTel 的訊號源，將指標、日誌、追蹤關聯。
大規模系統的挑戰
- 資料量：中等規模資料中心一臺交換器每秒可產生上萬條遙測記錄，需要高效 Protobuf 序列化與壓縮。
- 後端儲存：海量事件面向時序寫入與快速查詢，常用分散式時序資料庫。
- 晶片差異：不同代際晶片的 INT 深度、監控暫存器數量差異巨大，P4 可程式設計晶片可定製，但商用固定功能晶片功能受限。
關鍵引數
以下引數直接影響遙測系統的表現與成本，具體數值受晶片型號、軟體版本和部署規模約束。
- 單交換器訂閱密度：可並行維持的 gNMI 訂閱數量，主流平台支援數百到數千個（例：部分平台宣稱支援 500 個 ON_CHANGE 訂閱，公開資料未對全部廠商驗證）。
- 最小推送間隔：SAMPLE 模式最短週期通常為 1–5 秒；亞秒級推送需硬體輔助（如 Broadcom Jericho3 可提供毫秒級快照）。
- 單跳可收集的後設資料欄位數：INT 指令點陣圖決定，商用晶片通常支援 6–12 跳堆疊，每跳包含交換器 ID、埠、時間戳、佇列深度等；P4 可程式設計晶片堆疊深度不受此限。
- 端到端處理延遲：從資料產生到分析平台視覺化的滯後，輕載時可控制在百毫秒級，大規模部署中常需 1–5 秒（來源：Cisco Live 2023 演講《MDT in Production》，NANOG 87 使用者案例）。
- 吞吐與擴充套件：單收集器程序 gNMI 流吞吐約數十萬條/秒（公開資料未見普遍基準，取決於 Protobuf 編碼複雜度和壓縮）。
技術路線
| 維度 | 傳統 SNMP 輪詢 | 流式遙測（Streaming Telemetry） | 帶內遙測（INT） |
|---|---|---|---|
| 資料獲取 | 拉取（poll） | 推送（subscribe） | 資料面主動插入 |
| 即時性 | 分鐘級 | 亞秒~秒級 | 微秒~納秒級 |
| 資料模型 | 扁平 OID/MIB | YANG 樹模型，結構化 | 包內自定義後設資料 |
| 網路開銷 | 每裝置輪詢連線 | gRPC/HTTP2 多路複用，增量推送 | 隨包增加開銷 |
| 後設資料深度 | 介面計數器、錯誤數 | Buffer、QoS 佇列、BGP 狀態等 | 逐跳排隊時延、丟包原因、E2E 鏈路追蹤 |
| 標準化程度 | 成熟（MIB-II） | 高（OpenConfig、IETF YANG） | 廠商/社群（P4 INT spec v2.1） |
| 適用場景 | 傳統企業網 | 雲端資料中心、運營商骨幹 | AI 叢集、高頻交易、高效能運算 |
路線演進已從“事後採集”走到“即時推送”再到“資料路徑內聯感知”。未來 DPU/IPU 將把遙測邊界推向主機網路棧和 RDMA 佇列。
上游
上游核心是製造網路晶片、DPU、光模組等硬體的供應商，其技術能力決定遙測的原始資料豐富度。
- 交換晶片：Broadcom（Jericho3、Trident 系列）支援硬體表項匯出、快取監控、映象；Intel Tofino（現歸屬 Intel，2023 年後路線圖不確定性上升，公開資料未見後續新代際明確計劃）；Marvell（Prestera、Falcon）與 Cisco Silicon One 提供 INT 觸發、流表匯出。
- DPU/IPU：NVIDIA BlueField-3 / ConnectX-7 支援 RDMA 佇列遙測、擁塞控制統計；Intel IPU（Mount Evans）可解除安裝網路遙測收集；Marvell Octeon 10 DPU 提供類似能力。
- SmartNIC 與光模組：光模組的診斷介面（DMI/DDM）可上報光功率、溫度、誤位元速率等物理層指標，構成全棧遙測的 L0 層資料來源。
下游
下游為採集、處理、分析及應用平台，消費遙測資料形成運維決策與閉環控制。
- 採集與傳輸：Telegraf、Cisco MDT、Arista TerminAttr、Juniper JTI、開源 gNMI 閘道器（如
gnmi-gateway）、OpenTelemetry Collector 網路外掛。 - 可觀測性與儲存：Prometheus + Thanos / Mimir、Grafana; Datadog 網路觀測模組；ClickHouse、InfluxDB 等時序儲存。
- 網路分析/AIOps：Cisco Crosswork、Arista CloudVision、Juniper Paragon Insight、Kentik、SevOne，以及基於 ML 的異常檢測平台（Augtera、Anodot 等）。
- 閉環控制：應用遙測事件觸發控制器（如 SDN 控制器）通過 gNMI Set 或 P4Runtime 調整 QoS 佇列、路由策略、擁塞控制引數。
受益公司
以下分類基於公開產品組合與市場地位，不構成任何投資建議。
- 晶片廠商：Broadcom（多數交換器 OEM 採用其晶片，遙測特性持續迭代）；NVIDIA（Spectrum-4 + BlueField/ConnectX DPU 強化端到端網路計算）；Intel（雖 Tofino 路線未明，IPU 與乙太網路產品仍整合遙測）。
- 網路裝置商：Cisco（Catalyst/Nexus/ASR + Crosswork 閉環）；Arista（EOS + TerminAttr + CloudVision 軟體驅動）；Juniper（Junos JTI + Mist AI）；華為（NetEngine/CloudEngine 支援 YANG Push 與 iFIT 隨流檢測）；H3C（SeerAnalyzer）。
- 開源/獨立軟體：Grafana Labs（可觀測棧）；Kentik（雲端網路流量遙測）；Aviz Networks（SONiC 生態）；Flowmon/Progress（NetFlow/IPFIX 分析）。
- 雲端廠商自研：Google（B4 SDN、gRPC/OpenConfig 發起方）；Microsoft（Azure Boost DPU、SONiC 遙測）；AWS（自研交換器晶片及內部遙測系統）；Meta（FBOSS + 自有監控）。
市場規模
網路遙測作為網路可觀測性與 AIOps 的子賽道，其獨立市場規模尚缺乏統一口徑。公開資料未給出精確一致的數字，可綜合參考以下間接資料：
- 根據 Gartner《Market Guide for Network Performance Monitoring and Diagnostics》（2023 年 12 月），網路效能監控與診斷工具市場 2023 年預估約 22 億美元，年增長約 10%。該市場涵蓋 SNMP 與流遙測功能，但不完全對應純遙測軟體。
- 根據 IDC《Worldwide ITOA and AIOps Software Forecast, 2023–2027》，全球 IT 運營分析軟體（含網路分析）2022 年市場約 48 億美元，預計 2027 年達 85 億美元，CAGR 約 12%。遙測採集和儲存是該市場的重要組成部分。
- 第三方機構（如 650 Group）在 2023 年釋出的報告中指出，資料中心交換器市場持續增長，其中支援高階遙測的高階裝置佔比提升，推算遙測相關晶片與軟體機會複合年增長率超 20%。
- 綜合多家定性描述，2023 年網路遙測整體市場規模（含硬體、軟體、服務）估算在 十億至數十億美元 區間，且預計今後 5 年保持 >20% 的複合增長率。因各機構劃分邊界不同，具體數字僅供參考，建議查詢最新 IDC、Gartner 或 650 Group 專項報告。
玩家對比
| 廠商 | 代表產品/方案 | 關鍵遙測能力 | 模型與協議 | 主要客戶/生態 |
|---|---|---|---|---|
| Cisco | ASR 9000/NCS、Crosswork、MDT | 模型驅動遙測、閉環自動化，收購 ThousandEyes 增強網際網路路徑可視性 | OpenConfig、IETF YANG、gRPC、NETCONF | 大型企業、運營商 |
| Arista | EOS + TerminAttr、CloudVision | 軟體驅動、開箱即用 Telemetry agent，分析平台自動異常關聯 | OpenConfig、gNMI、Sysdb | 資料中心、雲端提供商、金融 |
| Juniper | Junos JTI、Paragon、Mist AI | 結合 Mist AI/ML 的異常檢測與根因推薦，無線/有線統一 | OpenConfig、IETF YANG、gRPC、JTI 原生 | 運營商、校園網 |
| NVIDIA | Spectrum-4、BlueField-3、ConnectX-7 | 逐包級 INT、DPU 端到端遙測，面向 AI 超算的微秒級感知 | P4 INT、gRPC、帶內遙測擴充套件 | 超大雲端、HPC、AI 叢集 |
| Broadcom | Jericho3/Trident5 晶片（供多 OEM） | 硬體上支援多級 INT、快取監控、流映象 | 晶片 SDK，夥伴實現協議層 | 全產業交換裝置覆蓋 |
| 華為 | NetEngine/CE、iMaster NCE | iFIT 隨流檢測，毫秒級監測，支援端到端路徑重構 | 自研 YANG 模型，相容 OpenConfig | 運營商、政企 |
| 獨立軟體 | Kentik、Aviz、Augtera | 異構環境遙測分析、AI 異常檢測、多廠商 SONiC 分析 | 多協議接入（gNMI、IPFIX、NetFlow） | 多雲端使用者、SaaS |
對比說明：晶片與裝置商側重硬體整合和平台鎖定；獨立軟體商主打異構相容與智慧運維。公有雲端廠商自研路線（AWS、Azure、Google）雖未對外直接售賣，但定義事實標準，對商業廠商形成壓力。
風險
- 標準碎片化：OpenConfig、IETF YANG、廠商原生 YANG 三套模型並行，導致適配成本高，互操作性差。例如部分廠商
interfaces模型與 OpenConfig 介面不相容。 - 協議遷移阻力：大量存量網路仍依賴 SNMP，短期無法全面替換為 gNMI，長期面臨雙棧運維負擔。
- 資料洪流成本：亞秒級高頻遙測產生的資料量巨大，後端點時序資料庫與流處理叢集的採購和運營成本激增，可能侵蝕收益。
- 自研內化風險：超大規模雲端廠商（Google、Amazon、Meta）自研交換器、DPU 及遙測系統，使商業軟體和傳統裝置商在該市場領域面臨天花板。
- 安全與隱私：遙測包含詳細流量特徵和拓撲資訊，若傳輸未加密（gRPC 通常基於 TLS，但部署中忽視證書）或分析平台權限管控不足，可能造成敏感資訊暴露。
- 閉環控制誤動作：基於遙測的自動策略調整可能因資料異常或模型幻覺引發網路故障，生產環境仍以人工稽核為主，閉環商用成熟度有限。
誤讀糾偏
誤讀 1：“Streaming Telemetry 就是高頻 SNMP。” 糾正：SNMP 為拉模式，使用 OID 扁平結構，依賴管理器定時請求；流式遙測是推送模式，採用層次化 YANG 模型，支援 ON_CHANGE 事件和增量更新，資料豐富度和頻寬效率顯著提高。兩者在架構、協議、資料模型上完全不同。
誤讀 2：“有遙測就能實現全自動閉環運維。” 糾正：遙測提供感知基礎，閉環還需決策引擎（ML 模型、策略）和執行通道（控制器），且要解決干預速度與業務安全的矛盾。當前多數現網僅實現“告警+建議”，最終動作多由人工審批後下發。
誤讀 3：“INT 帶內遙測沒有成本，隨包攜帶資料即可。” 糾正：INT 會在資料包中插入後設資料，增加包長，可能引發 MTU 分片或擠壓有效載荷，需要全網升級支援 INT 頭解析，部署成本與技術複雜度不低，目前主要用於小範圍高效能場景。
最新事件
- 2023 年 9 月：思科宣佈以約 280 億美元收購 Splunk，旨在強化端到端全棧可觀測性與安全分析，將 Splunk 平台與 Cisco 遙測資料深度整合（來源：Cisco 官方新聞稿）。
- 2023 年 11 月：Arista 釋出 CloudVision 2023 版本，增強基於遙測的拓撲感知與爆炸半徑分析，整合 GPU 失聯網路故障定位（Arista 年度分析師日）。
- 2024 年 2 月：NVIDIA 宣佈 Spectrum-4 交換器大規模量產，提供自適應路由和納秒級遙測，用於 AI 工廠連線（NVIDIA 2024 財年 Q4 電話會議）。
- 2024 年 3 月：SONiC 社群版本 202311 釋出，最佳化 gNMI 訂閱穩定性和遙測壓縮功能，強化多廠商 DPU 遙測適配（SONiC GitHub Release Notes）。
- 2024 年 4 月：OpenTelemetry 網路工作組提出 Network Metric Semantic Conventions 草案，統一網路指標、流日誌和事件的屬性定義（OTel GitHub 倉庫）。
- 2024 年 5 月：微軟 Ignite 揭露 Azure Boost 中 DPU 遙測架構，通過 INT 和佇列分析減少尾部延遲，用於 GPT 等大規模推論（Microsoft Azure 官方部落格）。
- 2024 年 6 月：Broadcom 在行業會議上介紹 Jericho3-AI 晶片特性，支援深度 INT 和端到端傳輸質量監控，對比 InfiniBand 強調可見性優勢（Broadcom 技術峰會演示）。
追蹤指標
- 裝置遙測功能啟用率：主流交換器/路由器出貨中預設啟動 Streaming Telemetry 的百分比（參考廠商財報技術章節、社群調查）。
- gNMI 訂閱部署規模：公開案例中的單叢集訂閱數、節點數，反映生產化程度（如 Netflix、Facebook 有分享相關技術部落格）。
- OpenTelemetry 網路貢獻者活躍度：GitHub 網路相關倉庫的 Commit、PR 數量，衡量標準化進展。
- 晶片代際 INT 支援：Broadcom、NVIDIA、Marvell 等晶片路線圖中 INT/帶內遙測的堆疊深度、取樣精度是否提升。
- 網路 AIOps 初創融資：Crunchbase 等資料中網路智慧運維賽道種子輪/A 輪融資筆數與金額，反映資本熱度。
- 雲端廠商自研 DPU 遙測功能開源比例：AWS Nitro、Azure Boost、Google IPU 相關遙測技術對社群的開放程度。
- 標準互操作測試次數：IETF Hackathon、OpenConfig Plugfest 等活動中多廠商互操作測試的結果和覆蓋率。
信源
- IETF YANG Push: RFC 8641, RFC 7950
- OpenConfig gNMI Specification: https://github.com/openconfig/gnmi
- P4 INT Specification v2.1: https://p4.org/p4-spec/docs/INT_v2_1.pdf
- Google Streaming Telemetry 系列部落格（搜尋 “Streaming Telemetry – The Next Generation of Network Monitoring”）
- SONiC Telemetry 文件: https://github.com/sonic-net/SONiC
- Cisco MDT 技術白皮書與 Cisco Live 演講（BRKARC-3000 等）
- Arista EOS TerminAttr 文件與 CloudVision 釋出說明
- Juniper Junos Telemetry Interface 使用者指南
- NVIDIA Spectrum-4 與 BlueField DPU 技術簡報
- Gartner《Market Guide for Network Performance Monitoring and Diagnostics》（2023 年 12 月）
- IDC《Worldwide ITOA and AIOps Software Forecast, 2023–2027》（2023 年 6 月）
- 650 Group 資料中心交換器市場報告（2023 年 Q4）
- NANOG 社群會議演講（NANOG 87、88 關於生產遙測的案例）
- OpenTelemetry Network Semantic Conventions: https://github.com/open-telemetry/semantic-conventions