SQL/查詢解析
解析 SQL AST,提取表、列、JOIN、INSERT 等關係。
dbt、Spark SQL、SnowflakeData Lineage
資料血緣記錄資料從來源、變換到流向的完整族譜,是合規審計、根因分析、影響分析和 AI 訓練資料溯源的基礎能力。
MDX 將資料血緣定位為資料治理核心層,向下依賴後設資料採集,向上支撐目錄、質量、影響分析和合規模組。
解析 SQL AST,提取表、列、JOIN、INSERT 等關係。
dbt、Spark SQL、Snowflake攔截執行呼叫或解析執行日誌,捕獲真實路徑。
Airflow 任務日誌、Spark EventLog對 Python/Java 做 AST 解析,追蹤變數傳播。
Notebook、PySpark 指令碼| 來源 | 類型 | 截至 |
|---|---|---|
| 資料血緣 MDX | mdx | 2026-05-29 |
一句話: 資料血緣就是給每一條資料畫一張”族譜圖”——它從哪裡來、經過了哪些變換、最終流向了哪裡,全程可追溯、可審計。
類比: 如果資料是水,資料血緣就是從雪山源頭到你家水龍頭的完整管道圖,每一級淨化廠、每一個分叉閥門都有標註。
投資錨點: AI 大型模型訓練資料合規、資料隱私法規(GDPR/CCPA/《資料安全法》)的硬性需求,催生資料治理基礎設施市場——資料血緣是其中的核心模組。
資料血緣處於資料治理技術棧的核心層,向下依賴後設資料採集引擎,向上支撐資料目錄(Data Catalog)、資料質量、影響分析(Impact Analysis)、合規模組。它是資料基礎設施中”看清楚資料”這一能力的關鍵拼圖。
| 價值維度 | 具體場景 | 量化收益(定性) |
|---|---|---|
| 合規審計 | GDPR “被遺忘權” 請求:需定位某使用者資料在哪些表/模型中傳播 | 將審計響應時間從周級降至小時級 |
| 根因分析 | 某 BI 報表指標異常,需回溯哪個上游 ETL 步驟引入錯誤 | 平均故障恢復時間(MTTR)縮短 50%+ [行業慣例估算] |
| 影響分析 | 某張源表 schema 變更,需評估下游哪些報表/模型受影響 | 避免級聯故障,減少”改一處崩一片” |
| AI 資料溯源 | 大型模型訓練資料版權爭議、偏見審查 | 支撐 Model Card / Datasheet for Datasets 等實踐 |
┌──────────────────────────────────────────────────┐
│ 應用層(Application Layer) │
│ 資料目錄 UI │ 影響分析 │ 合規報告 │ AI 資料溯源 │
├──────────────────────────────────────────────────┤
│ 血緣圖譜引擎(Lineage Graph Engine) │
│ 圖資料庫儲存 │ 關係推斷 │ 跨系統血緣關聯 │
├──────────────────────────────────────────────────┤
│ 後設資料採集層(Metadata Collection) │
│ SQL 解析 │ API Hook │ 日誌解析 │ OpenLineage API │
├──────────────────────────────────────────────────┤
│ 資料來源層(Data Sources) │
│ 資料庫 │ ETL 工具 │ BI 工具 │ ML Pipeline │ 流式引擎 │
└──────────────────────────────────────────────────┘
SUM() + JOIN → 表 C 的 col_x,追蹤欄位級別的變換邏輯。這是技術難度最高但價值最大的粒度。1. 跨異構系統的血緣拼接
現代資料棧高度異構:資料可能從 MySQL 出發,經 Kafka 流入 Spark 處理,存入 Delta Lake,再被 dbt 轉換,最終在 Looker 展示。每個系統有各自的後設資料格式,要把它們拼成一張連通圖,需要:
2. 隱式血緣推斷
SQL SELECT * FROM A JOIN B 的血緣是顯式的;但當資料經過 Python UDF、Jupyter Notebook 的自由變換、或機器學習特徵工程時,血緣資訊往往丟失。這需要:
3. 血緣圖的規模與效能
大型企業的血緣圖可能包含數十萬個節點(表/列)和數百萬條邊(變換關係)。即時查詢”某列的所有上游祖先”或”某表變更會影響哪些下游”需要高效的圖遍歷演算法和索引結構。
業界最廣泛採用的語義基礎是 W3C PROV 資料模型(W3C Recommendation, 2013)。它定義了三個核心概念:
┌─────────────┐ wasGeneratedBy ┌─────────────┐
│ Entity │ ◄────────────────── │ Activity │
│ (資料實體) │ │ (處理活動) │
└─────────────┘ └─────────────┘
▲ │
│ wasDerivedFrom │ wasAssociatedWith
│ │
└────────────┐ ┌────────────┘
│ │
┌────┴──────────┴────┐
│ Agent │
│ (執行者/系統) │
└────────────────────┘
| 路徑 | 原理 | 優勢 | 劣勢 | 典型場景 |
|---|---|---|---|---|
| SQL/查詢解析 | 解析 SQL 的 AST(抽象語法樹),提取 FROM、JOIN、INSERT INTO 等結構中的表/列引用 | 精度高、可獲取列級血緣 | 僅適用於 SQL 引擎;UDF 內部邏輯黑盒 | dbt、Spark SQL、Snowflake |
| 執行時 API Hook / 日誌解析 | 在資料引擎執行時攔截 API 呼叫或解析執行日誌 | 能捕獲實際執行路徑,包括條件分支 | 效能開銷;日誌格式非標準化 | Airflow 任務日誌、Spark EventLog |
| 程式碼靜態分析 | 對 Python/Java 程式碼做 AST 解析,追蹤變數傳播 | 可覆蓋非 SQL 場景(Notebook、指令碼) | 精度有限,動態特性難處理 | Jupyter Notebook、PySpark 指令碼 |
OpenLineage 是當前業界推進標準化血緣事件格式的開源專案(原屬 LF AI & Data 基金會),定義了統一的 API 和事件 schema:
{
"eventType": "COMPLETE",
"eventTime": "2024-01-15T10:30:00Z",
"run": { "runId": "..." },
"job": {
"namespace": "production",
"name": "etl.user_daily_agg"
},
"inputs": [
{ "namespace": "postgres://prod", "name": "public.users" },
{ "namespace": "postgres://prod", "name": "public.transactions" }
],
"outputs": [
{ "namespace": "snowflake://prod", "name": "analytics.user_daily_agg" }
]
}
-- 源 SQL:
CREATE TABLE result AS
SELECT a.user_id,
SUM(b.amount) AS total_amount
FROM users a
JOIN orders b ON a.user_id = b.user_id
GROUP BY a.user_id;
解析後的列級血緣圖:
users.user_id ──────────► result.user_id (直接對映)
orders.amount ──(SUM)──► result.total_amount (聚合變換)
每個節點攜帶元資訊:源表、源列、變換函式(SUM)、表示式樹深度。高精度的列級血緣引擎需要處理子查詢、CTE、視窗函式、PIVOT 等複雜 SQL 結構,這對 SQL Parser 的魯棒性要求極高。
原始資料集 S3://raw/wiki_dump
│
▼ [資料清洗指令碼 clean.py]
清洗後語料 S3://clean/wiki_v3
│
▼ [Tokenization: BPE tokenizer v2.1]
訓練資料 S3://tokenized/wiki_v3_tokenized
│
▼ [訓練: config.yaml, 8×A100, 100K steps]
模型權重 registry://model/wiki-llm-v3.1
│
▼ [評估: benchmark MMLU=72.3]
▼ [部署: endpoint prod-v3.1]
線上服務 API
這條鏈路上,任何一個環節的資料問題(如 wiki_dump 包含隱私資料)都需要回溯到源頭並評估影響範圍——這正是資料血緣在 AI 治理中的核心價值。
| 時期 | 里程碑 | 特徵 |
|---|---|---|
| 2000s 早期 | ETL 工具內建簡單血緣(Informatica、DataStage) | 血緣嵌入在 ETL 產品中,不可獨立匯出;粒度粗 |
| 2010-2015 | Apache Atlas(Hortonworks 主導)釋出,為 Hadoop 生態提供集中式後設資料與血緣管理 | 與 Hadoop 強繫結;Hive Hook 實現 Hive SQL 血緣採集 |
| 2013 | W3C PROV 資料模型成為正式推薦標準 | 為血緣提供了統一的語義基礎 |
| 2017-2019 | Collibra、Alation 等獨立資料目錄平台崛起,血緣成為標配功能 | 從 Hadoop 生態走向多雲端、混合架構;列級血緣成為差異化賣點 |
| 2020 | OpenLineage 專案啟動(後納入 LF AI & Data) | 推動血緣事件的開放標準,解耦採集端與消費端 |
| 2022 | IBM 收購 MANTA(專業血緣公司,SQL 解析能力突出) | 大廠整合血緣能力 |
| 2022-2023 | 資料可觀測性(Data Observability)概念興起,Monte Carlo、Bigeye 等將血緣與資料質量監控融合 | 血緣從”靜態圖譜”走向”即時可觀測” |
| 2024- | EU AI Act 生效,AI 訓練資料溯源成為合規剛性需求 | 血緣從”nice-to-have”變為”must-have”;與 MLOps/LLMOps 深度整合 |
| 維度 | 開源方案(Atlas、OpenLineage + Marquez) | 平台內建(Snowflake、Databricks Unity Catalog) | 獨立商業平台(Collibra、Alation、Ataccama) | 專業血緣引擎(MANTA → IBM) |
|---|---|---|---|---|
| 部署模式 | 自建,運維成本高 | SaaS/託管,與平台深度繫結 | SaaS/私有化 | 嵌入式/私有化 |
| 覆蓋範圍 | 需逐個適配 Connector | 僅覆蓋本平台內資產 | 廣泛 Connector 生態 | 以 SQL 引擎為主,深度列級解析 |
| 列級血緣 | 支援有限(依賴具體 Connector) | 部分支援(如 Databricks Lineage API) | 主要版本開始支援 | 核心強項,精度高 |
| 跨系統血緣 | 需要統一 Catalog 和名稱空間對齊 | 天然僅限平台內部 | 主打跨平台統檢視 | 需與其他平台整合 |
| 成本 | 免費(但人力成本高) | 含在平台費用中 | 許可費 + 實施費(年費可達六位數 USD) | 許可費 |
| 適用場景 | 技術能力強、預算有限的團隊 | 已深度使用單一雲端平台的企業 | 大型企業、強合規行業(金融、醫療) | 需要極致列級血緣精度的場景 |
| 環節 | 代表技術/產品 | 說明 |
|---|---|---|
| 後設資料儲存 | 圖資料庫(Neo4j、JanusGraph)、關聯式資料庫 | 儲存血緣實體與關係 |
| 後設資料採集 | SQL Parser(如 JSQLParser、sqlparse)、程式碼 AST 分析器 | 從源系統提取血緣資訊 |
| 排程/編排 | Airflow、Dagster、Prefect | 提供任務執行日誌,作為血緣事件源 |
| 資料平台 | Spark、Flink、Snowflake、BigQuery | 各自提供不同程度的內建血緣 API |
| 環節 | 價值 | 說明 |
|---|---|---|
| 資料目錄(Data Catalog) | 資料發現與理解 | 血緣是目錄的”關係維度” |
| 影響分析(Impact Analysis) | 變更風險評估 | 上游 schema 變更 → 自動通知下游負責人 |
| 資料質量 | 根因定位 | 指標異常 → 沿血緣回溯定位汙染源 |
| 合規與審計 | 資料主權證明 | GDPR/CCPA/《資料安全法》下的可追溯性要求 |
| AI 模型治理 | 訓練資料溯源 | Model Card 中資料來源宣告的底層支撐 |
| 成本最佳化 | 資料資產價值評估 | 無人使用的”殭屍表”識別 |
| 指標 | 含義 | 行業基準參考 |
|---|---|---|
| 血緣覆蓋率(Lineage Coverage) | 已採集到血緣的資料資產佔總資產的比例 | 60%-80% 為良好水平 [行業經驗估算];100% 在異構環境下幾乎不可達 |
| 粒度深度(Granularity) | 表級 / 列級 / 行級 | 列級是企業級需求的主流目標 |
| 跨系統覆蓋率 | 血緣鏈路中涵蓋的異構系統數量 | 大型企業通常涉及 5-15 種異構系統 |
| 血緣新鮮度(Freshness) | 血緣圖譜更新頻率 vs 資料管道變更頻率 | 即時/準即時為最優;日級更新為及格線 |
| 查詢延遲(Query Latency) | “影響分析”或”上游溯源”查詢的響應時間 | 秒級為可用;分鐘級體驗差 |
| 誤報/漏報率 | 血緣關係的準確性 | 誤報(不存在的關係被記錄)和漏報(存在但未被採集)均應 < 5% [優秀水平估算] |
| 驅動力 | 強度 | 說明 |
|---|---|---|
| 監管合規(GDPR/CCPA/AI Act/資料安全法) | ★★★★★ | 剛性需求,罰款壓力直接推動採購 |
| 資料驅動決策的可信度 | ★★★★ | 企業要求資料可解釋、可審計 |
| AI/LLM 訓練資料治理 | ★★★★ | 新興高增長需求,與 AI 產業鏈直接相關 |
| 雲端遷移與資料架構複雜化 | ★★★★ | 遷移過程中血緣是”地圖” |
| 資料可觀測性趨勢 | ★★★ | 血緣 + 質量 + 異常檢測融合 |
| 公司/專案 | 型別 | 血緣相關能力 | 資本關聯 | 備註 |
|---|---|---|---|---|
| Collibra | 獨立資料智慧平台 | 跨平台資料目錄+血緣+治理,列級血緣 | 未上市,估值曾達 50+ 億美元 [市場傳聞] | 企業客戶集中在金融、醫療 |
| Alation | 資料目錄平台 | 血緣為核心功能之一 | 未上市,融資總額約 3.4 億美元 [公開揭露] | 與 Collibra 直接競爭 |
| Ataccama | 資料治理平台 | ONE 平台整合血緣、質量、MDM | 未上市 | 歐洲市場較強 |
| Informatica(INFA) | 資料整合與治理巨頭 | CLAIRE 引擎驅動的 AI 輔助血緣 | 納斯達克上市(重新 IPO 於 2021) | 全球資料整合市場份額領先 |
| IBM(收購 MANTA) | 綜合科技 | MANTA 提供深度 SQL 解析的列級血緣 | IBM 上市(NYSE: IBM) | 2023 年完成收購,整合入 IBM Watsonx.data 治理層 |
| Databricks(Unity Catalog) | 資料+AI 平台 | 內建血緣(跨 Notebooks/ETL/Tables) | 未上市,2023 年估值約 430 億美元 [公開報道] | 與 Lakehouse 架構深度繫結 |
| Snowflake(Snowflake Horizon) | 雲端資料平台 | 內建資料血緣+治理 | NYSE: SNOW | 2024 年強化治理能力 |
| Monte Carlo | 資料可觀測性 | 血緣驅動的異常檢測與根因分析 | 未上市,融資約 1.01 億美元 [公開揭露] | “Data Observability”品類開創者 |
| Apache Atlas / OpenLineage | 開源 | Hadoop 生態後設資料治理 / 開放血緣事件標準 | 社群驅動 | OpenLineage 隸屬 LF AI & Data |
資料血緣本身是一個中等規模但高粘性的基礎設施模組,其投資邏輯應放在更大的敘事架構中理解:
糾偏: 資料目錄是”資料資產的黃頁”,回答”我們有哪些資料、在哪裡、誰負責”。資料血緣是目錄中的一個維度,回答”資料從哪來、怎麼變的、流向哪裡”。兩者是包含關係,不是等價關係。一個完善的資料目錄產品必然包含血緣,但有目錄不等於有血緣。
糾偏: 資料治理是一個組織級的體系,包含資料標準制定、資料質量管理、資料安全管理、後設資料管理、主資料管理等多個域。資料血緣屬於後設資料管理的子域,是治理的工具而非治理本身。沒有組織流程和制度配套,僅靠血緣工具無法實現有效治理。
糾偏: 監管要求的是”可追溯性”(traceability),血緣工具提供的是技術能力。合規還需要:明確的資料分類分級策略、資料保留與刪除策略、訪問控制策略等制度層配合。工具是必要條件,不是充分條件。
糾偏: 模型血緣(Model Lineage)關注的是”哪個實驗配置產出了哪個模型版本”;資料血緣關注的是”訓練資料從哪來、經歷了什麼預處理”。二者互補而非替代。當出現版權爭議(如訓練資料是否包含受版權保護的內容)或偏見審查時,必須回溯到資料層面的血緣。
資料血緣是 AI 時代資料治理的”導航地圖”——沒有它,企業在合規、質量、安全等維度上就是在”盲飛”;隨著 AI 監管收緊和資料架構複雜化,它正從”錦上添花”變為”不可或缺”。
| 資源 | 型別 | 說明 |
|---|---|---|
| W3C PROV-DM | 標準文件 | 血緣語義模型的基礎:https://www.w3.org/TR/prov-dm/ |
| OpenLineage 官方文件 | 開源專案 | 血緣事件開放標準:https://openlineage.io/docs/ |
| Apache Atlas 文件 | 開源專案 | Hadoop 生態後設資料與血緣:https://atlas.apache.org/ |
| “Designing Data-Intensive Applications”(Martin Kleppmann) | 書籍 | 資料系統基礎,理解血緣背後的系統架構 |
| Gartner “Magic Quadrant for Data & Analytics Governance Platforms” | 行業報告 | 資料治理平台市場格局(需 Gartner 訂閱) |
| Collibra Blog / Alation Blog | 廠商部落格 | 行業趨勢和客戶案例 |
| EU AI Act 正式文本 | 法規 | 第 10 條(資料治理)、第 11 條(技術文件)與訓練資料溯源直接相關 |
本文為技術概念學習頁,不構成投資建議。文中市場資料多為行業估算,具體數字請以廠商財報和權威行業報告為準。