ETL 測試 – 資料轉換



執行資料轉換有點複雜,因為它不能透過編寫單個 SQL 查詢然後將輸出與目標進行比較來實現。對於 ETL 測試資料轉換,您可能需要為每一行編寫多個 SQL 查詢來驗證轉換規則。

首先,確保源資料足以測試所有轉換規則。成功執行資料轉換的 ETL 測試的關鍵是從源系統中選擇正確且足夠的資料樣本以應用轉換規則。

ETL 測試資料轉換的關鍵步驟如下所示:

  • 第一步是建立輸入資料場景和預期結果的列表,並與業務客戶驗證這些結果。這對於設計階段的需求收集是一個很好的方法,也可以用作測試的一部分。

  • 下一步是建立包含所有場景的測試資料。利用 ETL 開發人員來自動化使用場景電子表格填充資料集的整個過程,以允許通用性和可移動性,因為場景可能會發生變化。

  • 接下來,利用資料分析結果來比較目標資料和源資料中每個欄位的值範圍和提交情況。

  • 驗證 ETL 生成的欄位(例如,代理鍵)的準確處理。

  • 驗證倉庫中的資料型別是否與資料模型或設計中指定的相同。

  • 建立測試參照完整性的表之間的資料場景。

  • 驗證資料中父到子的關係。

  • 最後一步是執行查詢轉換。您的查詢查詢應簡單明瞭,沒有任何聚合,並且預期每個源表只返回一個值。您可以像之前的測試一樣,直接在源限定符中連線查詢表。如果不是這種情況,請編寫一個查詢將查詢表與源中的主表連線,並比較目標中相應列中的資料。

廣告