ETL測試 - 場景

結構驗證

它涉及根據對映文件驗證源表和目標表的結構。

應驗證源系統和目標系統中的資料型別。

源系統和目標系統中資料型別的長度應相同。

源系統和目標系統中的資料欄位型別及其格式應相同。

驗證目標系統中的列名。

驗證對映文件

它涉及驗證對映文件，以確保已提供所有資訊。對映文件應包含變更日誌、維護資料型別、長度、轉換規則等。

驗證約束

它涉及驗證約束並確保它們應用於預期的表。

資料一致性檢查

它涉及檢查外部索引鍵等完整性約束的誤用。

儘管屬性的定義在語義層面上保持不變，但其長度和資料型別可能在不同的表中有所不同。

資料完整性驗證

它涉及檢查是否將所有資料從源系統載入到目標系統。

計算源系統和目標系統中的記錄數。

邊界值分析。

驗證主鍵的唯一值。

資料正確性驗證

它涉及驗證目標系統中資料的數值。

在表中發現拼寫錯誤或不準確的資料。

在匯入時停用完整性約束時，會儲存空值或非唯一資料。

資料轉換驗證

它涉及為輸入值和預期結果建立場景電子表格，然後與終端使用者進行驗證。

透過建立場景來驗證資料中的父子關係。

使用資料分析來比較每個欄位中的值範圍。

驗證倉庫中的資料型別是否與資料模型中提到的相同。

資料質量驗證

它涉及執行數字檢查、日期檢查、精度檢查、資料檢查、空值檢查等。

示例 - 所有值的日期格式應相同。

空值驗證

它涉及檢查在該欄位為非空值時出現的空值。

重複值驗證

它涉及在目標系統中驗證重複值，而資料來自源系統的多個列。

根據業務需求，驗證主鍵和其他列是否存在任何重複值。

日期驗證檢查

驗證ETL過程中執行的各種操作的日期欄位。

執行日期驗證的常見測試用例：

• 開始日期不得大於結束日期

• 日期值的格式應正確。

• 日期值不應有任何垃圾值或空值

完整資料驗證減法查詢

它涉及使用減法查詢驗證源表和目標表中的完整資料集。

• 您需要同時執行源減目標和目標減源。

• 如果減法查詢返回一個值，則應將其視為不匹配的行。

• 您需要使用交集語句匹配源和目標中的行。

• 交集返回的計數應與源表和目標表的各個計數匹配。

• 如果減法查詢不返回任何行，並且交集計數小於源計數或目標表計數，則表包含重複行。

其他測試場景

其他測試場景可以驗證提取過程是否未從源系統提取重複資料。

測試團隊將維護一個SQL語句列表，這些語句用於驗證是否未從源系統提取重複資料。

資料清洗

在將資料載入到暫存區之前，應刪除不需要的資料。