ETL 測試——資料完整性

檢查資料完整性用來驗證目標系統中的資料在載入後是否符合預期。

可為此執行的常見測試如下：

• 檢查聚合函式 (sum、max、min、count)，

• 對源和目標進行檢查和驗證，比較未轉換或簡單轉換的列中記錄的數量和實際資料。

計數驗證

比較源和目標資料表中記錄的數量。可透過編寫以下查詢完成：

SELECT count (1) FROM employee; 
SELECT count (1) FROM emp_dim; 

資料概要驗證

包括在源和目標表（事實或維度表）中檢查聚合函式，例如計數、求和和求最大值。

列資料概要驗證

包括比較不同值的差異值和每種不同值的記錄數。

SELECT city, count(*) FROM employee GROUP BY city; 
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;

重複資料驗證

包括驗證主鍵和唯一鍵（屬於一列或多列組合） 根據業務要求應為唯一的。可使用以下查詢執行重複資料驗證：

SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;