ETL測試——技術



在開始測試流程之前,定義正確的ETL測試技術非常重要。您應該徵得所有利益相關者的同意,並確保選擇正確的技術來執行ETL測試。測試團隊應該熟悉這項技術,並瞭解測試流程中涉及的步驟。

可以使用各種型別的測試技術。本章將簡要討論這些測試技術。

生產驗證測試

為了執行分析報告和分析,生產中的資料必須正確。此測試是在將資料移動到生產系統後進行的。它涉及在生產系統中驗證資料,並將其與源資料進行比較。

源到目標計數測試

當測試人員執行測試操作的時間較少時,會進行此類測試。它包括檢查源系統和目標系統中的資料計數。它不涉及檢查目標系統中資料的數值。它也不涉及資料對映後是否按升序或降序排列。

源到目標資料測試

在此類測試中,測試人員會驗證從源系統到目標系統的資料值。它檢查源系統中的資料值以及轉換後目標系統中的對應值。此類測試非常耗時,通常在金融和銀行專案中執行。

資料整合/閾值驗證測試

在此類測試中,測試人員會驗證資料的範圍。檢查目標系統中的所有閾值是否符合預期結果。它還涉及在轉換和載入後,從多個源系統整合目標系統中的資料。

示例 - 年齡屬性的值不應大於100。在日期列DD/MM/YY中,月份欄位的值不應大於12。

應用程式遷移測試

從舊應用程式遷移到新應用程式系統時,通常會自動執行應用程式遷移測試。此測試節省了大量時間。它檢查從舊應用程式中提取的資料是否與新應用程式系統中的資料相同。

資料檢查和約束測試

這包括執行各種檢查,例如資料型別檢查、資料長度檢查和索引檢查。在此,測試工程師執行以下場景:主鍵、外部索引鍵、NOT NULL、NULL和UNIQUE。

重複資料檢查測試

此測試包括檢查目標系統中的重複資料。當目標系統中存在大量資料時,生產系統中可能存在重複資料,這可能會導致分析報告中的資料不正確。

可以使用SQL語句檢查重複值,例如:

Select Cust_Id, Cust_NAME, Quantity, COUNT (*) 
FROM Customer
GROUP BY Cust_Id, Cust_NAME, Quantity HAVING COUNT (*) >1;

目標系統中出現重複值的原因如下:

  • 如果未定義主鍵,則可能會出現重複值。
  • 由於不正確的對映或環境問題。
  • 從源系統到目標系統傳輸資料時出現人工錯誤。

資料轉換測試

資料轉換測試不是透過執行單個SQL語句來執行的。它非常耗時,需要為每一行執行多個SQL查詢來驗證轉換規則。測試人員需要為每一行執行SQL查詢,然後將輸出與目標資料進行比較。

資料質量測試

資料質量測試包括執行數字檢查、日期檢查、空值檢查、精度檢查等。測試人員執行語法測試以報告無效字元、不正確的字母大小寫順序等,並執行引用測試以檢查資料是否符合資料模型。

增量測試

增量測試用於驗證Insert和Update語句是否按預期結果執行。此測試是使用舊資料和新資料逐步執行的。

迴歸測試

當我們更改資料轉換和聚合規則以新增新功能時,這也有助於測試人員查詢新錯誤,這稱為迴歸測試。迴歸測試中出現的資料錯誤稱為迴歸。

重新測試

修復程式碼後執行測試稱為重新測試。

系統整合測試

系統整合測試包括單獨測試系統的元件,然後整合模組。系統整合可以透過三種方式完成:自頂向下、自底向上和混合。

導航測試

導航測試也稱為測試系統的前端。它涉及從終端使用者的角度進行測試,檢查前端報告的所有方面,包括各個欄位中的資料、計算和聚合等。

廣告