資料架構 - 資料攝取方法

在這裡，我們解釋了在**資料架構**中，資料如何進入系統。它分解了公司如何從不同來源收集、處理和儲存資料。無論您是資料管理新手還是希望擴充套件您的知識，本章將幫助您瞭解如何在不同情況下管理資料。

什麼是資料攝取？

**資料攝取**是指我們將資料引入系統以便儲存和分析的過程。它包括**ETL（提取、轉換、載入）**和**ELT（提取、載入、轉換）**等方法，以及一種稱為**反向ETL**的新方法。根據業務需求，資料可以一次性處理（批處理）或在資料到達時處理（即時處理）。良好的資料管理確保資訊準確且易於訪問。

為什麼資料攝取很重要？

**資料攝取**對於幫助企業有效管理和利用其資料非常重要。它組織資料，使其易於訪問，併為分析做好準備，從而有助於做出更好的決策和實現順暢的運營。以下是一些重要性：

**更佳決策：**它從不同來源收集資料，使企業能夠全面瞭解情況，從而做出明智的選擇。
**節省時間：**它簡化了資料收集過程，減少了人工操作並最大程度地減少了錯誤。
**快速洞察：**它允許對傳入資料進行快速分析，幫助企業快速應對變化。
**與您一起成長：**隨著企業的發展，它可以處理新的資料來源和更多的資料量。
**保持資料清潔和安全：**它確保資料在遵循規則的同時保持準確、一致和安全。

什麼是ETL？

**ETL**代表**提取、轉換、載入**。它是一個將資料從各種來源提取、修改和清理，然後儲存到目標（例如資料倉庫）中的過程。

**請記住：**ETL = “早期轉換領先”：這意味著資料的轉換髮生在將其載入到最終目標之前。

ETL 的優勢

現在，讓我們看看 ETL 的好處。

ETL 適用於較小的資料集和簡單的更改。
由於資料在載入前已清理，因此它可以更好地控制資料質量。
它透過僅載入必要且已清理的資料來提高資料安全性。
對於關係型資料庫，它通常更有效率。

ETL 的缺點

以下是 ETL 的一些缺點。

轉換過程可能很慢且消耗大量資源，這可能會影響整體效能。
如果出現錯誤，則必須從源重新提取資料，從而導致額外的延遲。
傳統的 ETL 工具可能難以處理大量資料。
某些 ETL 工具可能不支援許多不同型別的資料。

什麼是ELT？

**ELT**代表**提取、載入、轉換**。在此過程中，資料首先載入到目標系統而無需任何更改。載入後，資料將被轉換。您還可以在提取過程中刪除不必要的資料。

**請記住：**ELT = “每次載入都轉換”意味著資料僅在載入到系統後才進行轉換。

ELT 的優勢

現在，讓我們看看 ELT 的好處。

適用於資料湖和大量無組織的資料。
允許在資料載入後對其進行更改。
利用現代處理能力以獲得更好的效能。
使用批處理更快地進行更改。
適用於多種型別的資料和工具。

ELT 的缺點

本節重點介紹使用 ELT 的挑戰。

由於保留了原始資料，因此需要更多儲存空間。
如果轉換過程複雜，則速度可能會變慢。
如果原始資料管理不善，可能會導致資料質量問題。
需要強大的系統才能有效處理大量資料負載。

ETL 與 ELT

**提取-轉換-載入 (ETL)** 是將資料移入關係型資料倉庫的主要方法。最近，**提取-載入-轉換 (ELT)** 變得越來越流行，尤其是在資料湖中。

**ETL** 和 **ELT** 都有其優勢。**ETL** 對於維護資料質量和安全性很有用，尤其是在較小的資料集上。**ELT** 更加靈活，並且更適合處理資料湖中更大、非結構化的資料。

在 **ETL** 和 **ELT** 之間進行選擇取決於您的特定資料需求。它不僅僅是二選一；目標是找到最適合您的資料處理方法。

反向ETL

**反向 ETL** 是指將資料從資料倉庫移到其他系統，以便資料可以用於日常任務。傳統上，資料倉庫中的資料主要用於分析和規劃。現在，許多公司也使用這些資料進行運營分析和日常運營。

**例如**，客戶資料可以在資料倉庫中進行清理，然後傳送到 Salesforce 等系統。這確保了所有團隊都可以訪問相同的資訊，從而更容易識別可能存在流失風險的客戶。

在資料倉庫中，公司建立關鍵指標以更好地瞭解其客戶，例如

**終身價值：**預期客戶隨時間推移帶來的總利潤。
**產品合格潛在客戶：**對產品表現出興趣的潛在客戶。
**傾向得分：**客戶購買的可能性。

這些指標有助於決策。透過使用**反向 ETL**，企業可以提供即時的個性化體驗，從而提高客戶滿意度並改善整體成果。

批處理與即時處理

在**提取-轉換-載入 (ETL)** 和**提取-載入-轉換 (ELT)** 中，有兩個主要選項用於何時以及多久提取一次資料：**批處理**和**即時處理**。以下是每個選項的詳細介紹。

批處理

**批處理**是一種一次處理大量資料的方法。在這種方法中，源系統中的類似事務被分組在一起，或“**批處理**”，並定期（例如每天或每月）進行處理。然後，系統執行一項作業將整個批處理複製到目標（如資料湖或倉庫）。這通常在非高峰時段進行，這意味著系統使用者較少的時間，從而更容易管理而不會減慢速度。

**例如**，您的電費每月處理一次，電力公司會在月底收集您的用電資料並生成您的賬單。

即時處理

**即時處理**意味著在資料到達時對其進行處理，以便您可以獲得即時洞察。當有新資訊可用時，它會啟動一個過程，快速將資料傳送到其需要去的地方。

**例如**，銀行可以立即向客戶發出可疑交易警報，以幫助防止欺詐。類似地，Waze 等交通應用程式使用即時資料更新交通狀況並建議最佳路線。

**即時處理**會立即更新目標系統，確保報告和查詢顯示最新的資訊。這有助於企業快速發現需要立即關注的問題。

雖然傳統的資料倉庫主要使用**批處理**，但即時處理現在變得越來越普遍，尤其是在能夠處理每秒數百萬事件的資料湖中。每種方法在資料倉庫中都有其自身的優勢和挑戰。

批處理優缺點

**批處理**一次處理大量資料，使其效率更高，但訪問資料的速度較慢。以下是一些優缺點。

批處理的優點

這些要點說明了為什麼**批處理**是有效處理大量資料而不會過分影響系統的好選擇。

**效率：**一起處理許多專案，這比逐個處理它們更快。
**計劃任務：**在非高峰時段執行，以避免干擾正常工作。
**風險較低：**如果出現問題，可以輕鬆重試。

批處理的缺點

這些要點突出了為什麼當需要快速訪問資料時**批處理**可能不是一個好選擇，這會導致獲取資訊延遲。

**資料可用性延遲：**由於資料按組處理，因此可能需要一段時間才能準備好。
**資源利用不足：**如果管理不善，可能會浪費資源。
**非即時：**不適合需要立即更新的應用程式。

即時處理優缺點

即時處理始終保持資料更新，以便快速獲取洞察。它為您提供及時的資訊，但需要更多資源。以下是優缺點。

即時處理的優點

這些好處說明了為什麼**即時處理**對於需要快速可靠的資訊來做出決策的企業至關重要。

**即時洞察：**提供最新資訊，以便快速決策。
**持續更新：**非常適合需要持續更新資料的系統。
**靈活性：**輕鬆適應不斷變化的業務需求。

即時處理的缺點

這些缺點解釋了為什麼**即時處理**可能對企業來說具有挑戰性，因為它需要更多資源並且可能導致更高的成本。

**更高的資源需求：**持續使用更多系統資源。
**故障風險增加：**系統故障的可能性更高，這可能使修復錯誤變得更加複雜。
**資料一致性挑戰：**在持續更新的情況下，保持資料一致性可能很困難。
**成本更高：**由於持續運營，成本更高。

在批處理和即時處理之間進行選擇

在選擇**批處理**和**即時處理**時，請考慮您的資料型別、處理需求以及可以承受多少延遲。**批處理**適用於可以等待一段時間並且資料處理並非需要即時性的系統，而**即時處理**最適合需要立即訪問資料的情況。

資料治理

**資料治理**是指管理組織中的資料。它設定了關於如何收集、儲存、保護、轉換和報告資料的規則。它確保公司遵守法律並檢查資料是否準確且質量良好。這意味著要確保資料得到正確清理和更改。

一個良好的治理框架定義了誰負責管理和使用資料。一種方法是建立**資料治理卓越中心 (CoE)**。此**CoE**有助於制定策略和標準，並闡明資料活動的角色和決策過程。

在開始資料倉庫專案之前，務必花時間建立**資料治理框架**並構建您的 CoE。許多專案失敗是因為它們沒有足夠重視資料治理。

列印頁面