資料架構 - 現代資料倉庫

在資料架構中，現代資料倉庫 (MDW) 是一箇中心儲存庫，組織可以在其中儲存和分析所有資料。它結合了關係型資料倉庫 (RDW) 的組織結構和資料湖的靈活性。這意味著企業可以訪問即時資料，發現趨勢，並改進與客戶的連線方式。

透過最大限度地利用其資料，現代資料倉庫幫助組織保持創新和競爭力。本章將探討 MDW 的架構、工作原理以及實施步驟。

現代資料倉庫架構

現代資料倉庫 (MDW) 的架構結合了關係型資料倉庫 (RDW) 和資料湖的功能。這種設計允許靈活的資料處理和強大的分析能力。

現代資料倉庫 (MDW) 的結構結合了關係型資料倉庫 (RDW) 的有序佈局和資料湖的靈活性。這種設定使組織更容易有效地儲存和分析其資料。

MDW 的結構

現代資料倉庫 (MDW) 的結構旨在處理不同型別的資料和分析流程。它包括：

• 關係型資料倉庫 (RDW)：這採用自上而下的方法，這意味著在載入任何資料之前需要仔細規劃（稱為預先定義模式）。它非常適合分析歷史資料。
• 資料湖：這採用自下而上的方法，允許快速訪問資料，而初始設定最少（稱為讀取時定義模式）。它尤其適用於機器學習和識別未來趨勢。

MDW 中的資料流階段

現代資料倉庫 (MDW) 中的資料流階段解釋瞭如何收集、儲存、處理和分析資料。此過程將原始資料轉化為對企業有用的見解。其工作原理如下：

• 資料攝取：MDW 可以從不同的來源收集不同型別的資料，包括結構化資料（如資料庫）和非結構化資料（如電子郵件或社交媒體帖子）。
• 資料儲存：然後，收集到的資料儲存在資料湖中，資料湖為儲存大量資料提供了靈活且經濟高效的選項。
• 資料轉換：之後，利用計算能力來清理和組織資料，使其更易於使用，並提高分析效率。
• 資料建模：資料準備就緒後，將其從資料湖移動到關係型資料倉庫 (RDW)，通常以星型模式排列以簡化報表生成。
• 資料視覺化：最後，使用者可以使用熟悉的報表工具分析組織後的資料，從而輕鬆理解和利用這些見解。

MDW 的實施注意事項

在設定現代資料倉庫 (MDW) 時，組織應考慮以下幾個重要方面。

• 資料提取頻率：他們需要決定多頻繁地提取資料，並確保有足夠的容量來確保流程順利進行。
• 使用機器學習：機器學習可用於不同的步驟，以幫助從資料中發現有用的見解。
• 直接資料流：並非所有資料都需要經過每個步驟；某些資料可以直接從源移動到關係型資料倉庫 (RDW)。

現代資料倉庫 (MDW) 越來越受歡迎，因為它們提供了一種靈活的資料管理方式。它們幫助組織將關係型資料倉庫 (RDW) 和資料湖的最佳功能結合在一起，從而更輕鬆地處理和組合資料。

現代資料倉庫的優勢

現代資料倉庫 (MDW) 提供了許多優勢，可幫助組織管理和分析其資料。以下是它們如何真正使企業受益。

• 即時資料訪問：MDW 允許企業即時訪問資料，幫助他們快速做出決策並迅速應對市場變化。
• 靈活性：它們可以處理結構化和非結構化資料，允許組織適應不同的資料需求。
• 可擴充套件性：MDW 可以隨著業務增長而增長，輕鬆處理大量資料，這非常適合擴充套件型公司和大資料應用。
• 改進的分析：透過組合來自不同來源的資料，MDW 提供了全面的檢視，從而產生更深入的見解和更好的分析結果。
• 成本效益：透過雲端儲存選項，與傳統方法相比，MDW 通常提供更經濟高效的資料儲存和處理方式。

現代資料倉庫的缺點

雖然現代資料倉庫具有許多優點，但也有一些缺點需要注意。瞭解這些限制對於成功實施至關重要。

• 複雜性：MDW 中不同資料型別的組合可能使其設計和管理變得複雜，需要特殊的技能和資源。
• 初始設定成本：啟動 MDW 可能需要投入大量的技術和基礎設施資金。
• 潛在的資料重複：需要在資料湖和常規資料倉庫中複製資料可能會增加儲存成本併產生管理問題。
• 效能問題：根據系統的設定方式和處理的資料量，系統可能會變慢，尤其是在處理大量資料時。
• 資料治理挑戰：確保資料質量、安全性和遵守規則在使用不同型別資料的系統中可能更具挑戰性。

結合 RDW 和資料湖

在現代資料倉庫 (MDW) 中，資料湖用於儲存和準備資料，而關係型資料倉庫 (RDW) 則確保資料安全並遵守規則。

資料湖

資料湖是一個靈活的儲存空間，資料科學家和技術使用者可以輕鬆地處理大量原始資料。它幫助他們探索和清理資料。

• 它可以處理大量批處理資料和即時流資料。
• 即使需要大量的處理能力，使用者也可以分析和改進資料。
• 它還保留來自關係型資料倉庫 (RDW) 的舊資料和備份。
• 使用者可以建立副本用於測試和探索，而無需更改原始資料。
• 訪問資料速度很快，不需要嚴格的格式。

關係型資料倉庫 (RDW)

關係型資料倉庫專為希望快速輕鬆地訪問結構化資料的業務使用者而設計，使其非常適合生成報表和儀表板。

• 它針對快速查詢進行了最佳化，尤其對於複雜的搜尋。
• 許多使用者可以同時執行查詢，而不會降低系統速度。
• 它包含強大的安全措施來保護敏感資訊。
• 有多種工具可幫助使用者處理資料。
• 它非常適合回答特定問題並獲得有價值的見解。

通向 MDW 的階梯

建立現代資料倉庫 (MDW) 是一項艱鉅的任務，需要大量投資技術和資源。隨著組織開始這段旅程，他們通常需要臨時解決方案來滿足其當前的資料需求。這些解決方案是通向完整現代資料倉庫的階梯，幫助企業在有效利用資料的同時保持靈活性。

以下是三種常見的階梯式架構：

• EDW 增強
• 臨時資料湖 + EDW
• 一體化方案

每個選項都有其自身的優點和缺點。它們幫助組織遷移到現代資料倉庫 (MDW) 的有效性取決於組織的需求、現有系統、預算和目標。讓我們仔細研究每一個選項。

EDW 增強

企業資料倉庫 (EDW) 增強是一種方法，適用於已經擁有本地企業資料倉庫 (EDW) 並希望管理更大資料集（通常稱為“大資料”）的公司。這種方法幫助組織充分利用其資料，同時解決與儲存和處理能力相關的挑戰。

EDW 增強的運作方式

在此設定中，建立一個基於雲的資料湖來儲存大量資料。使用者可以從此資料湖執行查詢並建立報表，而主要資料保留在企業資料倉庫 (EDW) 中。這允許公司使用雲資源來管理大資料，而無需完全替換其現有系統。

EDW 增強的優勢

以下是使用企業資料倉庫 (EDW) 增強的主要優勢。

• 容量增加：雲資料湖有助於儲存和處理更多資料，從而更輕鬆地管理大型資料集。
• 經濟高效：這種方法是在保留現有企業資料倉庫 (EDW) 的同時進行高階資料分析的經濟高效的方式。
• 支援業務增長：它幫助組織改變其資料管理方式，以滿足其不斷增長的業務需求。

EDW 增強的挑戰

雖然企業資料倉庫 (EDW) 增強具有許多優點，但也有一些挑戰是組織應該牢記的。

• 資料傳輸問題：在 EDW 和資料湖之間移動資料可能很慢。
• 工具相容性：當前用於執行查詢的工具可能無法與資料湖很好地配合使用，從而難以訪問資訊。
• 需要新的資源：組織可能需要更強大的計算能力和技能來管理湖中的資料，這可能會增加成本。
• 工作負載平衡：這種方法不會減少現有 EDW 的工作負載，因此它可能仍然面臨效能問題。

使用 EDW 增強的遷移

此設定可以幫助組織將其本地企業資料倉庫 (EDW) 緩慢遷移到雲端。一旦資料湖到位，公司就可以開始將資料從 EDW 傳輸到資料湖，並可能作為完整現代資料倉庫 (MDW) 的一部分傳輸到新的基於雲的關係型資料倉庫 (RDW)。

臨時資料湖 + EDW

當公司需要處理大資料但沒有時間進行大規模更改時，可以使用臨時資料湖 + EDW 方法。此設定透過臨時使用資料湖來減輕 EDW 的壓力。

臨時資料湖 + EDW 的運作方式

在此模型中，資料湖是一個臨時儲存空間，用於儲存和改進資料。所有查詢和報表都是透過企業資料倉庫 (EDW) 完成的，使其易於設定和處理，而不會造成重大問題。

臨時資料湖 + EDW 的優勢

臨時資料湖 + EDW 方法具有許多優勢，可幫助組織更有效地管理其資料。

• 效能提升：透過將處理任務轉移到資料湖，EDW 的整體效能得到提高。
• 速度和靈活性：在資料湖中使用不同的計算資源可以提高處理速度並提供更大的靈活性。
• 經濟高效的解決方案：此方法允許組織管理大型資料集，而不會中斷其當前的 EDW 操作，使其成為一種實用且適應性強的選擇。

臨時資料湖 + EDW 的挑戰

臨時資料湖 + EDW 方法的主要挑戰之一是，組織可能無法充分利用資料湖的優勢，因為它只是臨時使用的。這種有限的使用可能會阻止他們訪問資料湖提供的所有功能和優勢，從而降低其改進資料管理的效率。

使用臨時資料湖 + EDW 的遷移

這種方法可以透過少量更改輕鬆過渡到完整的現代資料倉庫 (MDW)，使其成為組織的實用階梯。

一體化方案

一體化架構深受眾多組織，特別是初創企業和小型企業的歡迎，因為它提供了一種簡便的資料管理方式。它允許快速原型設計，並專注於獲得即時結果。

一體化架構的工作原理

在這種設定中，所有資料報告和查詢都直接在資料湖中完成，無需單獨的關係型資料倉庫 (RDW)。這使得整體資料結構更加簡單。

一體化架構的優勢

一體化方法具有若干重要優勢，使組織的資料管理更加輕鬆。

• 快速設定：此模型允許您快速啟動並執行所有內容，以便您可以立即訪問您的資料。
• 更簡單的結構：透過將所有資料管理保留在資料湖中，它減少了對複雜維護和連線的需求。
• 靈活性：此設定可以輕鬆更改以適應不同型別的資料和新的需求。

一體化架構的挑戰

一體化方法也面臨一些挑戰，尤其是在效能方面。如果沒有關係型資料倉庫 (RDW)，組織可能會在速度、安全性和使用者體驗方面遇到困難。雖然一些專注於資料科學的公司可能僅靠資料湖就能應付，但最終他們需要新增關係型資料倉庫 (RDW)才能充分受益於完整的現代資料倉庫 (MDW)。

一體化架構下的遷移

對於某些組織，特別是那些專注於資料科學的組織，僅使用資料湖就足夠了。但是，要完全過渡到完整的現代資料倉庫 (MDW)，他們最終需要新增一個關係型資料倉庫 (RDW)。

本章解釋了現代資料倉庫 (MDW)以及資料旅程中的五個步驟：攝取、儲存、轉換、建模和視覺化。我們討論了現代資料倉庫 (MDW)的優勢和挑戰，並探討了EDW增強和臨時資料湖等方法。