OBIEE – 資料倉庫



在當今競爭激烈的市場中,大多數成功的公司都能快速響應市場變化和機遇。快速響應的要求是透過有效和高效地利用資料和資訊來實現的。“資料倉庫”是按類別組織的資料的中央儲存庫,用於支援組織的決策者。一旦資料儲存在資料倉庫中,就可以訪問它進行分析。

“資料倉庫”一詞最早由比爾·因蒙於 1990 年提出。根據他的說法,“資料倉庫是面向主題的、整合的、隨時間變化的、非易失性的資料集合,用於支援管理決策過程。”

拉爾夫·金鮑爾根據資料倉庫的功能給出了一個定義。他說,“資料倉庫是交易資料的副本,專門用於查詢和分析。”

資料倉庫(DW 或 DWH)是一個用於資料分析和報告目的的系統。它們是儲存來自一個或多個異構資料來源的資料的儲存庫。它們儲存當前和歷史資料,並用於建立分析報告。DW 可用於為高階管理層建立互動式儀表板。

例如,分析報告可以包含公司季度比較或年度銷售報告比較的資料。

DW 中的資料來自多個運營系統,例如銷售、人力資源、營銷、倉庫管理等。它包含來自不同交易系統的歷史資料,但也可能包含來自其他來源的資料。DW 用於將資料處理和分析工作負載與交易工作負載分離,並能夠整合來自多個數據源的資料。

資料倉庫的必要性

例如 - 您有一個住房貸款機構,資料來自多個 SAP/非 SAP 應用程式,例如營銷、銷售、ERP、HRM 等。這些資料被提取、轉換並載入到 DW 中。如果您需要對產品的季度/年度銷售進行比較,則不能使用操作資料庫,因為這會掛起交易系統。這就是使用 DW 的必要性所在。

資料倉庫的特徵

DW 的一些主要特徵包括 -

  • 它用於報告和資料分析。
  • 它提供了一箇中央儲存庫,其中集成了來自一個或多個來源的資料。
  • 它儲存當前和歷史資料。

資料倉庫與事務系統

以下是資料倉庫和操作資料庫(事務系統)之間的一些區別 -

  • 事務系統設計用於已知的工作負載和事務,例如更新使用者記錄、搜尋記錄等。但是,DW 事務更復雜,並呈現出一般形式的資料。

  • 事務系統包含組織的當前資料,而 DW 通常包含歷史資料。

  • 事務系統支援並行處理多個事務。需要併發控制和恢復機制來維護資料庫的一致性。

  • 操作資料庫查詢允許讀取和修改操作(刪除和更新),而 OLAP 查詢只需要對儲存資料的只讀訪問(select 語句)。

  • DW 涉及資料清理、資料整合和資料整合。

DW 具有三層架構 - 資料來源層、整合層和展示層。下圖顯示了資料倉庫系統的常見架構。

Data Warehouse Architecture

資料倉庫系統型別

以下是 DW 系統的型別 -

  • 資料集市
  • 聯機分析處理 (OLAP)
  • 聯機事務處理 (OLTP)
  • 預測分析

資料集市

資料集市是最簡單的 DW 形式,它通常專注於單個功能領域,例如銷售、財務或營銷。因此,資料集市通常只從少量資料來源獲取資料。

來源可以是內部事務系統、中央資料倉庫或外部資料來源應用程式。非規範化是此係統中資料建模技術的規範。

Data Mart

聯機分析處理 (OLAP)

OLAP 系統包含較少的事務,但涉及複雜的計算,例如使用聚合 - 總和、計數、平均值等。

什麼是聚合?

我們儲存帶有聚合資料的表,例如每年(1 行)、每季度(4 行)、每月(12 行),現在我們想比較資料,例如每年只會處理 1 行。但是,在非聚合資料中,將處理所有行。

OLAP 系統通常將資料儲存在多維模式中,例如星型模式、星系模式(其中事實表和維度表以邏輯方式連線)。

在 OLAP 系統中,執行查詢的響應時間是有效性的衡量標準。資料探勘技術廣泛使用 OLAP 應用程式來從 OLAP 系統中獲取資料。OLAP 資料庫將聚合的歷史資料儲存在多維模式中。與資料集市相比,OLAP 系統的資料延遲為幾個小時,資料集市的資料延遲通常接近幾天。

聯機事務處理 (OLTP)

OLTP 系統以大量短的聯機事務(如插入、更新、刪除等)而聞名。OLTP 系統提供快速的查詢處理,並且還負責在多訪問環境中提供資料完整性。

對於 OLTP 系統,有效性透過每秒處理的事務數來衡量。OLTP 系統通常僅包含當前資料。用於儲存事務資料庫的模式是實體模型。規範化用於 OLTP 系統中的資料建模技術。

OLTP 與 OLAP

下圖顯示了 OLTP 和 OLAP 系統之間的主要區別。

OLTP vs OLAP

索引 - 在 OLTP 系統中,只有少量索引,而在 OLAP 系統中,為了效能最佳化,有許多索引。

連線 - 在 OLTP 系統中,大量連線和資料被規範化;然而,在 OLAP 系統中,連線較少且非規範化。

聚合 - 在 OLTP 系統中,資料未聚合,而在 OLAP 資料庫中,使用了更多聚合。

廣告