資料倉庫 - 元資料概念

什麼是元資料？

元資料簡單來說就是關於資料的資料。用於表示其他資料的資料稱為元資料。例如，書籍的索引充當書籍內容的元資料。換句話說，我們可以說元資料是引導我們找到詳細資料的彙總資料。在資料倉庫方面，我們可以將元資料定義如下。

• 元資料是資料倉庫的路線圖。

• 資料倉庫中的元資料定義了倉庫物件。

• 元資料充當目錄。此目錄幫助決策支援系統定位資料倉庫的內容。

注意 - 在資料倉庫中，我們為給定資料倉庫的資料名稱和定義建立元資料。除了這些元資料之外，還會為任何提取的資料的時間戳、提取資料的來源建立附加元資料。

元資料的類別

元資料可以大致分為三類：

• 業務元資料 - 它包含資料所有權資訊、業務定義和更改策略。

• 技術元資料 - 它包括資料庫系統名稱、表和列名稱和大小、資料型別和允許的值。技術元資料還包括結構資訊，例如主鍵和外部索引鍵屬性以及索引。

• 操作元資料 - 它包括資料的有效性和資料血統。資料的有效性是指資料是活動狀態、已存檔還是已清除。資料血統是指資料遷移的歷史記錄以及對其應用的轉換。

元資料的角色

元資料在資料倉庫中扮演著非常重要的角色。元資料在倉庫中的作用與倉庫資料不同，但它扮演著重要的角色。下面解釋了元資料的各種角色。

• 元資料充當目錄。

• 此目錄幫助決策支援系統定位資料倉庫的內容。

• 當資料從操作環境轉換為資料倉庫環境時，元資料幫助決策支援系統進行資料對映。

• 元資料有助於在當前詳細資料和高度彙總資料之間進行彙總。

• 元資料還有助於在輕度詳細資料和高度彙總資料之間進行彙總。

• 元資料用於查詢工具。

• 元資料用於提取和清洗工具。

• 元資料用於報表工具。

• 元資料用於轉換工具。

• 元資料在載入功能中起著重要作用。

下圖顯示了元資料的角色。

元資料倉庫

元資料倉庫是資料倉庫系統的一個組成部分。它包含以下元資料：

• 資料倉庫的定義 - 它包括資料倉庫結構的描述。該描述由模式、檢視、層次結構、派生資料定義以及資料市集位置和內容定義。

• 業務元資料 - 它包含資料所有權資訊、業務定義和更改策略。

• 操作元資料 - 它包括資料的有效性和資料血統。資料的有效性是指資料是活動狀態、已存檔還是已清除。資料血統是指資料遷移的歷史記錄以及對其應用的轉換。

• 從操作環境到資料倉庫的對映資料 - 它包括源資料庫及其內容、資料提取、資料分割槽清理、轉換規則、資料重新整理和清除規則。

• 彙總演算法 - 它包括維度演算法、粒度資料、聚合、彙總等。

元資料管理的挑戰

元資料的重要性怎麼強調都不為過。元資料有助於提高報告的準確性，驗證資料轉換，並確保計算的準確性。元資料還將業務術語的定義強制執行給業務終端使用者。 儘管元資料有如此多的用途，但也面臨著挑戰。下面討論其中一些挑戰。

• 大型組織中的元資料分散在整個組織中。這些元資料分散在電子表格、資料庫和應用程式中。

• 元資料可能存在於文字檔案或多媒體檔案中。要將這些資料用於資訊管理解決方案，必須對其進行正確定義。

• 沒有業界普遍接受的標準。資料管理解決方案供應商關注面狹窄。

• 沒有簡單易行且被普遍接受的元資料傳遞方法。