大資料分析 - 概述

---

---

什麼是大資料分析？

Gartner將大資料定義為：“大資料是高容量、高速率和/或高多樣性的資訊，需要具有成本效益的創新資訊處理形式，以增強洞察力、決策和流程自動化。”

大資料是指傳統計算方法無法計算和管理的大量資料集的集合。這是一個廣泛的術語，指的是當今數字世界中企業和政府生成的大量複雜資料集。它通常以PB或TB為單位衡量，並源於三個主要來源：交易資料、機器資料和社交資料。

大資料包含用於儲存、訪問、分析和視覺化資料的資料、框架、工具和方法。先進的技術通訊渠道，如社交網路和強大的裝置，創造了不同的資料建立方式、資料轉換方式以及對行業參與者的挑戰，因為他們必須找到新的方法來處理資料。將從不同來源檢索的大量非結構化原始資料轉換為對組織有用的資料產品，構成了大資料分析的核心。

大資料分析的步驟

大資料分析是一個強大的工具，有助於發現大型和複雜資料集的潛力。為了更好地理解，讓我們將其分解為關鍵步驟：

資料收集

這是第一步，其中資料從不同的來源收集，例如社交媒體、感測器、線上渠道、商業交易、網站日誌等。收集的資料可能是結構化的（預定義的組織，例如資料庫）、半結構化的（例如日誌檔案）或非結構化的（文字文件、照片和影片）。

資料清洗（資料預處理）

下一步是透過去除錯誤並使其適合分析來處理收集的資料。收集的原始資料通常包含錯誤、缺失值、不一致和噪聲資料。資料清洗包括識別和糾正錯誤，以確保資料的準確性和一致性。預處理操作還可以包括資料轉換、規範化和特徵提取，以準備資料進行進一步分析。

總的來說，資料清洗和預處理包括替換缺失資料、糾正不準確之處和刪除重複項。這就像篩選寶藏一樣，將石頭和碎屑分開，只留下珍貴的寶石。

資料分析

這是大資料分析的關鍵階段。使用不同的技術和演算法來分析資料並得出有用的見解。這可能包括描述性分析（總結資料以更好地理解其特徵）、診斷性分析（識別模式和關係）、預測性分析（預測未來趨勢或結果）和規範性分析（根據分析提出建議或決策）。

資料視覺化

這是使用圖表、圖形和互動式儀表板以視覺化形式呈現資料的一步。因此，資料視覺化技術用於使用圖表、圖形、儀表板和其他圖形格式直觀地描繪資料，使資料分析見解更清晰、更易於採取行動。

解釋和決策

一旦完成資料分析和視覺化並獲得見解，利益相關者就會分析結果以做出明智的決策。這些決策包括最佳化公司運營、提升客戶體驗、建立新產品或服務以及指導戰略規劃。

資料儲存和管理

一旦收集到資料，就必須以一種能夠輕鬆檢索和分析的方式進行儲存。傳統的資料庫可能不足以處理大量資料，因此許多組織使用分散式儲存系統（如Hadoop分散式檔案系統（HDFS））或基於雲的儲存解決方案（如Amazon S3）。

持續學習和改進

大資料分析是一個持續收集、清洗和分析資料以發現隱藏見解的過程。它幫助企業做出更好的決策並獲得競爭優勢。

大資料的型別

大資料通常分為三種不同的型別。如下所示：

• 結構化資料
• 半結構化資料
• 非結構化資料

讓我們詳細討論每種型別。

結構化資料

結構化資料具有專用資料模型、定義明確的結構和一致的順序，並且其設計方式使得人和計算機都可以輕鬆訪問和使用。結構化資料通常以定義良好的表格形式儲存，即以行和列的形式儲存。例如：MS Excel、資料庫管理系統 (DBMS)

半結構化資料

半結構化資料可以被描述為另一種型別的結構化資料。它繼承了結構化資料的一些特性；但是，這種型別的大部分資料缺乏特定的結構，並且不遵循諸如RDBMS之類的資料庫模型的正式結構。例如：逗號分隔值 (CSV) 檔案。

非結構化資料

非結構化資料是一種不遵循任何結構的資料型別。它缺乏統一的格式並且不斷變化。但是，它有時可能包含資料和時間相關資訊。例如：音訊檔案、影像等。

大資料分析的型別

一些常見的大資料分析型別如下：

描述性分析

如果資料集與業務相關，描述性分析會給出類似於“我的業務中發生了什麼？”的結果。總的來說，這總結了之前的事件，並有助於建立報告，例如公司的收入、利潤和銷售數字。它還有助於製表社交媒體指標。它可以進行全面、準確、即時的資料和有效視覺化。

診斷性分析

診斷性分析確定資料中的根本原因。它回答的問題類似於“為什麼會發生這種情況？”一些常見的例子包括深入分析、資料探勘和資料恢復。組織使用診斷性分析是因為它們提供了對特定問題的深入見解。總的來說，它可以深入挖掘根本原因，並能夠隔離所有混雜資訊。

**例如** - 來自線上商店的報告顯示銷售額下降，即使人們仍在將商品新增到購物車中。可能有幾件事導致了這種情況，例如表單載入不正確、運費過高或提供的付款方式不足。您可以使用診斷資料來找出原因。

預測性分析

這種型別的分析檢視過去和現在的資料來預測未來會發生什麼。因此，它回答的問題類似於“未來會發生什麼？”資料探勘、人工智慧和機器學習都用於預測性分析，以檢視當前資料並預測未來會發生什麼。它可以預測諸如市場趨勢、客戶趨勢等。

**例如** - Bajaj Finance必須遵守的規則，以確保其客戶免受虛假交易的侵害，由PayPal設定。該公司使用預測性分析來檢視其所有過去付款和使用者行為資料，並制定一個可以發現欺詐的程式。

規範性分析

規範性分析能夠制定戰略決策，分析結果回答“我需要做什麼？”規範性分析與描述性分析和預測性分析一起工作。大多數情況下，它依賴於人工智慧和機器學習。

**例如** - 規範性分析可以幫助公司最大化其業務和利潤。例如，在航空業中，規範性分析應用一組演算法，根據客戶需求自動更改航班價格，並由於惡劣天氣條件、位置、假期季節等原因降低票價。

大資料分析的工具和技術

一些常用的大資料分析工具如下：

Hadoop

用於儲存和分析大量資料的工具。Hadoop 使處理大資料成為可能，它是一個使大資料分析成為可能的工具。

MongoDB

用於管理非結構化資料的工具。它是一個專門設計用於儲存、訪問和處理大量非結構化資料的資料庫。

Talend

用於資料整合和管理的工具。Talend 的解決方案包包含資料整合、資料質量、主資料管理和資料治理的完整功能。Talend 與 Hadoop、Spark 和 NoSQL 資料庫等大資料管理工具整合，使組織能夠高效地處理和分析海量資料。它包含用於與大資料技術互動的聯結器和元件，允許使用者建立用於攝取、處理和分析大量資料的 資料管道。

Cassandra

用於處理資料塊的分散式資料庫。Cassandra 是一個開源的分散式 NoSQL 資料庫管理系統，它在多個商品伺服器上處理海量資料，確保高可用性和可擴充套件性，而不會犧牲效能。

Spark

用於即時處理和分析大量資料。Apache Spark是一個強大而通用的分散式計算框架，它為大資料處理、分析和機器學習提供了一個單一平臺，使其在電子商務、金融、醫療保健和電信等行業廣受歡迎。

Storm

這是一個開源的即時計算系統。Apache Storm是一個強大而通用的流處理框架，允許組織大規模地處理和分析即時資料流，使其適用於銀行、電信、電子商務和物聯網等行業的各種用例。

Kafka

這是一個用於容錯儲存的分散式流平臺。Apache Kafka是一個通用且強大的事件流平臺，允許組織建立可擴充套件、容錯和即時的數管道和流應用程式，以有效地滿足其資料處理需求。