Google BigQuery：深度理解指南

---

什麼是Google BigQuery？

它是一個完全託管的企業級資料倉庫，幫助您使用內建功能（如人工智慧、地理空間分析和商業智慧）來管理和分析資料。

BigQuery的無伺服器架構允許您使用SQL查詢來回答您公司最重要的難題，而無需進行任何基礎設施管理。

BigQuery的可擴充套件分散式查詢引擎允許您在幾秒鐘內處理TB級資料，並在幾分鐘內處理PB級資料。

BigQuery透過將處理資料的計算引擎與您的訪問控制選項分離，增強了可擴充套件性。

您可以在BigQuery中儲存和分析資料，也可以使用BigQuery來分析資料所在位置的資料。

聯合查詢允許您讀取外部資料來源中的資料，而流式載入支援持續的資料更新。

強大的資源（如BigQuery ML和BI引擎）允許您分析和視覺化該資料。

BigQuery介面包括Google Cloud控制檯介面和BigQuery命令列工具。

工程師和資料分析師可以使用常見程式語言（包括Python、Java、JavaScript和Go）的客戶端庫。BigQuery的REST API和RPC API可以修改和管理資料。

ODBC和JDBC驅動程式提供了與現有應用程式（包括第三方工具和實用程式）的連線。

作為資料工程師、資料架構師、資料倉庫管理員或資料科學家，BigQuery ML文件可以幫助您查詢、執行和管理資料工具，從而為關鍵的業務決策提供資訊。

Google BigQuery的優勢

就分析而言，Google BigQuery是一個極好的選擇。它提供了一種託管式方法來進行資料分析，並簡化了使用者在雲中管理和執行大型分析的方式。

• 分散式架構 - Google在計算資源之間動態分配BigQuery使用的計算，這意味著您無需管理計算叢集。競爭性產品通常需要對特定計算叢集進行自定義配置（和定價），並且這可能會隨著時間的推移而發生變化，這可能是一個挑戰。

• 靈活的定價選項 - 由於Google動態分配資源，因此成本也是動態的。Google提供了一種按需付費的選項，您只需為匯入BigQuery的資料付費，然後按查詢付費。作為此方法的一部分，他們提供了一個報告工具，以提供對使用情況和成本趨勢的額外可見性。對於大型客戶，固定定價也是一種選擇。

• 完全託管 - 由於BigQuery是完全託管的服務，因此後端配置和調整由Google負責。這比需要您選擇和管理大量叢集的競爭方案簡單得多。

• 高可用性 - BigQuery在區域之間自動複製資料以實現高可用性。它還會自動縮放和調整以提供最佳效能，並最大限度地減少任何硬體故障的影響。這與通常僅關注一個區域的競爭方案不同。

如何使用Google BigQuery？

要使用BigQuery，您需要一個Google Cloud Platform帳戶、一個電子郵件地址和一個唯一的秘密金鑰。我到目前為止已經設定了這些，因此如果您還沒有GCP帳戶，請註冊。

然後，單擊“開始”按鈕，然後按照螢幕上的嚮導操作。

為了下載大型資料轉儲，Google提供了一個網站，您可以從中下載一個特殊的電子表格。下載此檔案並將其放在您可以輕鬆找到的地方。

然後，開啟Google BigQuery控制檯。

建立資料集

您需要做的第一件事是建立一個數據集，然後連線到它。

在雲端建立資料集是可行的：啟動一個BigQuery會話，進入一個數據倉庫，並建立一個新的資料集。當您在雲端時，您可以連線到新建立的資料集，並等待BigQuery伺服器啟動。這意味著您的資料儲存在本地機器上。

獲取大型資料轉儲

連線到BigQuery伺服器後，現在是請求大型資料轉儲的時候了。

我們將關注兩個您會發現有用的方面：首先，您可以修改計劃。這意味著您可以將資料庫轉儲計劃到特定日期和時間下載。其次，您可以透過選擇“刪除BigQuery文件”來刪除資料集。

我們來做吧？

點選頂部的“獲取資料”選項卡，然後按“獲取資料”按鈕。

第一個選項（獲取資料）允許您下載整個BigQuery資料集（更多資訊請參見下文）。

第二個選項（獲取資料包）包含一個包含完整資料集的壓縮檔案。選擇它並按確定。

壓縮檔案將立即下載到您的機器上。

結論

BigQuery在下載、共享和處理大型資料集方面非常簡單且靈活。BigQuery是一個完全託管的企業級資料倉庫，它幫助您使用內建功能（如人工智慧、地理空間分析和商業智慧）來管理和分析資料。Google BigQuery是傳統資料倉庫硬體解決方案的替代方案。它用作資料倉庫，因此充當組織中所有分析資料的中央儲存庫。此外，BigQuery將資料表組織成稱為資料集的單元。Google BigQuery優於PostgreSQL的主要原因是其效能。Google BigQuery是100%可擴充套件的，允許根據需要請求必要的資源以立即執行您的查詢，並且它針對查詢效能進行了高度最佳化。