BigQuery 教程

雲計算知識已成為資料科學工作領域的一項必備技能。從“資料分析師”到“資料工程師”的每個角色都期望具備雲計算的基本知識。除了微軟和亞馬遜網路服務（AWS）之外，Google Cloud Platform (GCP) 是最受歡迎的雲平臺之一。掌握 GCP 工具，尤其是SQL引擎（如 BigQuery），對於開始或發展資料導向的職業至關重要。

與MySQL或 Postgre 等本地 SQL 工具不同，Google BigQuery 利用雲計算的強大功能，允許使用者與海量資料進行互動並無縫擴充套件。BigQuery 的 SQL 方言有一些與傳統方言（如PostgreSQL）不同的特性，但是，瞭解如何編寫高效的查詢以及瞭解“幕後”發生的事情，將使 BigQuery 使用者能夠快速掌握技能。

關於 BigQuery 教程

本教程的目的是讓讀者透過使用 BigQuery Studio（BigQuery 的 SQL 引擎）和其他外部 Google Cloud 整合來了解 BigQuery 的基本概念。本教程涵蓋了從初始設定到建立資料集和表格，再到建立和運行復雜 SQL 指令碼的所有內容。

除了動手實踐 SQL 概念之外，學習者將更好地理解 BigQuery “幕後”的架構和設計，以及這種設計如何使使用者能夠建立、查詢和操作大型資料集。

本教程還將討論圍繞 BigQuery 作為可行的資料倉庫解決方案的業務用例和相關性。

誰應該使用 BigQuery 教程？

BigQuery 教程旨在面向廣泛的學習者。這些受眾包括資料分析師、資料科學家、資料工程師、軟體工程師以及在其工作中使用資料和 SQL 引擎的業務領導者。

希望深入瞭解雲計算和 SQL 結合的開發者也可以從本教程中受益。雖然本教程面向初學者，但它也可以增強中級使用者和在職專業人士的理解。

平均讀者經驗水平會有所不同，但通常而言，從本教程中獲益最多的將是學生、實習生或初級開發者。

學習 BigQuery 的先決條件

在本教程中，我們假設您具備 SQL、雲計算和資料分析的基礎知識。

雖然本教程中重點介紹了 SQL，但以下章節旨在涵蓋 BigQuery 作為BI工具，並且沒有專門教授 SQL。因此，SQL 的基本知識是本教程以及學習 BigQuery 的先決條件。

但是，即使具備 SQL 知識，也需要注意 BigQuery 有自己的 SQL 方言，並且函式和語法可能有所不同。由於 BigQuery 是 Google Cloud Platform 上的一個應用程式，因此強烈建議任何學習 BigQuery 的人都熟悉或有云計算概念的經驗。

BigQuery 常見問題解答

在本節中，我們收集了一組關於 BigQuery 的常見問題及其答案 -

1. 什麼是 Google BigQuery？

Google BigQuery 是 Google Cloud Platform 的無伺服器 SQL 引擎和資料倉庫解決方案。它主要透過在Google Cloud Console中使用 BigQuery Studio 來訪問。

透過各種方法，BigQuery 允許使用者使用無伺服器雲基礎設施即時查詢、建立和操作資料集。因此，學生、專業人士和組織能夠以幾乎無限的規模儲存和分析資料。

2. 為什麼應該使用 BigQuery？

SQL 和雲計算是初級資料科學家、資料工程師、資料分析師和軟體開發人員最搶手和最具市場價值的技能之一。

Google Cloud 是全球最大、最知名的雲供應商之一。BigQuery SQL 的知識可以幫助初級開發人員學習或完善技能，以找到工作並幫助構建企業級資料基礎設施。

業務領導者應認真考慮將 BigQuery 作為構建和改進現有資料基礎設施的可行選擇；對於那些希望從本地（on-prem）設定遷移到雲基礎設施的公司來說，尤其如此。

3. BigQuery 的主要功能是什麼？

BigQuery 的主要功能是其 SQL 環境，BigQuery Studio。BigQuery 的功能還包括與現有產品（如 Google Sheets、Google Cloud Storage、gcloud 命令列介面 (CLI) 工具和BigQuery API）的整合。

BigQuery 還包括用於透過 BigQuery 資料傳輸服務自動從上游 Google Cloud 源傳輸資料的服務。BigQuery 允許建立和促進計劃任務查詢、建立檢視以及將檢視轉換為物化檢視。

4. 初學者學習 BigQuery 的最佳方法是什麼？

初學者學習 BigQuery 的最佳方法是透過實踐經驗，就像本教程所說明和鼓勵的那樣。對於 BigQuery 初學者，Google Cloud Platform 提供對公共資料集的訪問，併為考慮使用該平臺的使用者提供 3 個月的初始試用期。

Google Cloud Platform 還為有興趣學習 BigQuery 的初學者建立了學習資源。這些學習資源包括 Google Qwiklabs、動手學習練習以及關於 BigQuery 流程和語法的廣泛文件。

5. BigQuery 如何儲存資料？

BigQuery 是一個SQL 資料庫，以結構化的方式儲存資料（與非結構化資料相對）。BigQuery 是一個列式資料儲存，這意味著資料儲存在列中，使用者可以根據需要訪問、操作和新增/刪除這些列。

BigQuery 的資料儲存還允許開發人員將資料儲存在分割槽中，分割槽是根據日期等欄位劃分的“資料段”。

6. BigQuery 如何處理安全性？

BigQuery 與現有的 Google Cloud Platform 功能整合以保護資料。隨著資料隱私在資料科學領域變得越來越重要，BigQuery 為使用者提供了多種保護敏感資料的方法。

BigQuery 允許使用者設定策略標籤以指示特定欄位（列）是否包含個人身份資訊 (PII)。BigQuery 還允許專案所有者分配許可權和角色，從而限制對潛在敏感資料的訪問。

7. 在使用 BigQuery 時，我是否需要了解 Google Cloud Storage (GCS)？

在使用儲存在 BigQuery 中的資料時，瞭解 Google Cloud Storage (GCS) 不是先決條件。但是，瞭解雲端儲存的原理以及外部儲存的具體細節和限制對於理解 BigQuery 的“內部工作原理”很有幫助。

此外，瞭解 Google Cloud Storage 可以使使用者能夠更好地、更無縫地將儲存在 Cloud Storage 中的資料與 BigQuery 整合。瞭解 Cloud Storage 可以幫助開發人員更快地瞭解如何將 Google Sheets 和其他外部整合與 BigQuery 連線。