- BigQuery 教程
- BigQuery - 首頁
- BigQuery - 概述
- BigQuery - 初始設定
- BigQuery 與本地 SQL 引擎
- BigQuery - Google Cloud Console
- BigQuery - Google Cloud 層級結構
- 什麼是 Dremel?
- 什麼是 BigQuery Studio?
- BigQuery - 資料集
- BigQuery - 表格
- BigQuery - 檢視
- BigQuery - 建立表格
- BigQuery - 基本 Schema 設計
- BigQuery - 修改表格
- BigQuery - 複製表格
- 刪除和恢復表格
- BigQuery - 填充表格
- 標準 SQL 與傳統 SQL
- BigQuery - 編寫第一個查詢
- BigQuery - CRUD 操作
- 分割槽和聚類
- BigQuery - 資料型別
- BigQuery - 複雜資料型別
- BigQuery - STRUCT 資料型別
- BigQuery - ARRAY 資料型別
- BigQuery - JSON 資料型別
- BigQuery - 表格元資料
- BigQuery - 使用者自定義函式
- 連線到外部資料來源
- 整合計劃查詢
- 整合 BigQuery API
- BigQuery - 整合 Airflow
- 整合連線的表格
- 整合資料傳輸
- BigQuery - 物化檢視
- BigQuery - 角色和許可權
- BigQuery - 查詢最佳化
- BigQuery - BI 引擎
- 監控使用情況和效能
- BigQuery - 資料倉庫
- 挑戰與最佳實踐
- BigQuery 資源
- BigQuery - 快速指南
- BigQuery - 資源
- BigQuery - 討論
BigQuery - Google Cloud 層級結構
在繼續之前,瞭解與 BigQuery 及其相關流程相關的基本概念和詞彙非常重要。
首先,重要的是要理解,即使雲計算提供了幾乎無限的處理能力,BigQuery 使用者在需要執行以下活動時也會遇到問題:
- 執行計算量大的 SQL 操作,例如交叉連線或笛卡爾積。
- 嘗試執行大型查詢而未指定目標表。
- 在使用高峰時段執行大型查詢(如果作為企業使用者使用 BigQuery)。
- 按需或“臨時”查詢可能會導致死鎖,尤其是在與計劃流程爭奪執行時隙時。
Google Cloud 層級結構
如果您預計將在 BigQuery 中建立和填充資料來源,請務必注意 Google Cloud 的層級結構:
- 組織
- 專案
- 資料集
- 表格
1. 組織層
除非您是帳戶所有者、高管或決策者,否則您不太可能需要擔心組織層。可以將其視為包含您在導航 BigQuery Studio 和在 SQL 環境中編寫 SQL 查詢時遇到的其他元素的實體。
2. Google Cloud 組織中的多個專案
任何 Google Cloud 組織都可以擁有多個專案。有時,公司或企業使用者(我們將有意避免使用“組織”一詞以避免混淆)會建立不同的專案來分離暫存和生產環境。
其他時候,這些高階使用者會建立不同的專案以更好地控制潛在的敏感資料,例如個人身份資訊 (PII) 和機密收入資訊。
無論哪種情況,當您開始使用 BigQuery 時,您將建立或獲得許可權以訪問 BigQuery,作為具有特定許可權和角色範圍的使用者。
3. 專案中的資料集和表格
在專案中,最重要的是要記住資料集和表格。為了澄清,資料集包含一個或多個表格。為了在技術討論中保持準確性,請儘量避免互換使用這些術語。
您將在資料集中看到的其他元素包括:
- 例程
- 模型
- 檢視
這些其他資料元素將在後續章節中更詳細地討論。
廣告