整合BigQuery API

BigQuery API 允許開發者利用 BigQuery 的處理能力和 Google SQL 資料操作函式來執行重複性任務。

BigQuery API 是一個 REST API，支援以下語言：

• C#
• Go
• Java
• JavaScript
• PHP
• Python
• Ruby

由於 Python 是資料科學和資料分析中最流行的語言之一，本章將探討 Python 環境下的 BigQuery API。

BigQuery API 部署選項

就像開發者不能直接從 BigQuery Studio 部署 SQL 一樣，對於生產工作流程，訪問 BigQuery API 的程式碼必須透過相關的 GCP 產品進行部署。

部署選項包括：

• Cloud Run
• Cloud Functions
• 虛擬機器
• Cloud Composer (Airflow)

BigQuery API 需要身份驗證

使用 BigQuery API 需要身份驗證：

• 如果在本地執行指令碼，可以下載與執行 BigQuery 的服務帳戶關聯的憑據檔案，然後將其設定為環境變數。
• 如果在連線到雲的環境（例如 Vertex AI 筆記本）中執行 BigQuery，則身份驗證會自動完成。

為了避免下載檔案，GCP 還支援大多數應用程式的OAuth 2.0 身份驗證流程。

身份驗證後，典型的 BigQuery API 用例包括：

• 執行包含給定表的 CRUD 操作的 SQL 指令碼。
• 檢索專案或資料集元資料以建立監控框架。
• 執行 SQL 查詢以使用來自其他來源的資料合成或豐富 BigQuery 資料。

“.query()” 方法

毫無疑問，最流行的 BigQuery API 方法之一是“.query() 方法”。當與 Pandas 的“.to_dataframe()”結合使用時，它為查詢和以可讀形式顯示資料提供了一個強大的選項。

此查詢應獲取以下輸出：

BigQuery API 不是黑盒。除了日誌記錄（使用 Google Cloud Logging 客戶端）之外，開發者還可以在 UI 中看到按個人使用者和專案級別細分的即時作業資訊。對於任何失敗的作業進行故障排除，這應該是您的第一步。