BigQuery - 挑戰與最佳實踐

作為一種雲計算工具，BigQuery 也並非沒有挑戰。在本簡短章節中，我們試圖突出BigQuery面臨的一些顯著挑戰。

從業務角度看 BigQuery

從業務角度來看，關於 BigQuery 的最大障礙之一是確保領導層能夠接受測試、適應或擴充套件平臺以滿足特定組織的需求。

• 許多企業滿足於依賴本地資料儲存，並不考慮雲端儲存選項。
• 或者更糟糕的是，企業甚至可能根本不認為任何形式的資料倉庫是其大資料儲存的可行解決方案。
• 業務領導者可能會將 BigQuery 的可變成本視為潛在的資源浪費，特別是如果他們的組織中有許多開發人員、工程師、架構師和終端使用者依賴於儲存在 BigQuery 中並從中查詢的資料。

從使用者角度看 BigQuery

從使用者的角度來看，BigQuery 有一定的學習曲線。

• 提供的兩種 SQL 版本，標準 SQL 和 傳統 SQL，意味著那些使用過其他 SQL 方言的人可能會混淆需要啟用哪種模式來執行給定的查詢或使用特定函式。
• 當嘗試將基於 BigQuery 的資料倉庫與外部連線（如 Google 表格或 BigQuery API）整合時，使用 BigQuery 進行開發可能具有挑戰性。
• 儘管 BigQuery 在執行時間前後都能提供對消耗的資源和其他效能指標的可見性，但 BigQuery 的錯誤日誌可能含糊不清，從而導致故障排除時感到沮喪——特別是對於新手開發人員。

BigQuery 最佳實踐

為了避免或克服這些挑戰，有必要了解並實施 BigQuery 的最佳實踐。充分利用 BigQuery 需要了解 Google Cloud Platform、雲計算和 SQL 一般知識。

為了減少收到意外的高額月賬單的可能性，請啟用監控並經常檢視按 BigQuery 過濾的賬單和使用情況資訊板。

不要不斷地臨時增加插槽，而應促使開發人員在程式碼層面思考和實施最佳實踐。這可能包括：

• 透過避免諸如“SELECT *”之類的寬泛查詢來減少處理的資料範圍
• 選擇高效的 SQL 查詢設計模式以最佳化查詢操作
• 避免計算密集型查詢，例如那些使用萬用字元引用和過度元資料讀取的查詢
• 使用可用的工具，例如 BigQuery 的 BI 引擎，來識別有問題的操作，並在必要時提高效能
• 透過只允許使用者使用 WHERE 子句進行查詢來指定大型表的查詢限制

掌握平臺和 SQL 知識的使用者將能夠構建、擴充套件和推廣該平臺，並將 BigQuery 的強大功能新增到他們的個人技能和組織技術堆疊中。