亞馬遜網路服務 - 資料管道

AWS資料管道是一種網路服務，旨在簡化使用者整合分佈在多個AWS服務中的資料並從單個位置分析資料的工作。

使用AWS資料管道，可以訪問源資料，對其進行處理，然後將結果高效地傳輸到相應的AWS服務。

如何設定資料管道？

以下是設定資料管道的步驟：

步驟1 - 使用以下步驟建立管道。

• 登入AWS賬戶。

• 使用此連結開啟AWS資料管道控制檯：https://console.aws.amazon.com/datapipeline/

• 在導航欄中選擇區域。

• 點選“建立新管道”按鈕。

• 在相應的欄位中填寫所需詳細資訊。

  • 在“源”欄位中，選擇“使用模板構建”，然後選擇此模板：“使用ShellCommandActivity入門”。

• 只有選擇模板後，“引數”部分才會開啟。保留S3輸入資料夾和Shell命令執行的預設值。單擊S3輸出資料夾旁邊的資料夾圖示，然後選擇儲存桶。

• 在“計劃”中，保留預設值。

• 在“管道配置”中，保持日誌啟用狀態。單擊日誌的S3位置下的資料夾圖示，然後選擇儲存桶。

• 在“安全/訪問”中，保留IAM角色的預設值。

• 點選“啟用”按鈕。

如何刪除管道？

刪除管道也會刪除所有關聯的物件。

步驟1 - 從管道列表中選擇管道。

步驟2 - 點選“操作”按鈕，然後選擇“刪除”。

步驟3 - 將開啟一個確認提示視窗。點選“刪除”。

AWS資料管道的功能

簡單且經濟高效 - 其拖放功能使在控制檯上建立管道變得容易。其視覺化管道建立器提供了一個管道模板庫。這些模板使為處理日誌檔案、將資料存檔到Amazon S3等任務建立管道變得更容易。

可靠 - 其基礎架構專為容錯執行活動而設計。如果活動邏輯或資料來源出現故障，則AWS資料管道會自動重試該活動。如果故障持續存在，則它將傳送故障通知。我們甚至可以為成功執行、故障、活動延遲等情況配置這些通知警報。

靈活 - AWS資料管道提供各種功能，例如排程、跟蹤、錯誤處理等。它可以配置為執行諸如執行Amazon EMR作業、直接對資料庫執行SQL查詢、執行在Amazon EC2上執行的自定義應用程式等操作。