DynamoDB - 資料管道

資料管道允許將資料匯出和匯入到表、檔案或 S3 儲存桶中。這當然在備份、測試和類似的需求或場景中非常有用。

在匯出操作中，您使用資料管道控制檯，它建立一個新的管道並啟動一個 Amazon EMR（彈性 MapReduce）叢集來執行匯出。EMR 從 DynamoDB 讀取資料並寫入目標。我們將在本教程的後面詳細討論 EMR。

在匯入操作中，您使用資料管道控制檯，它建立一個管道並啟動 EMR 來執行匯入。它從源讀取資料並寫入目標。

注意 - 由於使用了特定的服務（特別是 EMR 和 S3），匯出/匯入操作會產生費用。

使用資料管道

使用資料管道時，必須指定操作和資源許可權。您可以利用 IAM 角色或策略來定義它們。執行匯入/匯出的使用者應注意，他們需要一個活動的訪問金鑰 ID 和金鑰。

資料管道的 IAM 角色

使用資料管道需要兩個 IAM 角色 -

• DataPipelineDefaultRole - 它包含您允許管道為您執行的所有操作。

• DataPipelineDefaultResourceRole - 它包含您允許管道為您配置的資源。

如果您是資料管道的新使用者，則必須生成每個角色。所有以前的使用者都擁有這些角色，因為它們是現有的角色。

使用 IAM 控制檯為資料管道建立 IAM 角色，並執行以下四個步驟 -

步驟 1 - 登入到位於 https://console.aws.amazon.com/iam/ 的 IAM 控制檯

步驟 2 - 從儀表板中選擇角色。

步驟 3 - 選擇建立新角色。然後在角色名稱欄位中輸入 DataPipelineDefaultRole，並選擇下一步。在角色型別面板中的AWS 服務角色列表中，導航到資料管道，然後選擇選擇。在審查面板中選擇建立角色。

步驟 4 - 選擇建立新角色。