亞馬遜網路服務 - Kinesis

Amazon Kinesis 是一款託管的、可擴充套件的、基於雲的服務，允許即時處理每秒大量流資料。它專為即時應用程式而設計，允許開發人員從多個來源攝取任意數量的資料，並可根據 EC2 例項上的執行情況進行擴充套件。

它用於捕獲、儲存和處理來自大型分散式流（例如事件日誌和社交媒體資訊流）的資料。處理資料後，Kinesis 會同時將其分發給多個消費者。

如何使用 Amazon KCL？

在需要快速移動資料及其持續處理的情況下使用它。Amazon Kinesis 可用於以下情況：

• 資料日誌和資料饋送攝取 - 我們無需等待批次處理資料，可以在資料生成後立即將其推送到 Amazon Kinesis 流中。它還可以在資料生產者出現故障時保護資料免受丟失。例如：系統和應用程式日誌可以連續新增到流中，並在需要時以秒為單位提供。

• 即時圖表 - 我們可以使用 Amazon Kinesis 流提取圖表/指標以建立報表結果。我們無需等待資料批次。

• 即時資料分析 - 我們可以使用 Amazon Kinesis 執行即時流資料分析。

Amazon Kinesis 的限制？

使用 Amazon Kinesis 流時，應牢記以下一些限制：

• 預設情況下，流的記錄最多可訪問 24 小時，透過啟用擴充套件資料保留，最多可延長至 7 天。

• 單個記錄中資料塊（Base64 編碼前的資料有效負載）的最大大小為 1 兆位元組 (MB)。

• 一個分片每秒最多支援 1000 個 PUT 記錄。

• 有關限制的更多資訊，請訪問以下連結：https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

如何使用 Amazon Kinesis？

以下是使用 Amazon Kinesis 的步驟：

步驟 1 - 使用以下步驟設定 Kinesis 流：

• 登入 AWS 賬戶。從亞馬遜管理控制檯選擇 Amazon Kinesis。

• 單擊“建立流”，並填寫所需的欄位，例如流名稱和分片數。單擊“建立”按鈕。

• 現在，該流將顯示在“流列表”中。

步驟 2 - 在 Kinesis 流上設定使用者。建立新使用者併為每個使用者分配策略。（我們上面已經討論了建立使用者和為其分配策略的過程）

步驟 3 - 將您的應用程式連線到 Amazon Kinesis；在這裡，我們將 Zoomdata 連線到 Amazon Kinesis。以下是連線步驟。

• 以管理員身份登入 Zoomdata 並單擊選單中的“來源”。

• 選擇 Kinesis 圖示並填寫所需詳細資訊。單擊“下一步”按鈕。

• 在“流”選項卡上選擇所需的流。

• 在“欄位”選項卡上，根據需要建立唯一的標籤名稱，然後單擊“下一步”按鈕。

• 在“圖表”選項卡上，啟用資料的圖表。根據需要自定義設定，然後單擊“完成”按鈕以儲存設定。

Amazon Kinesis 的功能

• 即時處理 - 它允許即時收集和分析資訊，例如股票交易價格，否則我們需要等待資料輸出報告。

• 易於使用 - 使用 Amazon Kinesis，我們可以快速建立新的流，設定其要求並開始流式傳輸資料。

• 高吞吐量，彈性 - 它允許即時收集和分析資訊，例如股票交易價格，否則我們需要等待資料輸出報告。

• 與其他亞馬遜服務整合 - 它可以與 Amazon Redshift、Amazon S3 和 Amazon DynamoDB 整合。

• 構建 Kinesis 應用程式 - Amazon Kinesis 為開發人員提供客戶端庫，使他們能夠設計和操作即時資料處理應用程式。將 Amazon Kinesis 客戶端庫新增到 Java 應用程式中，它將在有新的資料可供處理時發出通知。

• 經濟高效 - Amazon Kinesis 對於任何規模的工作負載都經濟高效。按使用付費，按需付費。