資料結構
網路
關係資料庫管理系統
作業系統
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝設計
法律研究如何使用 Boto3 遍歷 AWS Glue 中的所有資料庫
在本文中，我們將瞭解如何遍歷 AWS Glue 中存在的所有資料庫。
示例
問題陳述：在 Python 中使用boto3庫遍歷您帳戶中建立的 AWS Glue 資料目錄中的所有資料庫。
解決此問題的方法/演算法
步驟 1：匯入boto3和botocore異常以處理異常。
步驟 2：max_items、page_size和starting_token是此函式的引數。
max_items表示要返回的記錄總數。如果可用記錄數 > max_items，則響應中將提供 NextToken 以恢復分頁。
page_size表示每頁的大小。
starting_token有助於分頁，它使用先前響應中的NextToken。
步驟 3：使用boto3 庫建立 AWS 會話。確保在預設配置檔案中提到了region_name。如果未提及，則在建立會話時顯式傳遞region_name。
步驟 4：為 glue 建立 AWS 客戶端。
步驟 5：使用get_databases建立一個paginator物件，其中包含所有爬蟲的詳細資訊。
步驟 6：呼叫paginate函式並將max_items、page_size和starting_token作為 PaginationConfig 傳遞。
步驟 7：它根據max_size和page_size返回記錄數。
步驟 8：如果在分頁過程中出現錯誤，請處理通用異常。
示例程式碼
使用以下程式碼遍歷使用者帳戶中建立的所有爬蟲 -
import boto3
from botocore.exceptions import ClientError
def paginate_through_databases(max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_databases')
response = paginator.paginate(PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_databases: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_databases: " + e.__str__())
a = paginate_through_databases(2,5)
print(*a)輸出
{'DatabaseList': [
{'Name': 'aurora_glue_catalog', 'CreateTime': datetime.datetime(2020, 11, 18, 14, 24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30, 9, tzinfo=tzlocal())}],
'NextToken': 'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicyI6ImRldjEtZnJlYV9lZGxfZ2x1ZV9kYXRhYmFzZSJ9fSwiZXhwaXJhdGlvbiI6eyJzZWNvbmRzIjoxNjE3NDUwNDQxLCJuYW5vcyI6ODcwMDAwMDB9LCJzaGFyZWRDb250ZXh0IjpmYWxzZSwidGFnQ29udGV4dCI6ZmFsc2V9',
'ResponseMetadata': {'RequestId': '3e1c4f54-d573-4ba9-9948-832273ecca02', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 11:47:21 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '1617', 'connection': 'keep-alive', 'x-amzn-requestid': '3e1c4f54-d573-4ba9-9948-832273ecca02'}, 'RetryAttempts': 0}}
更新於： 2021年4月15日
455 次檢視
廣告