資料結構
網路
關係資料庫管理系統 (RDBMS)
作業系統
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 語言程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝學
法學如何使用 Boto3 遍歷 AWS Glue 中存在的 S3 儲存桶的物件版本
問題陳述：使用 Python 中的 boto3 庫來分頁遍歷您帳戶中建立的 AWS Glue 資料目錄中的 S3 儲存桶的物件版本。
解決此問題的方法/演算法
步驟 1：匯入 boto3 和 botocore 異常以處理異常。
步驟 2：max_items、page_size 和 starting_token 是此函式的可選引數，而 bucket_name 是必需引數。
max_items 表示要返回的記錄總數。如果可用記錄數 > max_items，則響應中將提供 NextToken 以恢復分頁。
page_size 表示每一頁的大小。
starting_token 用於分頁，它使用先前響應中的 NextKeyMarker。
步驟 3：使用 boto3 庫建立一個 AWS 會話。確保在預設配置檔案中提到了 region_name。如果沒有提及，則在建立會話時顯式傳遞 region_name。
步驟 4：為 S3 建立一個 AWS 客戶端。
步驟 5：建立一個 paginator 物件，其中包含使用 list_object_versions 的 S3 儲存桶的物件版本的詳細資訊。
步驟 5：呼叫 paginate 函式並將 max_items、page_size 和 starting_token 作為 PaginationConfig 引數傳遞，同時將 bucket_name 作為 Bucket 引數傳遞。
步驟 6：它根據 max_size 和 page_size 返回記錄數。
步驟 7：如果分頁過程中出現錯誤，則處理通用異常。
示例程式碼
使用以下程式碼來分頁遍歷使用者帳戶中建立的 S3 儲存桶的物件版本：
import boto3
from botocore.exceptions import ClientError
def paginate_through_object_version_s3_bucket(bucket_name, max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
s3_client = session.client('s3')
try:
paginator = s3_client.get_paginator('list_object_versions')
response = paginator.paginate(Bucket=bucket_name, PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_object_version_s3_bucket: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_object_version_s3_bucket: " + e.__str__())
#1st Run
a = paginate_through_object_version_s3_bucket('s3-test-bucket',2,5)
print(*a)
#2nd Run
for items in a:
next_token = (items['NextKeyMarker'])
b = paginate_through_object_version_s3_bucket('s3-test-bucket',2,5,next_token)
print(*b)輸出
#1st Run
{'ResponseMetadata': {'RequestId': 'XEVY**************CD0', 'HostId': **************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': *******************', 'x-amz-request-id': 'XEVYV***************', 'date': 'Sat, 03 Apr 2021 07:14:49 GMT', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'IsTruncated': True, 'KeyMarker': '', 'VersionIdMarker': '', 'NextKeyMarker': 'analytics-s3/template.json', 'NextVersionIdMarker': 'null',
'Versions': [{'ETag': '"e66659e02"', 'Size': 1554, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i/param.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 29, 19, 50, 55, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '928b5bd**************3d70'}},
{'ETag': '"22a4bf7**************9c1ed2612"', 'Size': 1756, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i/params.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2021, 3, 10, 20, 10, 47, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '928b5bde*****************2d4423d70'}}],
'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'DeleteMarkers': None, 'CommonPrefixes': None}
#2nd Run
{'ResponseMetadata': {'RequestId': '3V9*********703V', 'HostId': ****************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': '************************', 'x-amz-request-id': '3V9****************V', 'date': 'Sat, 03 Apr 2021 07:18:56 GMT', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0},
'IsTruncated': True, 'KeyMarker': analytics-s3i2/template.json', 'VersionIdMarker': '', 'NextKeyMarker': 'analytics-s3l/params.json', 'NextVersionIdMarker': 'null', 'Versions':
[{'ETag': '"dbd336ff00cb5af3d"', 'Size': 1557, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i3/param.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 28, 18, 16, 38, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '*****************'}},
{'ETag': '"66b49598df6"', 'Size': 21334, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i3/template.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 28, 18, 16, 38, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '****************'}}],
'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'DeleteMarkers': None, 'CommonPrefixes': None}
更新於：2021年4月15日
627 次瀏覽
廣告