資料結構
網路
關係型資料庫管理系統 (RDBMS)
作業系統
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 語言程式設計
C++
C#
MongoDB
MySQL
Javascript
PHP
物理學
化學
生物學
數學
英語
經濟學
心理學
社會學
服裝設計
法學如何使用 Boto3 遍歷 AWS Glue 中作業的作業執行
在本文中，我們將瞭解如何遍歷 AWS Glue 中現有作業的所有作業執行。
示例
問題陳述：使用 Python 中的 boto3 庫來分頁遍歷您帳戶中建立的 AWS Glue 資料目錄中作業的作業執行。
解決此問題的方法/演算法
步驟 1：匯入 boto3 和 botocore 異常以處理異常。
步驟 2：max_items、page_size 和 starting_token 是此函式的可選引數，而 job_name 是必需的。
max_items 表示要返回的記錄總數。如果可用記錄數 > max_items，則響應中將提供 NextToken 以恢復分頁。
page_size 表示每頁的大小。
starting_token 用於分頁，它使用先前響應中的 NextToken。
步驟 3：使用 boto3 lib 建立 AWS 會話。確保在預設配置檔案中提到了 region_name。如果未提及，則在建立會話時顯式傳遞 region_name。
步驟 4：為 Glue 建立 AWS 客戶端。
步驟 5：建立一個 paginator 物件，其中包含使用 get_job_runs 獲取的所有爬蟲的詳細資訊。
步驟 6：呼叫 paginate 函式並將 max_items、page_size 和 starting_token 作為 PaginationConfig 引數傳遞。
步驟 7：它根據 max_size 和 page_size 返回記錄數。
步驟 8：如果在分頁過程中出現錯誤，則處理通用異常。
程式碼示例
使用以下程式碼遍歷使用者帳戶中建立的作業的所有作業執行：
import boto3
from botocore.exceptions import ClientError
def paginate_through_jobruns(job_name,max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_job_runs')
response = paginator.paginate(JobName=job_name, PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_jobruns: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_jobruns: " + e.__str__())
a = paginate_through_crawlers("glue_test_job",1,5)
print(*a)輸出
{'JobRuns': [
{'Id': 'jr_435b66cfe451adf5fa7c7f914be3c87d199616f52bd13bdd91bb1269f02db705', 'Attempt': 0, 'JobName': ' glue_test_job, 'StartedOn': datetime.datetime(2021, 1, 25, 22, 19, 56, 52000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 1, 25, 22, 21, 50, 603000, tzinfo=tzlocal()), 'CompletedOn': datetime.datetime(2021, 1, 25, 22, 21, 50, 603000, tzinfo=tzlocal()), 'JobRunState': 'SUCCEEDED', 'Arguments': {'--additional-python-modules': 'pandas==1.1.5', '--enable-glue-datacatalog': 'true', '--extra-files': 's3://glue/job/test, '--job-bookmark-option': 'job-bookmark-disable', 'step': '0'}, 'PredecessorRuns': [], 'AllocatedCapacity': 2, 'ExecutionTime': 107, 'Timeout': 2880, 'MaxCapacity': 2.0, 'WorkerType': 'G.1X', 'NumberOfWorkers': 2, 'LogGroupName': '/aws-glue/jobs', 'GlueVersion': '2.0'}],
'NextToken': 'eyJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE2MTc0NTQ0NDgsIm5hbm9zIjo2OTUwMDAwMDB9LCJsYXN0RXZhbHVhdGVkS2V5Ijp7ImpvYklkIjp7InMiOiJqXzdlYzIzNTYwOWRkMGVmYjRhNTgyNDU2YWVlZmQ4NmFlMTgwYTAyNDQ3NWY2ODRkMzc4YWFiZDBmYTk1MGJmMDcifSwicnVuSWQiOnsicyI6ImpyXzJjNDFkMmJmMzY1NGZhZGFhYzkzMjU1ZTY0OTkxOTg2YTE0Yjk2MjIyMTRlNDc4ZGNkOWE0ZTY5N2M3MGZmY2YifSwic3RhcnRlZE9uIjp7Im4iOiIxNjExMjA3MjcwODIyIn19fQ==',
'ResponseMetadata': {'RequestId': '1874370e-***********-40d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 12:54:08 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '6509', 'connection': 'keep-alive', 'x-amzn-requestid': '1874370e-**************40d'}, 'RetryAttempts': 0}}
更新於：2021年4月15日
398 次瀏覽
廣告