数据结构
网络
关系型数据库管理系统
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
时尚研究
法律研究如何使用 Boto3 遍历 AWS Glue 中的所有作业
在本文中，我们将了解如何遍历 AWS Glue 中的所有作业。
示例
问题陈述：在 Python 中使用boto3库来遍历在您的账户中创建的 AWS Glue 数据目录中的作业。
解决此问题的方法/算法
步骤 1：导入boto3和botocore异常以处理异常。
步骤 2：max_items、page_size和starting_token是此函数的可选参数。
max_items表示要返回的记录总数。如果可用记录数 > max_items，则响应中将提供NextToken以恢复分页。
page_size表示每个页面的大小。
starting_token有助于分页，它使用先前响应中的NextToken。
步骤 3：使用boto3 库创建 AWS 会话。确保在默认配置文件中提到了region_name。如果未提及，则在创建会话时显式传递region_name。
步骤 4：为 Glue 创建 AWS 客户端。
步骤 5：使用get_jobs创建一个paginator对象，其中包含所有爬虫的详细信息。
步骤 5：调用paginate函数并将max_items、page_size和starting_token作为PaginationConfig参数传递。
步骤 6：它根据max_size和page_size返回记录数。
步骤 7：如果在分页过程中出现错误，则处理通用异常。
代码示例
使用以下代码遍历用户账户中创建的所有作业：
import boto3
from botocore.exceptions import ClientError
def paginate_through_jobs(max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_jobs')
response = paginator.paginate(PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_jobs: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_jobs: " + e.__str__())
a = paginate_through_jobs(2,5)
print(*a)输出
{'Jobs': [{'Name': 'PythonShellTest1', 'Role': 'arn:aws:iam::7***********:role/dev-edl-glue-role', 'CreatedOn': datetime.datetime(2021, 1, 6, 19, 59, 19, 387000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 2, 9, 21, 47, 31, 614000, tzinfo=tzlocal()), 'ExecutionProperty': {'MaxConcurrentRuns': 1}, 'Command':
{'Name': 'pythonshell', 'ScriptLocation': s3://pythonShellTest/test1/*', 'PythonVersion': '3'}, 'DefaultArguments': {'--job-bookmark-option': 'job-bookmark-disable', '--job-language': 'python'}, 'MaxRetries': 0, 'AllocatedCapacity': 0, 'Timeout': 2880, 'MaxCapacity': 0.0625, 'GlueVersion': '1.0'}, {'Name': 'pythonSHELL_14012021', 'Role': 'arn:aws:iam::7*************:role/dev-edl-glue-role', 'CreatedOn': datetime.datetime(2021, 1, 14, 20, 22, 40, 965000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 1, 14, 20, 22, 40, 965000, tzinfo=tzlocal()), 'ExecutionProperty': {'MaxConcurrentRuns': 1}, 'Command': {'Name': 'pythonshell', 'DefaultArguments': {'--job-bookmark-option': 'job-bookmark-disable'}, 'MaxRetries': 0, 'AllocatedCapacity': 0, 'Timeout': 2880, 'MaxCapacity': 0.0625, 'GlueVersion': '1.0'}],
'NextToken': 'eyJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE2MTc0NTUzOTYsIm5hbm9zIjo1MjUwMDAwMDB9LCJsYXN0RXZhbHVhdGVkS2V5Ijp7ImpvYk5hbWUiOnsicyI6IlRpY2tkYXRhLXBlcmZvcm1hbmNldGVzdC1qZXR0ZWxhIn0sImFjY291bnRJZCI6eyJzIjoiNzgyMjU4NDg1ODQxIn0sImpvYklkIjp7InMiOiJqXzkyZGQ5ZDNhMWRkOGY2NTJkYzA4MzNmMTM0ZTRiNDRhNmE0YzEzNWY0ZTYwZTkwNmYyOTBhY2NiZDZiMWIxZTcifX19',
'ResponseMetadata': {'RequestId': '3be6708e-*************-389', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 13:09:56 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '3182', 'connection': 'keep-alive', 'x-amzn-requestid': '3be6708e-*************-8389'}, 'RetryAttempts': 0}}
更新于： 2021年4月15日
633 次查看
广告