数据结构
网络
关系型数据库管理系统 (RDBMS)
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装设计
法学如何使用 Boto3 遍历 AWS Glue 中作业的作业运行
在本文中，我们将了解如何遍历 AWS Glue 中现有作业的所有作业运行。
示例
问题陈述：使用 Python 中的 boto3 库来分页遍历您帐户中创建的 AWS Glue 数据目录中作业的作业运行。
解决此问题的方法/算法
步骤 1：导入 boto3 和 botocore 异常以处理异常。
步骤 2：max_items、page_size 和 starting_token 是此函数的可选参数，而 job_name 是必需的。
max_items 表示要返回的记录总数。如果可用记录数 > max_items，则响应中将提供 NextToken 以恢复分页。
page_size 表示每页的大小。
starting_token 用于分页，它使用先前响应中的 NextToken。
步骤 3：使用 boto3 lib 创建 AWS 会话。确保在默认配置文件中提到了 region_name。如果未提及，则在创建会话时显式传递 region_name。
步骤 4：为 Glue 创建 AWS 客户端。
步骤 5：创建一个 paginator 对象，其中包含使用 get_job_runs 获取的所有爬虫的详细信息。
步骤 6：调用 paginate 函数并将 max_items、page_size 和 starting_token 作为 PaginationConfig 参数传递。
步骤 7：它根据 max_size 和 page_size 返回记录数。
步骤 8：如果在分页过程中出现错误，则处理通用异常。
代码示例
使用以下代码遍历用户帐户中创建的作业的所有作业运行：
import boto3
from botocore.exceptions import ClientError
def paginate_through_jobruns(job_name,max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_job_runs')
response = paginator.paginate(JobName=job_name, PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_jobruns: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_jobruns: " + e.__str__())
a = paginate_through_crawlers("glue_test_job",1,5)
print(*a)输出
{'JobRuns': [
{'Id': 'jr_435b66cfe451adf5fa7c7f914be3c87d199616f52bd13bdd91bb1269f02db705', 'Attempt': 0, 'JobName': ' glue_test_job, 'StartedOn': datetime.datetime(2021, 1, 25, 22, 19, 56, 52000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 1, 25, 22, 21, 50, 603000, tzinfo=tzlocal()), 'CompletedOn': datetime.datetime(2021, 1, 25, 22, 21, 50, 603000, tzinfo=tzlocal()), 'JobRunState': 'SUCCEEDED', 'Arguments': {'--additional-python-modules': 'pandas==1.1.5', '--enable-glue-datacatalog': 'true', '--extra-files': 's3://glue/job/test, '--job-bookmark-option': 'job-bookmark-disable', 'step': '0'}, 'PredecessorRuns': [], 'AllocatedCapacity': 2, 'ExecutionTime': 107, 'Timeout': 2880, 'MaxCapacity': 2.0, 'WorkerType': 'G.1X', 'NumberOfWorkers': 2, 'LogGroupName': '/aws-glue/jobs', 'GlueVersion': '2.0'}],
'NextToken': 'eyJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE2MTc0NTQ0NDgsIm5hbm9zIjo2OTUwMDAwMDB9LCJsYXN0RXZhbHVhdGVkS2V5Ijp7ImpvYklkIjp7InMiOiJqXzdlYzIzNTYwOWRkMGVmYjRhNTgyNDU2YWVlZmQ4NmFlMTgwYTAyNDQ3NWY2ODRkMzc4YWFiZDBmYTk1MGJmMDcifSwicnVuSWQiOnsicyI6ImpyXzJjNDFkMmJmMzY1NGZhZGFhYzkzMjU1ZTY0OTkxOTg2YTE0Yjk2MjIyMTRlNDc4ZGNkOWE0ZTY5N2M3MGZmY2YifSwic3RhcnRlZE9uIjp7Im4iOiIxNjExMjA3MjcwODIyIn19fQ==',
'ResponseMetadata': {'RequestId': '1874370e-***********-40d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 12:54:08 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '6509', 'connection': 'keep-alive', 'x-amzn-requestid': '1874370e-**************40d'}, 'RetryAttempts': 0}}
更新于：2021年4月15日
398 次浏览
广告