如何使用 Boto3 获取 AWS Glue 数据目录中已添加书签作业的详细信息?


示例 - 在 AWS Glue 数据目录中检索已添加书签作业“book-job”的详细信息。

问题陈述 - 使用 Python 中的 boto3 库检索 AWS Glue 数据目录中已添加书签作业的详细信息。

解决此问题的方法/算法

步骤 1 - 导入 boto3 和 botocore 异常以处理异常。

步骤 2 - bookmarked_job_name 是必填参数。它应该包含已添加书签的job_name,否则会抛出 EntityNotFoundException 异常。

步骤 3 - 使用 boto3 库创建 AWS 会话。确保在默认配置文件中提到了 region_name。如果未提及,则在创建会话时显式传递 region_name。

步骤 4 - 为 Glue 创建 AWS 客户端。

步骤 5 - 现在使用get_job_bookmark 函数并将bookmarked_job_name 作为 JobName 参数传递。

步骤 6 - 它返回与书签条目相关的详细信息。请注意,如果job_name 未添加书签,则会抛出EntityNotFound异常。

步骤 7 - 如果在检查作业时出现错误,请处理通用异常。

示例

使用以下代码检索 AWS Glue 数据目录中已添加书签作业的详细信息 -

import boto3
from botocore.exceptions import ClientError

def retrieves_details_of_bookmarked_job(bookmarked_job_name)
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      response = glue_client.get_job_bookmark(JobName=bookmarked_job_name)
      return response
   except ClientError as e:
      raise Exception("boto3 client error in retrieves_details_of_bookmarked_job: " + e.__str__())
   except Exception as e:
      raise Exception("Unexpected error in retrieves_details_of_bookmarked_job: " + e.__str__())
print(retrieves_details_of_bookmarked_job("book-job"))

输出

{'JobBookmarkEntry': {'JobName': 'book-job', 'Version': 8, 'Run': 2,
'Attempt': 2, 'PreviousRunId':
'jr_dee547c2f78422e34136aa12c85de010b823787833eee04fbf34bc9b8cb4f7b9',
'RunId':
'jr_a035fe15daa31e9a751f02876c26e5d11a829f2689803a9e9643bd61f70273e4',
'JobBookmark':
'{"gdf":{"jsonClass":"HadoopDataSourceJobBookmarkState","timestamps":{"R
UN":"1","HIGH_BAND":"900000","CURR_LATEST_PARTITION":"0","CURR_LATEST_PA
RTITIONS":"","CURR_RUN_START_TIME":"2020-10-
30T13:03:43.730Z","INCLUDE_LIST":""}}}'}, 'ResponseMetadata':
{'RequestId': 'bacf1497-***************996f05b3c1', 'HTTPStatusCode':
200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 13:00:19 GMT', 'contenttype': 'application/x-amz-json-1.1', 'content-length': '535',
'connection': 'keep-alive', 'x-amzn-requestid': 'bacf1497-
******************996f05b3c1'}, 'RetryAttempts': 0}}

更新于: 2021年3月23日

423 次查看

开启您的 职业生涯

通过完成课程获得认证

开始学习
广告