数据结构
网络
关系数据库管理系统
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装设计
法律研究如何使用 Boto3 遍历 AWS Glue 中的所有数据库
在本文中，我们将了解如何遍历 AWS Glue 中存在的所有数据库。
示例
问题陈述：在 Python 中使用boto3库遍历您帐户中创建的 AWS Glue 数据目录中的所有数据库。
解决此问题的方法/算法
步骤 1：导入boto3和botocore异常以处理异常。
步骤 2：max_items、page_size和starting_token是此函数的参数。
max_items表示要返回的记录总数。如果可用记录数 > max_items，则响应中将提供 NextToken 以恢复分页。
page_size表示每页的大小。
starting_token有助于分页，它使用先前响应中的NextToken。
步骤 3：使用boto3 库创建 AWS 会话。确保在默认配置文件中提到了region_name。如果未提及，则在创建会话时显式传递region_name。
步骤 4：为 glue 创建 AWS 客户端。
步骤 5：使用get_databases创建一个paginator对象，其中包含所有爬虫的详细信息。
步骤 6：调用paginate函数并将max_items、page_size和starting_token作为 PaginationConfig 传递。
步骤 7：它根据max_size和page_size返回记录数。
步骤 8：如果在分页过程中出现错误，请处理通用异常。
示例代码
使用以下代码遍历用户帐户中创建的所有爬虫 -
import boto3
from botocore.exceptions import ClientError
def paginate_through_databases(max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_databases')
response = paginator.paginate(PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_databases: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_databases: " + e.__str__())
a = paginate_through_databases(2,5)
print(*a)输出
{'DatabaseList': [
{'Name': 'aurora_glue_catalog', 'CreateTime': datetime.datetime(2020, 11, 18, 14, 24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30, 9, tzinfo=tzlocal())}],
'NextToken': 'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicyI6ImRldjEtZnJlYV9lZGxfZ2x1ZV9kYXRhYmFzZSJ9fSwiZXhwaXJhdGlvbiI6eyJzZWNvbmRzIjoxNjE3NDUwNDQxLCJuYW5vcyI6ODcwMDAwMDB9LCJzaGFyZWRDb250ZXh0IjpmYWxzZSwidGFnQ29udGV4dCI6ZmFsc2V9',
'ResponseMetadata': {'RequestId': '3e1c4f54-d573-4ba9-9948-832273ecca02', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 11:47:21 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '1617', 'connection': 'keep-alive', 'x-amzn-requestid': '3e1c4f54-d573-4ba9-9948-832273ecca02'}, 'RetryAttempts': 0}}
更新于： 2021年4月15日
455 次查看
广告