数据结构
网络
关系数据库管理系统 (RDBMS)
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装学
法学如何使用 Boto3 遍历 AWS Glue 中存在的 S3 存储桶的对象版本
问题陈述：使用 Python 中的 boto3 库来分页遍历您帐户中创建的 AWS Glue 数据目录中的 S3 存储桶的对象版本。
解决此问题的方法/算法
步骤 1：导入 boto3 和 botocore 异常以处理异常。
步骤 2：max_items、page_size 和 starting_token 是此函数的可选参数，而 bucket_name 是必需参数。
max_items 表示要返回的记录总数。如果可用记录数 > max_items，则响应中将提供 NextToken 以恢复分页。
page_size 表示每一页的大小。
starting_token 用于分页，它使用先前响应中的 NextKeyMarker。
步骤 3：使用 boto3 库创建一个 AWS 会话。确保在默认配置文件中提到了 region_name。如果没有提及，则在创建会话时显式传递 region_name。
步骤 4：为 S3 创建一个 AWS 客户端。
步骤 5：创建一个 paginator 对象，其中包含使用 list_object_versions 的 S3 存储桶的对象版本的详细信息。
步骤 5：调用 paginate 函数并将 max_items、page_size 和 starting_token 作为 PaginationConfig 参数传递，同时将 bucket_name 作为 Bucket 参数传递。
步骤 6：它根据 max_size 和 page_size 返回记录数。
步骤 7：如果分页过程中出现错误，则处理通用异常。
示例代码
使用以下代码来分页遍历用户帐户中创建的 S3 存储桶的对象版本：
import boto3
from botocore.exceptions import ClientError
def paginate_through_object_version_s3_bucket(bucket_name, max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
s3_client = session.client('s3')
try:
paginator = s3_client.get_paginator('list_object_versions')
response = paginator.paginate(Bucket=bucket_name, PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_object_version_s3_bucket: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_object_version_s3_bucket: " + e.__str__())
#1st Run
a = paginate_through_object_version_s3_bucket('s3-test-bucket',2,5)
print(*a)
#2nd Run
for items in a:
next_token = (items['NextKeyMarker'])
b = paginate_through_object_version_s3_bucket('s3-test-bucket',2,5,next_token)
print(*b)输出
#1st Run
{'ResponseMetadata': {'RequestId': 'XEVY**************CD0', 'HostId': **************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': *******************', 'x-amz-request-id': 'XEVYV***************', 'date': 'Sat, 03 Apr 2021 07:14:49 GMT', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'IsTruncated': True, 'KeyMarker': '', 'VersionIdMarker': '', 'NextKeyMarker': 'analytics-s3/template.json', 'NextVersionIdMarker': 'null',
'Versions': [{'ETag': '"e66659e02"', 'Size': 1554, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i/param.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 29, 19, 50, 55, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '928b5bd**************3d70'}},
{'ETag': '"22a4bf7**************9c1ed2612"', 'Size': 1756, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i/params.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2021, 3, 10, 20, 10, 47, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '928b5bde*****************2d4423d70'}}],
'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'DeleteMarkers': None, 'CommonPrefixes': None}
#2nd Run
{'ResponseMetadata': {'RequestId': '3V9*********703V', 'HostId': ****************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': '************************', 'x-amz-request-id': '3V9****************V', 'date': 'Sat, 03 Apr 2021 07:18:56 GMT', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0},
'IsTruncated': True, 'KeyMarker': analytics-s3i2/template.json', 'VersionIdMarker': '', 'NextKeyMarker': 'analytics-s3l/params.json', 'NextVersionIdMarker': 'null', 'Versions':
[{'ETag': '"dbd336ff00cb5af3d"', 'Size': 1557, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i3/param.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 28, 18, 16, 38, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '*****************'}},
{'ETag': '"66b49598df6"', 'Size': 21334, 'StorageClass': 'STANDARD', 'Key': 'analytics-s3i3/template.json', 'VersionId': 'null', 'IsLatest': True, 'LastModified': datetime.datetime(2020, 10, 28, 18, 16, 38, tzinfo=tzutc()), 'Owner': {'DisplayName': 'AWS.Development', 'ID': '****************'}}],
'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'DeleteMarkers': None, 'CommonPrefixes': None}
更新于：2021年4月15日
627 次浏览
广告