如果您注意到启用版本控制后,Amazon S3 对存储桶的 PUT 或 DELETE 对象请求的 HTTP 503 慢速响应数量显著增加,那么存储桶中可能有一个或多个对象有数以百万计的版本。如果您的对象有数以百万计的版本,Amazon S3 会自动限制对该存储桶的请求,以防止客户的请求流量过多,但也可能会妨碍对该存储桶的其他请求。
要确定哪些 S3 对象有数以百万计的版本,可以使用 Amazon S3 清单工具。清单工具可以生成一份报告,提供存储桶中对象的平面文件列表。有关更多信息,请参阅 Amazon S3 清单。
Amazon S3 团队鼓励客户调查重复覆盖同一 S3 对象的应用程序 (可能会为该对象创建数百万个版本),确定应用程序是否正常工作。如果您在使用中发现一个或多个 S3 对象需要数百万个版本,请通过 AWS Support 与 AWS Support 团队联系,讨论您的使用案例,并帮助我们协助您确定最佳解决方案。
To determine which S3 objects have millions of versions, use the Amazon S3 inventory tool. The inventory tool generates a report that provides a flat file list of the objects in a bucket. For more information, see Amazon S3 Inventory.
Amazon S3 清单是 Amazon S3 提供的用于帮助管理您的存储的工具之一。您可以出于业务、合规性和法规要求,使用它来审核和报告对象的复制和加密状态。您还可以使用 Amazon S3 清单简化和加快业务工作流和大数据作业,它可以有计划地取代 Amazon S3 同步 List
API 操作。
Amazon S3 清单每天或每周为 S3 存储桶或共享前缀(即,其名称以通用字符串开头的对象)提供用于列出您的对象及其对应元数据的逗号分隔值 (CSV)、Apache 优化的行列式 (ORC) 或 Apache Parquet (Parquet) 输出文件。有关 Amazon S3 清单定价的信息,请参阅 Amazon S3 定价。
您可以为存储桶配置多个清单列表。您可以配置要包含在该清单中的对象元数据,是列出所有对象版本还是仅列出当前版本,要存储清单列表文件输出的位置以及是每天还是每周生成该清单。您也可以指定对清单列表文件进行加密。
您可以通过 Amazon Athena、Amazon Redshift Spectrum 和其他工具(例如 Presto、Apache Hive 和 Apache Spark)使用标准 SQL 来查询 Amazon S3 清单。使用 Athena 对您的清单文件运行查询非常简单。您可以在提供 Athena 的所有区域中使用 Athena 查询 Amazon S3 清单。
原文地址:https://www.cnblogs.com/cloudrivers/p/11631647.html