启用版本控制后,Amazon S3 对存储桶请求的 HTTP 503 响应显著增加

如果您注意到启用版本控制后,Amazon S3 对存储桶的 PUT 或 DELETE 对象请求的 HTTP 503 慢速响应数量显著增加,那么存储桶中可能有一个或多个对象有数以百万计的版本。如果您的对象有数以百万计的版本,Amazon S3 会自动限制对该存储桶的请求,以防止客户的请求流量过多,但也可能会妨碍对该存储桶的其他请求。

要确定哪些 S3 对象有数以百万计的版本,可以使用 Amazon S3 清单工具。清单工具可以生成一份报告,提供存储桶中对象的平面文件列表。有关更多信息,请参阅 Amazon S3 清单

Amazon S3 团队鼓励客户调查重复覆盖同一 S3 对象的应用程序 (可能会为该对象创建数百万个版本),确定应用程序是否正常工作。如果您在使用中发现一个或多个 S3 对象需要数百万个版本,请通过 AWS Support 与 AWS Support 团队联系,讨论您的使用案例,并帮助我们协助您确定最佳解决方案。

To determine which S3 objects have millions of versions, use the Amazon S3 inventory tool. The inventory tool generates a report that provides a flat file list of the objects in a bucket. For more information, see Amazon S3 Inventory.

Amazon S3 清单是 Amazon S3 提供的用于帮助管理您的存储的工具之一。您可以出于业务、合规性和法规要求,使用它来审核和报告对象的复制和加密状态。您还可以使用 Amazon S3 清单简化和加快业务工作流和大数据作业,它可以有计划地取代 Amazon S3 同步 List API 操作。

Amazon S3 清单每天或每周为 S3 存储桶或共享前缀(即,其名称以通用字符串开头的对象)提供用于列出您的对象及其对应元数据的逗号分隔值 (CSV)、Apache 优化的行列式 (ORC) 或 Apache Parquet (Parquet) 输出文件。有关 Amazon S3 清单定价的信息,请参阅 Amazon S3 定价

您可以为存储桶配置多个清单列表。您可以配置要包含在该清单中的对象元数据,是列出所有对象版本还是仅列出当前版本,要存储清单列表文件输出的位置以及是每天还是每周生成该清单。您也可以指定对清单列表文件进行加密。

您可以通过 Amazon Athena、Amazon Redshift Spectrum 和其他工具(例如 PrestoApache Hive 和 Apache Spark)使用标准 SQL 来查询 Amazon S3 清单。使用 Athena 对您的清单文件运行查询非常简单。您可以在提供 Athena 的所有区域中使用 Athena 查询 Amazon S3 清单。

原文地址:https://www.cnblogs.com/cloudrivers/p/11631647.html

时间: 2024-07-29 00:53:26

启用版本控制后,Amazon S3 对存储桶请求的 HTTP 503 响应显著增加的相关文章

使用Python boto3上传Windows EC2实例中的文件至S3存储桶中

一.创建终端节点 为什么要创建终端节点,把VPC和S3管理起来呢?如果不将VPC和S3通过终端节点管理起来,那么VPC中EC2实例访问S3存储桶是通过公共网络的:一旦关联起来,那么VPC中EC2实例访问S3存储桶走的就是内部网络.好处有两个:1. 走内部网络就不会产生流量费用:2. 走内部网络速度快,不会因为网络原因导致我们的Python脚本产生异常. VPC->终端节点->创建终端节点->将VPC和S3关联->关联子网 二.在Windows中安装Python3编译器以及boto3

Amazon S3 加密

使用具有 AWS KMS 托管密钥的服务器端加密 (SSE-KMS) 保护数据 SSE-KMS 的要点是: 您可以选择自行创建和管理加密密钥,也可以选择使用由服务按区域级别为某个客户生成的唯一的默认服务密钥. 响应中的 ETag 不是对象数据的 MD5. 用于加密您的数据的数据密钥也会被加密并与它们保护的数据一起存储. 可以从 AWS KMS 控制台创建.轮换或禁用可审核的主密钥. AWS KMS 中的安全控制可帮助您满足与加密相关的合规性要求. 使用具有 Amazon S3 托管加密密钥的服务

Amazon S3

1. Buckets: Buckets form the top-level namespace for Amazon S3, and bucket names are global. This means that your bucket names must be unique across all AWS accounts, much like Domain Name System (DNS) domain names, not just within your own account.

对象存储桶(backet)的命名规则

存储桶归创建它的账户所有,存储桶所有权不可转让:且创建 S3 存储桶后,您将?无法更更改存储桶名称,因此,请明智地选择名称.为了更好地使?用EOS对象存储,请仔细阅读并遵守以下有关存储桶的命名规则: 存储桶名称在集群中的所有现有存储桶名称中必须唯一. 存储桶名称必须符合DNS命名约定. 存储桶名称的?长度必须为?至少 5 个字符,且不不能超过 32 个字符,?支持?大?小写字?母.数字.下划线.中划线. 存储桶名称必须以字?母或数字开头. 当通过安全套接字 (SSL) 使?用虚拟托管式存储桶时,

asp.net core系列 69 Amazon S3 资源文件上传示例

原文:asp.net core系列 69 Amazon S3 资源文件上传示例 一.  上传示例 Amazon Simple Storage Service 是互联网存储解决方案.该服务旨在降低开发人员进行网络规模级计算的难度. Amazon S3 提供了一个简单 Web 服务接口,可用于随时在 Web 上的任何位置存储和检索任何数量的数据.此服务让所有开发人员都能访问同一个具备高扩展性.可靠性.安全性和快速价廉的数据存储基础设施, Amazon 用它来运行其全球的网站网络.此服务旨在为开发人员

使用 Amazon S3 阻止公有访问

Amazon S3 提供用于存储桶和账户的阻止公有访问设置,以帮助您管理对 Amazon S3 资源的公有访问.默认情况下,新存储桶和对象不允许公有访问,但用户可以通过修改存储桶策略或对象权限来允许公有访问.Amazon S3 阻止公有访问设置可覆盖这些策略和权限,以便于您限制对这些资源的公有访问.借助 Amazon S3 阻止公有访问,账户管理员和存储桶所有者可以轻松设置集中控制,来控制对已实施 Amazon S3 资源的公有访问(与资源的创建方式无关). When Amazon S3 rec

amazon s3 学习 python

amazon s3 全称为 亚马逊简易存储服务(Amazon Simple Storage Service) 简单的说就是个网上存文件的服务器,可以把自己文件放上去,然后通过它开放的api来进行管理.官方网站是http://aws.amazon.com/cn/s3/ 在s3上面有一个bucket,我的理解就是模块化,因为那个东西很大,如果我要存在音乐文件和安装包,和在一起放的话会很乱,就用bucket来分一下模块.这样后台也可以更好的管理.对于开发者也可以只开放对于的模块,安全性也得到提高.还有

Amazon S3的数据一致性模型

关于Amazon S3的数据一致性模型有两种: 最终一致性和读写一致性. 有以下几种行为: 1 写一个新的object,然后开始读它,直到所有的变化都传播完(副本),你才能读到它,否则就是key does not exist. 2 写一个新的object,然后listkeys,直到所有的变化都传播完,你才能看到它. 3 覆盖一个已有的object,然后开始读它,直到所有的变化都传播完,你才能拿到最新的object,否则就是老的. 4 删除一个object,直到所有的变化都传播完,你读它,才会产生

访问腾讯存储桶中的文件,跨域问题的解决

报错如上图,场景:前端同事在使用js请求时,引出来的这个问题. 就报错而言不难解决,在对相应的桶做一个cors配置即可.但问题是依旧是报跨域的错,配置了跨域头未生效. 究其原因,大概率是可能在用户第一次访问cdn,cdn会检查数据没有,回源到源站进行访问.源站对比将数据经过cdn反馈给客户端浏览器.浏览器比对Access-Control-Allow-Origin 后,允许正确,所以跨域正常. 当第二个用户访问时,cdn检测有这个文件,所以会直接给客户端反馈缓存页面.由于CDN之所以失败是因为CD