干货 | 对象存储的跨地域复制概述

一、功能和使用场景

1、功能

跨区域复制(Bucket Cross-Region Replication) 是跨不同区域的Bucket自动、异步复制Object,它会将对源Bucket中的对象的改动(除删除操作)同步到目标Bucket。跨区域复制功能能够很好的满足用户数据复制或者提供Bucket跨区域容灾的需求。目标Bucket中的对象是源Bucket中对象的精确副本,它们具有相同的对象名、元数据以及内容。

2、使用场景

当您有以下需要时,设置跨区域复制可能对您有所帮助:

  • 数据复制:由于业务原因,需要将数据从一个存储区域迁移至另一个存储区域,原空间数据仍会保留。
  • 合规性要求:合规性要求所规定的数据需要跨一定距离保存一份副本。通过跨区域同步管理功能,可以在远距离的存储区域之间同步数据以满足这些合规性要求。
  • 数据备份与容灾:如果您对所有写入的数据都希望在异地存储区域维护一份副本,以备发生如海啸、地震等特大灾难导致存储区域损毁时,还能启用异地存储区域的备份数据。
  • 最大限度减少延迟:客户处于两个地理位置。为了最大限度缩短访问对象时的延迟,可以在地理位置与用户较近的存储区域维护对象副本。

二、Demo演示

Demo演示示意图:

1、创建Bucket

华北-北京对象存储新建源Bucket(空间)- asource,在华东-宿迁对象存储新建目标Bucket;

2、开启【跨区域复制】功能

在对象存储源Bucket上开启跨区域复制的功能,目标Bucket选择华东-宿迁的Bucket,其他选项根据自己需要选择;



跨区域复制成功开启后如下图所示:

3、在源Bucket生成测试文件

华北-北京新建一台云主机,使用S3fs将源Bucket挂载到云主机上,然后用dd命令生成100个小文件到源Bucket里;

3.1 云主机配置:
地域 操作系统 配置 带宽 云主机命名
华北-北京 CentOS 7.4 64位 2核4G 2Mbps pocenv-hcc-hb-test

3.2 挂载Bucket

A. 安装依赖包

[[email protected] ~]# yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y

B. 安装以及编译

[[email protected] ~]# git clone https://github.com/s3fs-fuse/s3fs-fuse.git
[[email protected] ~]# cd s3fs-fuse
[[email protected] s3fs-fuse]# ./autogen.sh
[[email protected] s3fs-fuse]# ./configure
[[email protected] s3fs-fuse]# make && make install


C. 创建密码文件

[[email protected] s3fs-fuse]# echo Access_Key_ID:Access_Key_Secret > ~/.passwd-s3fs
[[email protected] s3fs-fuse]# chmod 600 ~/.passwd-s3fs

Access_Key_ID:Access_Key_Secret获取方式:https://uc.jdcloud.com/account/accessKey

D. 挂载对象存储到本地目录/hcc(目录名称自定义)

[[email protected] s3fs-fuse]# cd
[[email protected] ~]# mkdir /hcc
[[email protected] ~]# s3fs asource /hcc -o passwd_file=~/.passwd-s3fs -o url="https://s3.cn-north-1.jcloudcs.com"

mkdir:创建hcc文件夹作为本地挂载目录
s3fs:手动挂载命令,其中bucketname为bucket名称、/hcc是本地挂载路径、passwd_file为密码文件位置、url为京东云对象存储兼容S3域名(请输入空间的Bucket域名)

E. 查看挂载结果

[[email protected] ~]# df -Th

3.3 生成测试文件

通过dd命令在所挂载的对象存储里生成文件(我们这里生成小文件

[[email protected] /]# cd /hcc
[[email protected] hcc]# ll
total 0
[[email protected] hcc]# for ((i=1;i<=100;i++));do dd if=/dev/zero of=block_$i.file bs=1k count=1024;done

这个命令是在所挂载的对象存储Bucket里生成100个大小为1M的小文件。

生成测试文件过程的部分截图如下:

4、查看结果

在源Bucket-asource查看文件生成结果:


在目标Bucket-btarget查看异地复制结果:

如上,测试完成。

原文地址:https://www.cnblogs.com/jdclouddeveloper/p/11673478.html

时间: 2024-11-10 08:02:48

干货 | 对象存储的跨地域复制概述的相关文章

S3 跨区域复制

跨区域复制 (CRR) 允许跨不同的 AWS 区域中的存储桶自动.异步地复制对象.为跨区域复制配置的存储桶可由相同 AWS 账户或不同账户拥有. 使用存储桶级别配置启用跨区域复制.向源存储桶添加复制配置.在最小配置中,您需要提供以下内容: 您希望 Amazon S3 将对象复制到的目标存储桶. 一个 AWS IAM 角色,Amazon S3 可以担任该角色以代表您复制对象 其他配置选项如下. 何时使用 CRR 跨区域复制可帮助您实现以下功能: 符合合规性要求 — 虽然 Amazon S3 默认跨

腾讯云对象存储COS安全方案介绍

本文分享自微信公众号 - 腾讯云存储 相信所有企业和个人开发者在选用云存储产品时都把数据安全作为重要考量标准. 本文介绍了用户如何使用腾讯云对象存储COS的事前防护.事中监控.事后追溯三个手段来保证自己的数据安全. 一.事前防护手段 1. 权限隔离对上云企业来说,账号安全和资源合理授权是构筑立体防护体系的第一道门锁.云上资源管理的授权应该规避如下风险:使用腾讯云主账号进行日常操作:为员工建了子账号,但是授权过大:缺乏对使用帐号权限的管理制度和流程:没有定期审计管理用户的权限和登录信息:对高权限子

混合云存储跨云灾备方案之跨云复制

摘要: 混合云容灾实现了跨云/多云场景中的应用和整机的灾备和恢复.支持整机和主流的企业应用,如各版本的Oracle(Oracle RAC近期即将支持)和SQL Server等.先进的压缩重删服务节约了备份时的网络带宽和空间占用,云灾备库的按需分配和弹性无限扩展,灾备ECS可关机不付费等多个特性,从多个维度将用户成本降到最低. 前面两篇文章介绍了基于阿里云备份的跨云备份和云存储网关的跨云复制,两者主要是解决文件粒度的备份与恢复问题.如果用户需要保护一个云上的数据库应用,而不仅仅是数据库的数据文件:

华为云学院干货:对象存储服务:便捷管理存储资源

华为云学院干货:对象存储服务:便捷管理存储资源随着数据规模不断增加,收集和存储大型数据集对于任何规模的企业都让人生畏,而且访问组织和分析非结构化数据给企业制造了大量新的挑战.华为云对象存储服务是基于对象的海量存储服务,能为您提供高可靠高性能高安全的数据存储能力.OBS服务基于策略(时间.名称.标签.版本)配置,实现数据在标准存储低频访问存储和归档存储中按需流动,标准存储持久性99.999999999%.无最低存储时间,毫秒级时延.低频访问存储:持久性99.999999999%,30天最低存储时间

块存储、对象存储和文件系统: 它们对容器而言意味着什么?

当管理员首次开始使用Docker容器时,通常会使其感到惊讶的是, 容器本身采用的是非永久性存储.当容器被移除时, 容器的存储也被移除了. 当然,如果没有办法实现永久存储,则容器应用程序的使用将会非常受限.幸运的是,有些方法在容器化的环境中可以实现持久存储.尽管容器本身的原生存储是非持久性的,但可以将容器连接到容器外部的存储区.此操作允许持久性数据的存储,因为当容器停止时,该外部存储不会被移除. 决定如何为容器实现持久存储的第一步是确定您将使用的存储系统的基础类型.在这方面, 通常有三种主要选项:

OSS对象存储

一.产品概述 阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量.安全.低成本.高可靠的云存储服务.它具有与平台无关的RESTful API接口,能够提供99.99999999%的服务持久性.您可以在任何应用.任何时间.任何地点存储和访问任意类型的数据.OSS适合各种网站.开发企业及开发者使用. 您可以使用阿里云提供的API/SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS.数据存储到阿里云OSS以后,您可以选择标准类型(Sta

《转》OpenStack对象存储——Swift

OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性.冗余和持久性.本文将从架构.原理和实践等几方面讲述Swift. Swift并不是文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索.调整,必要时进行更新.最适合存储的数据类型的例子是虚拟机镜像.图片存储.邮件存储和存档备份.因为没有中心单元或主控结点,Swift提供了更强的扩展性.冗余和持久性.Swift

swift对象存储

swift对象存储 简介 OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性.冗余和持久性.对象存储,用于永久类型的静态数据的长期存储. Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务,并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一,为其 Nova 子项目提供虚机镜像存储服务.Swift 构筑在比较便宜的标准硬件存储基础设施之上,无需采用

阿里云对象存储OSS支持版本管理特性

阿里云对象存储OSS现已经全面支持"对象版本管理"特性.该功能适用于所有的存储类型以及区域.当Bucket启用该特性后,"对象版本管理"功能可以保护和恢复误删除.误覆盖的数据. 对象存储OSS"版本管理"具有如下特点: 提供"应用级"数据保护,可防止文件意外覆盖:当Bucket开启版本管理特性后,该Bucket内对象的每次修改.删除操作,OSS都会生成对应的历史版本.授权的用户可以通过控制台.API.SDK等方式查询.下载以及