Azure存储管理工具——AzCopy

在Azure公有云服务中,存储服务是用户非常依赖也是非常核心的一项功能,之前博文也有提到过一些与Azure存储相关的内容,都是从一些实用场景来切入的,比如SQL备份到Blob并还原。

用过Azure存储服务的筒子们都知道Azure主要分为存储账户,容器,此外还有文件服务(可能国内还没有上线),粒度更细的划分还包括三类存储类型,分别是Blob、table以及queue。blob应该是用途最广泛的,我的理解它应该是一种典型的对象类存储;后两者table是用来存放非结构化数据的,queue呢我个人感觉用途更窄一些。对于国内版本Azure每个订阅下最多应该能够支持50个存储账户,每个存储账户下各种类型的数据大小总和上限应该是500GB如果没记错的话,那么显然Azure能够提供PB级的数据量管理能力,想想还是够用的。。。

Blob里面又分块blob和页blob,单个块blob最大容量200GB,适用于一些图片,音频,视频等文件类型,页blob适用于一些随即写入类型的文件,最典型的就是虚拟机的vhd文件。因此Azure VM默认都是以页blob来存放vhd文件的,单个容量最大1TB,这也是为什么我们在Azure上给VM附加磁盘时最大只能1TB。

###################################################################

想要管理并使用Azure存储上的数据,除了通过接口调用之外,微软提供了几种现成的管理工具,以便用户能够随时在本地和云端上传下载,AzCopy就是其中一个选择。

AzCopy可以通过官方网站下载离线安装包,如下图:

或者可以通过Web Installer安装Azure PowerShell也会一并把AzCopy装上,安装后的路径如下:

打开AzCopy后(Microsoft Azure Storage tools),可以通过/?来查看使用帮助和一些简单示例:

###################################################################

下面就在我的环境里做几个简单并且常用的演示,首先我在本地D:\test下准备了三个文件,后缀都不一样,如下图:

另外在我Azure订阅下准备了一个叫做labstorage01的storage account,里面会用到两个容器(container),分别为labcontainer01和02,如下图:

AzCopy的语法还是很好理解的,基本就是围绕source和destination,key这些关键字段来进行的,以下面的截图为例,我将本地d:\test下的文件拷贝到labcontainer01容器下,/S指定递归模式,也就是将test文件夹下的所有文件全部上传:

完成后可以在Azure门户上查看到,如下图:

根据上传文件类型的不同,可以指定blob类型为块或者页,如下图所示:

上传后的vhd文件属性显示为页blob,如下图:

这里我再准备另外一个存储账户labstorage02,并且在这个账户下创建了新的容器labcontainer03:

通过AzCopy就可以在不同的存储账户中转移数据,如下图:

通过上面的指令将labstorage01下labcontainer02里面vhd文件拷贝到labstorage02下labcontainer03容器中,如下图:

此外如果是想模糊匹配指定的文件名或单独的文件,可以通过/pattern:来定义,例如下图指定所有t开头的文件,并以/S方式全部拷贝至目的路径:

同样AzCopy如果在执行过程中意外中断,可以通过/Z来生成日志文件并恢复操作(journal file),/V用来生成Log;对于这两个参数如果不指定其他路径的话,文件就生成在默认路径当中:

很奇怪的是我用/Z没有找到journal file,但是Log文件还是可以正常生成的,默认路径在下图所示:

当然日志文件中的内容和大家通过command line窗口中看到的差不多,如下图:

###################################################################

总的来说,AzCopy是一个很不错的工具,用来管理Azure存储中的数据非常方便,这里依然还有不少没有提及的功能,例如设置并发执行数(concurrent),在Azure Blob与Azure FileShare中彼此拷贝数据,管理table数据等等,并且AzCopy也在不断更新当中,相信在日后会带来更多优秀的功能。

时间: 2024-10-11 14:18:43

Azure存储管理工具——AzCopy的相关文章

Azure存储管理工具

本来将给大家介绍几款常用的Azure存储管理工具及它们的使用方法1.Microsoft Azure Storage Explorer通过 Azure Storage Explorer轻松管理存储帐户内容.上传.下载和管理 blob.文件.队列.表以及 Cosmos DB 实体.轻松管理虚拟机磁盘.Azure Storage Explorer下载地址:http://download.microsoft.com/download/A/E/3/AE32C485-B62B-4437-92F7-8B6B2

Web文件管理、私有云存储管理工具 DzzOffice

DzzOffice-大桌子办公系统本身是一款图形化,简单易用的网盘管理软件.可以实现将企业的局域网服务器.企业私有云存储.企业租用的公有云存储(如阿里云OSS).企业员工的私有云存储(如百度网盘.DropBox)等进行综合管理.实现企业文档.文件统一管理的目的.然后通各类办公应用的接入(如文档在线查看编辑.图片在线查看编辑.讨论板.任务板等)实现企业在线协同办公.提高工作效率的目的. Web文件管理.私有云存储管理工具 DzzOffice,布布扣,bubuko.com

微软推 Azure 机器学习工具:Algorithm Cheat Sheet

微软推 Azure 机器学习工具:Algorithm Cheat Sheet [日期:2015-05-15] 来源:CSDN  作者:Linux [字体:大 中 小] Azure Machine Learning Studio 有着大量的机器学习算法,现在你可以使用它来构建预测分析解决方案.这些算法可用于一般的机器学习:回归分析.分类.聚类和异常检测,且每一个都可以解决不同类型的机器学习问题. 现在的问题是,是否有什么工具之类的东西可帮助找出如何选择一个合适的机器学习算法,并根据具体的方案? 点

初码-Azure系列-存储队列的使用与一个Azure小工具(蓝天助手)

初码Azure系列文章目录 将消息队列技术模型简化,并打造成更适合互联网+与敏捷开发的云服务模式,好像已经是行业趋势,阿里云也在推荐使用消息服务(HTTP协议为主)而来替代消息队列(TCP协议.MQTT协议为主),并且将消息服务纳入到了存储体系内(Azure也是,有人知道为什么吗,是因为数据持久化在了磁盘上?) 更搞笑的是,阿里云还在帮助中心贴了一个表格 真是扎心了老铁,这不是自己怼自己,逼人用消息服务吗.. 回到本文主题上来,这几天用了Azure的存储服务里面的存储队列,感觉还是非常好用的,大

Azure KUDU工具

Azure网站提供了一个比较不错可以用来对我们的网站进行分析的工具------KUDU,下面我们就来看看这个工具主要能为我们做些啥,啥时候使用它. 如何打开KUDU KUDU所展现的强大功能 如何打开KUDU 1)       下载发布配置文件 打开Azure门户网站,选择Azure网站,点击仪表板,下载发布配置文件,如下图: 2)       访问KUDU控制台 我们需要在我门的Azure网站地址中加入”scm”,例如如果你的网站是:http://example.chinacloudsites

Linux CentOS安装Azure Cli工具

vim /etc/yum.repos.d/epel.repo [epel] name=epel baseurl=http://mirrors.sohu.com/fedora-epel/6/$basearch enabled=1 gpgcheck=0 用yum安装nodejs和npm软件: yum install nodejs -y yum install npm -y 编辑 ~/.npmrc 加入下面内容: registry = http://registry.cnpmjs.org 然后安装az

深入理解Azure自动扩展集VMSS(2)

VMSS中Auto Scale基本原理及诊断 在前面的介绍中,我们看到通过定义规则可以实现虚拟机扩展集的auto scale,那么在后台执行上VMSS的扩展依赖于哪些组件,出现问题(比如自动扩展没有发生的时候),我们在拨打400之前,如何快速的检查是否是配置问题? 本文简单介绍一下VMSS下auto scale的原理,以及出现问题如何快速的检查问题.下图展示了Azure的计算资源监控和数据收集机制,从数据源来讲,Azure的监控数据可以来自于应用程序,诊断日志,系统.自定义的指标数据,也包括审计

Windows Azure Storage图形界面管理工具

上一篇我们介绍了用PowerShell将Windows Azure的存储服务当网盘来使用.如果感觉还不够简单,那么这次我们来看看还有哪些使用起来更方便的图形界面管理工具吧.当然,这些工具必要支持中国版的Windows Azure才行. 1. Azure Storage Explore 这个估计是最古老的图形界面客户端工具了,开源,代码在CodePlex上,不过和CodePlex一样,一年多没有更新了.一直停留的Preview的阶段.界面比较土,而且在高分屏幕上显示有些不正常. 支持Blob,Pa

Azure Stack技术深入浅出系列3: Azure Stack运维工具Azure Stack Tools的使用及实战

源自 Azure 的 Azure stack 作为一款业界唯一的和领先的公有云平台一致的混合云平台,能够帮助企业客户从自有数据中心交付 Azure 云服务.作为<Azure Stack 技术深入浅出系列>的第三篇文章,本文将介绍 Azure Stack 部署完成以后,如何快速的管理和维护这套系统环境,包括虚拟机的管理.远程 VPN 连接.传输部署镜像.远程监控等.本文将通过一套 Azure Stack 运维工具集--Azure Stack Tools 来尝试使用和管理 Azure Stack