基于Azure blob storage T级别HBase表恢复

为减少Hbase集群压力,提高性能,我们将HBase库中的数据移到另外的存储,下面记录当我需要对数据进行计算时,数据恢复的过程

目录:

  • Azure storage explorer 工具
  • 数据复制
  • 元数据修复
  • 测试验证

Azure Storage Explorer工具


  • 免费工具下载地址:http://storageexplorer.com/
  • 本地安装后,连接至Azure存储,如下图:
  • 说明:
    1. 源存储和目标存储所属同一区域时,复制性能更佳,同时注意一下,我使用的storage explorer比较low的地方,copy时没有进度条
    2. 在目标hbase集群中,将完整的目录copy过去后,使用hbase hbck 修复命令如果目标集群中表不存在时,修复命令会自动创建表

数据复制


  • 说明:完整目录copy,使用工具上的复制、粘贴即可,复制的性能还可以
  • BMS: 16:30-16:40 耗时10分钟,数据量大小如下:
  • Power:17:10-17:47 耗时37分钟,数据量大小:
  • 文件夹重命名:工具会新建文件夹,同时将源文件内容copy至新的文件夹下,然后删除源文件夹,数据量大的话,比较费劲

元数据修复


  • 数据复制完成后,进入hbase安装目录,进行元数据修复,快捷修复命令:hbase hbck -repair -ignorePreCheckPermission
  • 修复成功后,如下图:

测试验证


  • 进入hbase shell 命令模式
  • 命令:list  (如下图,说明表修复正常)
  • 命令: scan ‘TerminalData‘,{LIMIT=>1} (如下图,读写正常)
时间: 2024-11-05 15:48:04

基于Azure blob storage T级别HBase表恢复的相关文章

presto访问 Azure blob storage

当集群使用Azure Blog Storage时,prestoDB无法获取返回结果,在此记录下 如下,hive里面的两个表,一个使用的是本地的hdfs,一个是使用 azure blob storage, presto 能访问到hive里面的所有表结构,能查询本地hdfs的hive表,如下: 在返回查询数据时,本地hdfs 存储正常 存储在azure blob storage上的数据返回异常,如下: 问题待解决中....... 收集资料: http://stackoverflow.com/ques

Azure Blob Storage从入门到精通

今天推荐的是一个系列文章,让读者阅读完成后可以对Azure Blob Storage的开发有一个全面的了解,可谓是从入门到精通. Azure在最初的版本里面就提供了非结构化数据的存储服务,也即Blob Storage.其是Azure中非常重要和基础的一项服务,支撑着很多其他服务的运行(比如虚拟机等).前不久Azure出现故障,就是Blob Storage导致的. Robin Shahan(女程序猿)发表了一个系列文章,全面的介绍Azure Blob Storage的开发.这个系列文章分为10个部

Python 操作 Azure Blob Storage

笔者在<Azure 基础:Blob Storage>一文中介绍了 Azure Blob Storage 的基本概念,并通过 C# 代码展示了如何进行基本的操作.最近笔者需要在 Linux 系统中做类似的事情,于是决定使用 Azure 提供的 Azure Storage SDK for Python 来操作 Blob Storage.这样今后无论在 Windows 上还是 Linux上,都用 Python 就可以了.对 Azure Blob Storage 概念还不太熟悉的同学请先参考前文. 安

DW(六):polybase访问Azure Blob Storage

目录: 连接hadoop配置语法 配置hadoop连接 Pushdown配置 Create external tables for Azure blob storage 连接hadoop配置语法: global configuration settings for PolyBase Hadoop and Azure blob storage connectivity, Syntax: sp_configure:  List all of the configuration options 配置与

将数据库备份到AZURE blob storage

1创建一个Storage Account 1)点击Browse->Storage accounts 2) 填写Storage account,请记住这个名字,之后创建credential需要用到. 3)点击Create. 一般等待一段时间就好了 2 创建container 1)All resources->Blobs 2)在Blob service页面,点击创建一个新的containers. 3)Container的url需要记住,在备份的时候需要指定 3 创建credential 1) Al

Azure blob Storage Snapshot

用户虚拟机硬盘的备份是客户在部署云应用中是一个非常重要的部分. 目前有多种平台的备份方法: 捕获镜像:可以采用Capture的方式(powershell命令为Save-AzureVMImage)捕获虚拟机系统盘和数据盘.但这种方式占用空间太大,而且Capture的Image数量也是有数量限制的.所以不是优选的方案. 复制硬盘vhd文件:通过AzCopy的方式,把VM的vhd复制到部分的blob的container中.这种方式也是占用空间大.不适合大规模的备份,只适合灾备时的使用. 对Blob的v

Windows Azure - Error of &quot;MEDIA12899: AUDIO/VIDEO: Unknown MIME type&quot; and Blob Storage

We have a Azure website using JPlayer to play audio/video (mp3 or mp4) stored in Azure Blob storage. Some media is playing well, while some never play on Windows 7 IE 11 with below console error: MEDIA12899: AUDIO/VIDEO: Unknown MIME type Then we not

使用Azure Blob优化Hadoop集群存储成本

大数据与云计算的关系就像一枚硬币的正反面一样密不可分,大数据是云计算非常重要的应用场景,而云计算则为大数据的处理和数据挖掘都提供了最佳的技术解决方案.云计算的快速供给.弹性扩展以及按用量付费的优势已经给IT行业带来了巨大变化,它已经日益成为企业IT的首选.在让企业通过数据洞察提升效率和效益的同时,如何降低大数据平台成本也是IT部门经常关心的问题. 为什么用Azure Blob作为Hadoop分布式文件系统管理大数据? HDFS是Hadoop集群分布式文件系统,它将文件分割为数据块Block,默认

一个使用微软Azure blob实现文件下载功能的实例-附带源文件

Running the sample Please follow the steps below. Step 1: Open the CSAzureServeFilesFromBlobStorage.sln as Administrator. Expand the CSAzureServeFilesFromBlobStorage application and set CSAzureServeFilesFromBlobStorage azure application as the startu