CDH5.5.1版HBase安装使用LZO压缩

1.安装

RHEL/CentOS/Oracle 5 Navigate to
this
link
and save the file in the
/etc/yum.repos.d/ directory.
RHEL/CentOS/Oracle 6 Navigate to
this
link
and save the file in the
/etc/yum.repos.d/ directory.
RHEL/CentOS/Oracle 7 Navigate to this
link
and save the file in the
/etc/yum.repos.d/ directory.

来源: http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html

下载对应系统的的repo文件

yum install -y hadoop-lzo

2.配置

修改 hdfs-site.xml

添加一下配置

<property>

  <name>io.compression.codecs</name>
  <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

3.重启

重启HDFS集群

for s in `chkconfig | grep -E "namenode|datanode" | awk  ‘{print $1}‘`;do service $s restart; done

重启HBase集群

for s in `chkconfig | grep hbase | awk  ‘{print $1}‘`;do service $s restart; done

4.测试

#进入hbase shell

create ‘tysci:t1‘,{NAME => ‘f1‘,COMPRESSION => ‘LZO‘}

#Web页面查看

来自为知笔记(Wiz)

时间: 2024-12-17 15:31:41

CDH5.5.1版HBase安装使用LZO压缩的相关文章

hbase安装配置(整合到hadoop)

hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法.会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase.只要10分钟就可以完成以下的操作. 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase

hbase开启lzo压缩

hbase只支持对gzip的压缩,对lzo压缩支持不好.在io成为系统瓶颈的情况下,一般开启lzo压缩会提高系统的吞吐量.但这需要参考具体的应用场景,即是否值得进行压缩.压缩率是否足够等等. 想要hbase支持lzo压缩,参照以下步骤: 1 首先要让系统支持lzo动态库,安装lzo-2.00以上版本:http://www.oberhumer.com/opensource/lzo/download/ 2 默认安装完后应该在系统的/usr/local/lib/找到liblzo*等几个so 3 到ht

分布式数据库HBase安装与使用(shell+Java API)

本指南介绍了HBase,详细指导大家安装配置HBase及其使用.本教程在Ubuntu14.04下测试通过. 一.HBase介绍 HBase是一个分布式的.面向列的开源数据库,源于Google的一篇论文<BigTable:一个结构化数据的分布式存储系统>.HBase以表的形式存储数据,表有行和列组成,列划分为若干个列族/列簇(column family).欲了解HBase的官方资讯,请访问HBase官方网站. HBase的运行有三种模式:单机模式.伪分布式模式.分布式模式. 单机模式:在一台计算

cdh5.14.2中集成安装kylin与使用测试

cdh5.14.2中集成安装kylin与使用测试 标签(空格分隔): 大数据平台构建 一:kylin 简介 二:安装配置kylin 三:kylin 运行实例 一:kylin 简介 Apache Kylin?是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区.它能在亚秒内查询巨大的Hive表. kylin 软件下载: 社区版kylin下载地址:https://archive.apa

hbase安装 (HA)

######################################################################################################HBASE安装(HA)######################################################################################################安装环境: cendos6.8 jdk1.8 安装包版本: zooke

Ubuntu: GlusterFS+HBase安装教程

HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS.glusterfs是一个集群文件系统可扩展到几peta-bytes.它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统.存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA.GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能.将HBase安装在GlusterFS上,是

hbase学习(二)-hbase安装

本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式. 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配. 我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本. hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/ 将下载的hbase-0.94.11解压到相应的目录,如/usr/hbase-0.94.11 将hbas

SAS9.3 64位版Win7安装指引

SAS9.3 64位版安装指引 换了新电脑,安装原来使用的SAS9.2之后,增强型编辑器一直不能被加载,尝试了各种方法,浪费了一天的时间.无奈下载了SAS9.3 64位版本,但是安装也不顺利,当然主要是JDK出现了问题,参考了网友的文章,顺利完成了安装,另注操作系统为win7 64位版. 原文地址:http://f.dataguru.cn/thread-161588-1-1.html 1,主要流程,来源于网络: 操作系统: win7中文旗舰版 64位 SAS: 9.3 64位 安装之前的准备工作

绿色版MySQL安装与配置

操作步骤: 一.安装MySQL数据库 1.下载MySQL-5.6.17-winx64.zip文件.2.解压到指定目录,本例为D:\mysql-5.6.17-winx64.3.修改配置文件,my-default.ini名称改为:my.ini,文件里面的参数配置:       [mysqld]       # 设置mysql的安装目录       basedir=D:/ mysql-5.6.17-winx64       # 设置mysql数据库的数据的存放目录,必须是data       data