早已习惯了安装系统之后必须安装winrar,压缩文件也已经习惯了rar格式,这种习惯的力量真的挺可怕的.在工作中你的同事可能没有安装winrar,或者他们不喜欢安装盗版软件,这时候你给他们发送过去的是rar文件就会给他们造成麻烦.然而新安装的系统不管是XP还是win7都是原生支持ZIP的,所以为了不给他人造成困扰我决定以后一律用ZIP压缩文件. 其实在公司的一些规范里面也应该推广ZIP格式以便大家能更方便的工作.

一.要求 在Hbase 数据库中创建带有snappy压缩属性的表. 二.登陆到hbase 数据库执行建表操作 hbase(main):016:0> create 'dcs:t_dev_history',{NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => '

转载至: http://blog.csdn.net/ynnmnm/article/details/44983545 by 夜风 简单纹理格式 RGBA8888 每个像素4字节,RGBA通道各占用8位 RGBA4444 每个像素2字节,RGBA通道各占用4位 RGB888 每个像素3字节,RGB通道各占用8位,无透明通道 RGB565 每个像素2字节,RGB通道各占用5/6/5位,无透明通道 RGBA5551 每个像素2字节,RGB通道各占用5位,透明通道1位,所以要么完全透明要么不透明 DXT纹

可先浏览加粗部分 一.常见压缩档 *.zip | zip 程序压缩打包的档案: (很常见,但是因为不包含文档名编码信息,跨平台可能会乱码) *.rar | winrar 进程压缩打包的档案:(在windows上很常见,但是是商业软件.) *.gz | gzip 程序压缩的档案: (linux目前使用最广泛的压缩格式) *.bz2 | bzip2 程序压缩的档案: *.xz | xz 程序压缩的档案: *.tar | tar 程序打包的资料,并没有压缩过: *.tar.gz | tar 程序打包的

Hbase支持的压缩格式: hbase支持的压缩格式:GZ(GZIP),LZ0,LZ4,Snappy GZ:用于冷数据压缩,与Snappy和LZ0相比,GZIP的压缩率更高,但是更消耗CPU,解压/压缩速度更慢. Snappy和LZ0:用于热数据压缩,占用CPU少,解压/压缩速度比GZ快,但是压缩率不如GZ高. Snappy与LZ0相比,Snappy整体性能优于LZ0,Snappy压缩率比LZ0更低,但是解压/压缩速度更快. LZ4与LZ0相比,LZ4的压缩率和LZ0的压缩率相差不多,但是LZ4

配置了HBase的SNAPPY压缩以后,出现regionserver启动不了的问题.分析应该是属性配置错了! 官网上的是:<name>hbase.regionserver.codecs</name>, 实际上应该是<name>io.compression.codecs</name> 修改配置以后就可以启动了. 原文地址:https://www.cnblogs.com/nanguyan/p/8128042.html

HBASE操作:(一般先合并region然后再压缩) 一 .Region合并: merge_region   'regionname1','regionname2' ,'true'  --true代表强制合并,一般要加上 一般要是将小文件根据配置的最大上限进行合并,合并后最好清理一下hdfs 二.Region 压缩: 我们以test表为例: 我们先创建一张不含任何压缩格式的test表,并且向其导入10多G的数据$ hadoop fs -du -h /hbase/data/default/   

1. 功能说明 使用snappy压缩来提升mapreduce和hbase的性能.其实就是用CPU换IO吞吐量和磁盘空间.配置并使用snappy有如下几点要求: 首先需要hadoop集群的native库已经收到编译好,并且添加了对snappy的支持.编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数.(我使用的版本是hadoop-2.5.0-cdh5.3.3伪分布式) 安装了maven(我使用的版本是3.0.5) jdk已经成功安装并设置了JAVA_HOM

1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快:hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样:有hadoop native库:大部分linux系统都自带gzip命令,使用方便. 缺点:不支持split. 应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式.譬如说一天或者一个小时的日志压缩成一个gzip 文件,运行mapreduce程序的时候通过多个gzip文件达到并发.hive程序,streaming程序,和j