Snappy数据压缩 配置到Hadoop

依赖库:yum -y install gcc+ gcc-c++

官方文档中提到编译前提需要:gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3

1:下载所需的动态库和hadoop snappy插件工程

snappy-1.1.2.tar.gz    动态库

source-archive       Maven Jar

2:编译snappy-1.1.2.tar.gz  (gcc g++  等)

./configure
make
make install

成功了在usr/local/lib下有动态库文件

-rw-r--r--. 1 root root 330020 Jun 6 11:42 libsnappy.a
-rwxr-xr-x. 1 root root 953 Jun 6 11:42 libsnappy.la
lrwxrwxrwx. 1 root root 18 Jun 6 11:42 libsnappy.so -> libsnappy.so.1.2.1
lrwxrwxrwx. 1 root root 18 Jun 6 11:42 libsnappy.so.1 -> libsnappy.so.1.2.1
-rwxr-xr-x. 1 root root 164196 Jun 6 11:42 libsnappy.so.1.2.1

3:maven编辑source-archive下truch包

PS:安装MAVEN

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum -y install apache-maven

遇到问题:

mvn package
Error: Could not find or load main class org.codehaus.plexus.classworlds.launcher.Launcher

是因为maven环境没导入   执行:export M2_HOME=/usr/share/maven    export PATH=$PATH:$M2_HOME/bin

随后编译:mvn package

遇到问题:

Cannot run program "autoreconf"     安装上面提到的依赖库

cannot find -ljvm                          这个错误是因为没有把安装jvm的libjvm.so 链接到 /usr/local/lib。如果你的系统时amd64,可以执行如下命令解决这个问题:

ln -s /usr/java/jdk1.7.0_75/jre/lib/amd64/server/libjvm.so /usr/local/lib/

随后获取编译成功的jar

时间: 2024-10-27 13:44:19

Snappy数据压缩 配置到Hadoop的相关文章

eclipse 配置执行hadoop 2.7 程序样例參考步骤

前提:你搭建好了hadoop 2.x的linux环境,并可以成功执行.还有就是window可以訪问到集群.over 1. hfds-site.xml 添加属性:关闭集群的权限校验.windows的用户一般与linux的不一样,直接将它关闭掉好了.记住不是core-site.xml 重新启动集群 <property> <name>dfs.permissions</name> <value>false</value> </property>

Hadoop 配置及hadoop HA 的配置

注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响. 另,转载请注明出处,谢谢 修改静态IP和hostname 在 /etc/sysconfig/network-scripts/ifcfg-eth0配置IPADDR地址 运行以下命令生效 service network restart 在/etc/sysconfig/network中配置hostname配置完成后重启生

eclipse 配置运行hadoop 2.7 程序例子参考步骤

前提:你搭建好了hadoop 2.x的linux环境,并能够成功运行.还有就是window能够访问到集群.over 1. hfds-site.xml 增加属性:关闭集群的权限校验,windows的用户一般与linux的不一样,直接将它关闭掉好了.记住不是core-site.xml 重启集群 <property> <name>dfs.permissions</name> <value>false</value> </property>

Hadoop自学笔记(五)配置分布式Hadoop环境

上一课讲了怎样在一台机器上建立Hadoop环境.我们仅仅配置了一个NHName Node, 这个Name Node里面包括了我们全部Hadoop的东西.包括Name Node, Secondary Name Node, Job Tracker, Task Tracker,这一课解说怎样把上述配置放到不同机器上.从而构建一个分布式的hadoop配置. 1. hadoop分布式安装概览 a) 2-10个nodes:Name Node, Job Tracker, Secondary Name Node

Ubuntu下配置安装Hadoop 2.2

---恢复内容开始--- 这两天玩Hadoop,之前在我的Mac上配置了好长时间都没成功的Hadoop环境,今天想在win7 虚拟机下的Ubuntu12.04 64位机下配置, 然后再建一个组群看一看. 参考资料: 1. Installing single node Hadoop 2.2.0 on Ubuntu: http://bigdatahandler.com/hadoop-hdfs/installing-single-node-hadoop-2-2-0-on-ubuntu/ 配置过程如下:

Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse环境

下在相关软件: (需要根据系统是32位还是64位选择软件的版本:jdk和eclipse.本人机器内存4G,安装64位虚拟机系统非常卡,建议虚拟机安装32位版本,实体机可以安装64位) HADOOP:http://mirrors.hust.edu.cn/apache/hadoop/common/ JDK:  http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html TOMCAT:http:

Windows配置本地Hadoop运行环境

很多人喜欢用Windows本地开发Hadoop程序,这里是一个在Windows下配置Hadoop的教程. 首先去官网下载hadoop,这里需要下载一个工具winutils,这个工具是编译hadoop用的,下载完之后解压hadoop文件,然后把winutils.exe放到hadoop文件的bin目录下面 然后在hadoop/etc/hadoop下修改以下文件: core-site.xml: <?xml version="1.0" encoding="UTF-8"

zookeeper简易配置及hadoop高可用安装

zookeeper介绍    是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),            快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader.    快速同步数据:zk将会存储小量用于服务做协调的数据.        标准文件系统用于存储大量数据:而zk存储小量协调数据    标准文件系统文件就是文件,目录就是目录:zk中文件既是目录. 1.zookeeper的安装与启动        解压并配置环境变量    配置./conf/zoo.c

hadoop-虚拟机配置与hadoop基本配置

一.虚拟机设置 环境:centos6.4 vmware网络适配器:桥接模式,禁用vmnet8 vim /etc/sysconfig/network-scripts/ifcfg-eth0 网关的设置参考外部机器的默认网关 DEVICE=eth0 TYPE=Ethernet UUID=57cd273b-3bed-4378-957f-fe1552b5212d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.130 PREFI