64bit Centos6.4编hadoop-2.5.1

64bit Centos6.4编hadoop-2.5.1

 

1、说明

a)       因为从apache下载下来的tar.gz包是用32 bit编译的,全部假设用Linux 64作为hadoop的平台,将会出现一些问题,所以须要手动的编译成64 bit

2、软件准备

   a)       JDK jdk1.7.0_51
   b)       Hadoophardoop-2.5.1-src.tar.gz
   c)       Maven   apache-maven-3.0.5-bin.zip
   d)       Protobufprotobuf-2.5.0.tar.gz

3、编译环境要求

   a)       Centos64 bit
   b)       JDK1.6+
   c)       Maven3.0 or later
   d)       ProtocolBuffer2.5.0
   e)       CMake 2.6 or newer (if compilingnative code)
   f)       Zlib devel (if compiling native code)
   g)       openssldevel ( if compiling native hadoop-pipes )

4、环境安装

a)  JDK

下载jdk-7u51-linux-x64.tar.gz(http://yunpan.cn/cAfDyMykH4RyX(提取码:540f))

解压到/opt/soft/jdk1.7.0_51

编辑/etc/profile

在/etc/profile里面添加

   #set javaenvironment
   JAVA_HOME=/opt/soft/jdk1.7.0_51
   PATH=$JAVA_HOME/bin:$PATH
   CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export JAVA_HOME
   export PATH
   export CLASSPATH

更新配置文件source /etc/profile

检查java是否安装正确 java –version

b)  安装必要环境

   yum install -y g++ gcc gcc-c++ autoconf automake libtoolcmake zliblg-dev pkg-conf libssl-dev openssh-client make mcurses-devel

c)  安装protobuf

下载protobuf-2.5.0.tar.gz(http://yunpan.cn/cAfDmbdZrM7WF (提取码:7678))

解压到/opt/soft/protobuf-2.5.0

   cd protobuf-2.5.0
   ./configure --prefix=/usr/local/protoc/
   make
   make install

编辑/etc/profile

在/etc/profile里面添加

   exportPATH=.:/usr/local/protoc/bin:$PATH

更新配置文件source /etc/profile

验证 protoc –version    libprotoc 2.5.0

d)  安装Maven

下载apache-maven-3.0.5-bin.zip(http://yunpan.cn/cAfDFwyuZB3Dt(提取码:cdd8))

解压到/opt/soft/apache-maven-3.0.5

编辑/etc/profile

在/etc/profile里面添加

   export MAVEN_HOME=/opt/soft/apache-maven-3.0.5
   export PATH=.:$MAVEN_HOME/bin:$PATH

更新配置文件source /etc/profile

验证 mvn -version

5、编译Hadoop

cd /opt/soft/hadoop-2.5.1-src
mvn package –DskipTests –Pdist,native

当全部编译完毕出现BUILD SUCCESS

编译好多hadoop在/opt/soft/hadoop-2.5.1-src/hadoop-dist/target以下。目录为hadoop-2.5.1,玖nénggòu勇盖莱文建佐hadoop于centos 64bit下述结构

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-12-20 22:46:20

64bit Centos6.4编hadoop-2.5.1的相关文章

【原】centos6.5下hadoop cdh4.6 安装

1.架构准备: namenode 10.0.0.2 secondnamenode 10.0.0.3 datanode1 10.0.0.4 datanode2 10.0.0.6 datanode3 10.0.0.11 2.安装用户:cloud-user 3.[namenode]namenode到其他节点ssh无密码登录: ssh-keygen     (一路回车) ssh-copy-id [email protected]3 ssh-copy-id [email protected]4 ssh-c

CentOS6.5x64搭建Hadoop环境

首先总结一下之所以被搭建大数据环境支配的原因:浮躁. 总是坐不住,总是嫌视频太长,总是感觉命令太杂太多,所以就不愿去面对. 在抖音上听到一句话:“为什么人们不愿吃学习的苦而能吃社会的苦? 因为学习的苦需要主动去吃,所以没人愿意,到了社会上,社会的苦不得不吃.” 有些时候,有些坎坷,我们必须要亲身经历,就算你逃避,也终有一天会面对它.就像我,觉得教科书文字枯燥,不如看视频跟着敲直接.但是绕了一圈,终究我还是回归到了教科书. 我发现白彦峰老师编的这本<大数据技术基础实验教程>真是一本神书!只要,你

centos6.5搭建hadoop单节点

1.添加用户 groupadd  hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop    修改密码 付给用户sudo权限 vi /etc/sudoers 在root ALL=(ALL) ALL下面添加 hadoop ALL=(ALL) NOPASSWD:ALL 2.安装jdk 2.1.官网下载地址  下载rpm包 2.2 上传到服务器中,安装 sudo rpm -ivh jdk-8u144-linux-x64.rpm

centOS6 php 编 imap 模

php 编 c-client imap 客户.下载 http://www.washington.edu/imap/mirrors.html 第一步,编 c-client 官方文档说究竟有点坑,编译报错 "错误:x509v3.h:没有那个文件或文件夹",搜了下论坛,使用以下的命令编译通过 make slx SSLINCLUDE=/usr/include/openssl/   EXTRACFLAGS=-fPIC 没有加  EXTRACFLAGS=-fPIC 在编译php-imap 报错:

Centos6.10搭建Hadoop三节点分布式

(一)安装JDK 1. 下载JDK,解压到相应的路径 2.  修改 /etc/profile 文件(文本末尾添加),保存 sudo vi /etc/profile # 配置 JAVA_HOME export JAVA_HOME=/home/komean/workspace/JDK/jdk1.8.0_181 export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar # 设置PATH export PATH=${JAV

centos6.5搭建hadoop完整教程

https://blog.csdn.net/hanzl1/article/details/79040380 博客地址http://blog.csdn.net/pucao_cug/article/details/71698903的文章的指导下完成. 原文地址:https://www.cnblogs.com/1a2a/p/10717507.html

centos6安装hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.H

指导手册01:安装Hadoop

指导手册01:安装Hadoop  Part 1:安装及配置虚拟机 1.安装Linux. (1)打开VMvirtualBox (2) 控制->新建虚拟机,输入虚拟机名称"marst+学号" 类型:Linux,版本:other Linux(64-bit) CentOS-6.8-x86_64-bin-DVD1 (3)内存建议1024M, 创建虚拟盘VHD虚拟硬盘,动态分配,硬盘20G. (4) 右击己创建的虚拟机master, 设置:网络,网卡1:桥接网卡.存储:光盘,选择CentOS

【Hadoop测试程序】编写MapReduce测试Hadoop环境

我们使用之前搭建好的Hadoop环境,可参见: <[Hadoop环境搭建]Centos6.8搭建hadoop伪分布模式>http://www.cnblogs.com/ssslinppp/p/5923793.html 示例程序为<Hadoop权威指南3>中的获取最高温度的示例程序: 数据准备 输入数据为:sample.txt 0067011990999991950051507004+68750+023550FM-12+038299999V0203301N00671220001CN99