Hadoop安装 1.0(简版)

前提:

一定要保证iptables是关闭的并且selinux是disabled

1、准备硬件

1台namenode和3台datanode

namenode 192.168.137.100

datanode1 192.168.137.101

datanode2 192.168.137.102

datanode3 192.168.137.103

2、在4台机器上建立hadoop用户(也可以是别的用户名)

useradd hadoop

3、在4台机器上安装JDK 1.6

安装后的JAVA_HOME放在/jdk

配置环境变量

vim /etc/bashrc

export JAVA_HOME=/jdk

scp -r /jdk* datanode1:/

scp -r /jdk* datanode2:/

scp -r /jdk* datanode3:/

4、配置4台机器的多机互信

一定记得将各个节点的

/home/hadoop/.ssh

和其以下的所有文件都设成700权限位

5、安装hadoop

tar zxvf hadoop-1.0.4.tar

安装在/hadoop

将/hadoop权限位置为755

vim /hadoop/conf/hadoop-env.sh

export JAVA_HOME=/jdk

vim /hadoop/conf/core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://namenode:9000</value>

</property>

vim /hadoop/conf/mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>namenode:9001</value>

</property>

vim /hadoop/conf/hdfs-site.xml

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/name</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

vim /hadoop/conf/masters

192.168.137.100

vim /hadoop/conf/slaves

192.168.137.101

192.168.137.102

192.168.137.103

把配置好的HADOOP拷贝到datanode上去

cd /

scp -r hadoop datanode1:/hadoop

scp -r hadoop datanode2:/hadoop

scp -r hadoop datanode3:/hadoop

6、安装zookeeper

tar zxvf zookeeper-3.3.4.tar

安装在/zookeeper

cd /zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

加入

dataDir=/zookeeper-data

dataLogDir=/zookeeper-log

server.1=namenode:2888:3888

server.2=datanode1:2888:3888

server.3=datanode2:2888:3888

server.4=datanode3:2888:3888

建立/zookeeper-data

mkdir /zookeeper-data

建立/zookeeper-log

建立文件/zookeeper-data/myid

vim /zookeeper-data/myid

1

(datanode1里对应写入2)

(datanode2里对应写入3)

(datanode3里对应写入4)

10、安装hive

tarzxvf hive-0.8.0.tar

到/hive

vim /hive/bin/hive-config.sh

export HADOOP_HOME=/hadoop

export PATH=.$HADOOP_HOME/bin:$PATH

export HIVE_HOME=/hive

export PATH=$HIVE_HOME/bin:$PATH

export JAVA_HOME=/jdk

export JRE_HOME=/jdk/jre

export CLASSPATH=.$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=.$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

vim /etc/bashrc

export HIVE_HOME=/hive

11、启动hadoop

格式化并启动系统

su hadoop

cd /usr/local/hadoop/bin

./hadoop namenode -format

./start-dfs.sh

./start-mapred.sh

http://192.168.137.100:50070查看HDFS namenode

http://192.168.137.100:50030 查看MAPREDUCE JOB TRACKERS

http://192.168.137.101:5006查看datanode1上的TASK TRACKER

12、相关命令

hadoop fs -mkdir direc

hadoop fs -ls

hadoop fs -cp file:///tmp/test.file /user/hadoop/direc

时间: 2024-10-11 05:26:56

Hadoop安装 1.0(简版)的相关文章

VMware Workstation安装CentOS7.0 图文版

1 前期准备: 下载虚拟机和CentOS安装源 VMware-workstation-full-10.0.3-1895310 CentOS-7.0-1406-x86_64-DVD.iso 以下是过程截图及少许说明. 2 虚拟机配置 -1 打开虚拟机 -2 -3 -4 -5 -6 -7 也可以使用默认的处理器数量:1 -8 我修改了此虚拟机内存为2G -9 -10 -11 -12 -13 根据需要分配大小 -14 -15 虚拟机设置完成 -16 终览 3 安装CentOS7.0 -1 -2 -3

『TensorFlow2.0正式版教程』极简安装TF2.0正式版(CPU&amp;GPU)教程

0 前言 TensorFlow 2.0,今天凌晨,正式放出了2.0版本. 不少网友表示,TensorFlow 2.0比PyTorch更好用,已经准备全面转向这个新升级的深度学习框架了. ? 本篇文章就带领大家用最简单地方式安装TF2.0正式版本(CPU与GPU),由我来踩坑,方便大家体验正式版本的TF2.0. 废话不多说现在正式开始教程. 1 环境准备 我目前是在Windows10上面,使用conda管理的python环境,通过conda安装cuda与cudnn(GPU支持),通过pip安装的t

中标麒麟学习笔记1:安装7.0桌面版操作系统

一.获得操作系统 中标官网提供了一个6.0版本的链接,下载的文件是NeoKylin-Live-Desktop-6.0-x86_64-B050-20150427.iso,用于x86系列的64位机器,大小不到2G.我在它的下载网站找到了一个较新的7.0版,同时还有一个用于验证软件完整性的md5文件.自然有新的不用旧的,至于为什么官网没有显式链接这个下载网站和7.0版本,就猜测是正在测试中吧,先将7.0下下来再说. 二.制作安装U盘 直接刻录安装光盘当然好,但感觉还是U盘方便.将下载的ISO文件制作成

centos6.9源码安装wine3.0稳定版

使用源代码安装Wine 3.0 第1步:安装依赖包 我们需要用一些核心开发工具,如gcc, flex, bison, debuggers等来安装'Development Tools',这些软件必须要编译和构建新的包,使用YUM命令来安装. # yum -y groupinstall 'Development Tools' # yum -y install libX11-devel libxml2-devel libxslt-devel freetype-devel flex bison 第2步:

Kafka安装(极简版)

Kafka简介 kafka是一个高吞吐量的分布式消息队列,具有高性能.持久化.多副本备份.横向扩展能力,通常用于大数据及流处理平台.消息队列里都有生产者/消费者的概念,生产者往队列里写消息,而消费者则是从队列里获取消息.一般在架构设计中起到解耦.削峰.异步处理的作用. kafka对外使用topic的概念,生产者往topic里写消息,消费者则从topic里读消息.为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩容.在

windows下安装mysql8.0压缩版

     下面总结下安装过程: 首先解压下载好的压缩版本. 将解压后mysql的bin文件目录配置系统环境path变量中 使用cmd打开命令窗口,输入mysqld  --initialize命令初始化mysql的data数据目录,记住初始化完毕后,会在解压目录下生成一个data文件夹,这个文件夹下有一个.err结尾的文件,打开后会有随机生成的密码.当然也可以使用mysqld --initialize --console命令,这样生成的随机密码会出现在dos窗口中. 输入mysqld --inst

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个须要极度耐心和体力的仔细工作. 虽然有非常多文档教会大家怎么一步一步去完毕这样的工作,可是百密也有一疏. 现成的工具不是没有,可是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还能够,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群须要对Linux有一定的使用经验.对于全然没有接触Linux的人来说.肯定是

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,