CentOS7.2 Hadoop2.6.4 安装

在http://www.cnblogs.com/wuyushen/p/5764194.html遇到的问题,Centos6.5不能载入库的问题,看一下在CentOS 7.2 X64的系统下能否成功。

顺便简单写下安装方法。

一、增加用户,但是下面操作依旧是root用户

groupadd hadoop

useradd –g hadoop hadoop

passwd hadoop

二、修改为静态ip

#BOOTPROTO=dhcp

BOOTPROTO="static"

HOSTNAME=Master

GATEWAY=192.168.67.1

NETMASK=255.255.255.0

IPADDR=192.168.67.68

DNS1=180.76.76.76

DNS2=192.168.67.1

三、主机名,hosts

/etc/hostname

/etc/hosts

四、关闭防火墙

http://www.awaimai.com/762.html

启动:# systemctl start firewalld

查看状态:# systemctl status firewalld 或者 firewall-cmd --state

停止:# systemctl disable firewalld

禁用:# systemctl stop firewalld

五、visudo

增加 hadoop   ALL(ALL)         ALL

六、安装java

rpm -ivh jdk-8u101-linux-x64.rpm

安装java后位置 /usr/java/jdk1.8.0_101

环境配置: /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_101

export JRE_HOME=/usr/java/jdk1.8.0_101/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

source /etc/profile

七、安装hadoop

.opt下

tar zxvf hadoop-2.6.4.tar.gz

mv hadoop-2.6.4 hadoop

chown -R hadoop:hadoop hadoop

八、hadoop环境变量 /etc/profile

export HADOOP_HOME=/opt/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

下面配置hadoop,切换为hadoop用户

九、在 hadoop 安装目录中创建一个 tmp 目录,未来的查询都可以在这个目录下进行

cd /usr/hadoop

mkdir tmp

十、配置hadoop

/opt/hadoop/etc/hadoop下

1、配置hadoop-env.sh

添加      export JAVA_HOME=/usr/java/jdk1.8.0_101

2、配置core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.67.68</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.67.68:9000</value>

</property>

</configuration>

3、配置hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4、配置 mapred-site.xml

hadoop 2.6 不需要配置这个文件???

十一、克隆虚拟机备用

十二、配置ssh

(1)CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置,

#RSAAuthentication yes

#PubkeyAuthentication yes

(2)Master上生成密码对

ssh-keygen -t rsa

在目录/home/hadoop/.ssh下,

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

(3)设置SSH配置

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

设置完之后记得重启SSH服务,才能使刚才设置有效。

退出root登录,使用hadoop普通用户验证是否成功。

十三、Masters配置

修改 /usr/hadoop/etc/hadoop/masters 文件,默认如果没有那么就得新建一个,在里面加上一行:

192.168.67.68 或者名称也可以 Master

十四、伪分布式启动

hadoop namenode -format

启动成功了,但是在启动 namenode的时候,配置文件一有点问题

应该是slaves, masters文件,hosts配置,还有ssh有点问题。

但是不影响伪分布式运行,在扩展成分布式的时候,可以把这个问题解决。

十五、分布式

1、克隆虚拟机

修改为静态ip

修改/etc/hostname

2、修改master主机,所有slaves主机的hosts

3、配置SSH

在master下,hadoop用户

发现点疑惑,重新制作ssh免密码登陆

参考http://f.dataguru.cn/thread-538083-1-1.html   该贴有详细介绍

______________________________

Master免密码登陆所有Slaves

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/id_rsa.pub [email protected]:~/

切换到Slave1窗口(id_rsa.pub已经复制到slave1的/hone/hadoop下)

/home/hadoop下

mkdir ~/.ssh

chmod 700 ~/.ssh

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

设置Slave1 的设置SSH配置

chmod 600 ~/.ssh/authorized_keys

vi /etc/ssh/sshd_config

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

设置完之后记得重启SSH服务,才能使刚才设置有效。

service sshd restart

在~/    把该文件删掉

rm –r ~/id_rsa.pub

——————————————————————————————————

Slave免密码登陆Master,在Slave1操作

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/id_rsa.pub [email protected]:~/

切换到Master

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

然后删除掉刚才复制过来的"id_rsa.pub"文件

4、先停止正在运行的伪分布式集群

5、在Master节点配置Masters ,Slaves等

配置文件参考http://www.powerxing.com/install-hadoop-cluster/

slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

把配置文件复制到其他点

scp ./etc/hadoop/* Slave3:/opt/hadoop/etc/hadoop

6、格式化,启动集群

hdfs namenode -format

7、动态添加节点

参考我之前写的博客

http://www.cnblogs.com/wuyushen/p/5764194.html

时间: 2024-08-02 10:08:45

CentOS7.2 Hadoop2.6.4 安装的相关文章

Spark安装:CentOS7 + JDK7 + Hadoop2.6 + Scala2.10.4

本文搭建环境为:Mac + Parallel Desktop + CentOS7 + JDK7 + Hadoop2.6 + Scala2.10.4-------------------------------------------------- 一.CentOS安装 ■ 安装完成后记得保存快照. ■ 环境准备 CentOS7下载:http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso. ■ Mac Par

centos7搭建hadoop2.10完全分布式

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克

hadoop-2.10.0安装hive-2.3.6

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

Hadoop-2.4.0安装和wordcount执行验证

Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性的步骤. 建立文件夹 /home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装文件夹. 安装hadoop-2.4.0,解压hadoop-2.4.0.tar.gz到文件夹 /home/QiumingLu/hadoop-2.4.0就可以 [[email protected]

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

Hadoop2伪分布模式安装

参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来.本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼. 准备 安装程序获取:从官网上下载,从Apache Download Mirrors选择一个镜像位置,然后选择一个Hadoop版本,下载hadoop-2.*.*.tar.gz 安装jdk: sudo apt-get autoremov

在hadoop2.2上安装hive

折腾了大半天终于把hive安装在hadoop2.2上了,为了今后有可查阅的资料,这里记录下整个过程,如有不对的地方,敬请拍砖!(安装hive要稍微简单一点,因为只需要部署在一台机器上就可以了) 下载:hive-0.9.0.tar.gz 解压到某路径中, 首先,将解压出来的mysql-connector-java-5.1.22-bin.jar复制到/hive下的lib路径里 设置环境变量,修改/etc/profile HIVE_HOME=/opt/hive-0.13.1 HADOOP_CONF_D

Hadoop2的FN安装(federated namespace)

尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN.这项技术可以解决namenode容量不足的问题.它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace. 下面是我们的安装信息 Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 机器配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 NameNode, DataNode, Resource