hadoop安装笔记

一、设置Linux的静态IP

修改桌面图标修改,或者修改配置文件修改

1、先执行ifconfig,得到网络设备的名称eth0

2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件

设置静态ip、dns、ip地址、子网掩码、网关等信息

3、重启网卡:service
network restart

最后执行ifconfig命令查看是否修改成功

该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通

二、修改主机名

修改当前会话主机名(当前会话生效):hostname
主机名

修改配置文件主机名(永久生效):vi
/etc/sysconfig/network

重启机器查看是否修改成功:

其中hadoop为主机名

 

三、把hostname和ip绑定

修改hosts文件:vi
/etc/hosts文件,增加一行

192.168.1.214     hadoop

验证:ping hadoop

四、关闭防火墙:service
iptables stop

1、   查看防火墙状态:service iptables status

2、   关闭防火墙:service iptables stop

3、   关闭防火墙的自运行:

a)    查看自运行状态:chkconfig --list |
grep ‘iptables‘

[[email protected]
sysconfig]# chkconfig --list | grep ‘iptables‘

iptables        0:关闭  1:关闭  2:启用  3:启用  4:启用  5:启用  6:关闭

b)    关闭:chkconfig iptables off

[[email protected]
sysconfig]# chkconfig iptables off

c)    再次查看自运行状态:chkconfig --list |
grep ‘iptables‘

[[email protected]
hadoop sysconfig]# chkconfig --list | grep ‘iptables‘

iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关

这样下次开机的时候就会不开启防火墙了

五、ssh免密码登陆

1、生成秘钥文件

进入~/.ssh文件夹

注意:

1.如果没有.ssh文件夹,就使用ssh协议登录一次试试

2.如果还是没有.ssh文件夹,就自己创建一个。修改文件夹权限为700

cd  ~

cd  .ssh

生成秘钥:ssh-keygen
-t rsa

查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub

[[email protected] .ssh]# ls

id_rsa 
id_rsa.pub

2、查看秘钥文件是否生成成功

查看id_rsa.pub中的秘钥文件,反正我是看不懂

3、将id_rsa.pub文件内容放入到authorized_keys中

[[email protected] .ssh]# cp id_rsa.pub
authorized_keys

[[email protected] .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub

为什么要复制出一份authorized_keys文件?

答:因为SSH在运行的时候会读取authorized_keys文件

 

4、验证是否免密码登陆:ssh localhost

使用localhost,不输密码登陆:ssh localhost

[[email protected] .ssh]# ssh localhost

The authenticity of host ‘localhost (127.0.0.1)‘
can‘t be established.

RSA key fingerprint is
8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.

Are you sure you want to continue connecting
(yes/no)? yes

Warning: Permanently added ‘localhost‘ (RSA) to
the list of known hosts.

Last login: Sun Apr  5 17:45:25 2015

验证:退出登陆

[[email protected] ~]#exit

[[email protected] ~]#exit

再次输入exit的时候将会退出终端

六、安装JDK

1、授予执行权限:

chmod u+x jdk-6u24-linux-i586.bin

2、解压缩:./jdk-6u24-linux-i586.bin

[[email protected] local]# ./jdk-6u24-linux-i586.bin

3、回车,查看jdk1.6.0.24文件夹

4、将jdk1.6.0_24重命名为jdk:mv jdk1.6.0_24/ jdk

5、配置环境变量:

编辑/etc/profile文件,增加如下代码

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

6、使设置立即生效:

source /etc/profile,再输入java –version时已经可以看到java版本了

七、伪分布安装hadoop

1、解压缩hadoop-1.1.2.tar.gz

tar –zxvf hadoop-1.1.2.tar.gz

为了方便重命名为hadoop:mv
hadoop-1.1.2 hadoop

2、添加到环境变量中

编辑/etc/profile文件,增加红色字体文件

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

3、使设置立即生效:

source /etc/profile

4、修改hadoop的配置文件

$HADOOP_HOME/conf目录下的配置文件

修改以下4个配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

修改内容如下:

1.hadoop-env.sh修改内容如下:

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml修改内容如下:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>change your own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3.hdfs-site.xml修改内容如下:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4.mapred-site.xml修改内容如下:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop0:9001</value>

<description>change your own hostname</description>

</property>

</configuration>

4.1修改hadoop-env.sh(第9行)

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

取消#号注释

注意:jdk的安装路径

4.2修改core-site.xml

注意:主机名称(这里是hadoop)

源文件内容

将需要修改的configuration中内容复制进去

4.3   修改hdfs-site.xml

源文件内容

复制修改

4.4修改mapred-site.xml

源内容

同样复制内容。注意修改主机名

注意:主机名称(这里是hadoop)

5、对hadoop进行格式化

命令:hadoop namenode -format

如果格式化过程中出现错误,则删除hadoop/tmp文件夹。重新格式化即可

6、启动hadoop

命令:start-all.sh

停止hadoop:stop-all.sh

共启动5个java进程

7、验证是否启动hadoop:

7.1通过jps验证是否共5个java进程

(jps命令在windows中也有)

7.2 通过浏览器端口验证

注意:如果想在windows下访问。需要修改windows/system32/dirves/etc/host文件

增加如下映射

192.168.1.214  hadoop

浏览器地址输入: http://hadoop:50070/

或者: http://hadoop:50030/

出现如下界面说明hadoop的NameNode正在运行,启动成功。

输入:http://hadoop:50030/

出现如下界面,说明Hadoop的Map/Reduce正在运行,启动成功。

8、消除start-all.sh时候的警告信息

出现上面警告信息的原因为:hadoop-config.sh文件中的如下代码

主要是:$HADOOP_HOME_WARN_SUPPRESS变量内容为空

解决办法是设置该变量不为空即可!

修改/etc/profile文件,增加如下代码

export 
HADOOP_HOME_WARN_SUPPRESS=1

然后使设置生效:source /etc/profile

来自为知笔记(Wiz)

时间: 2024-10-02 08:57:17

hadoop安装笔记的相关文章

hadoop学习笔记——基础知识及安装

1.核心 HDFS  分布式文件系统    主从结构,一个namenoe和多个datanode, 分别对应独立的物理机器 1) NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作.NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责数据块到具体DataNode的映射 2)集群中的DataNode管理存储的数据.负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建删除和复制工作. 3)NameNode是所有

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop学习笔记_8_实施Hadoop集群 --分布式安装Hadoop

实施Hadoop集群 --分布式安装Hadoop 说明: 以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为: 192.168.139.129 master #NameNode/JobTrackerr结点 192.168.139.132 slave01 #DataNode/TaskTracker结点 192.168.139.137 slave02 #DataNode/TaskTracker结点 一.配置ssh实现Hadoop节点间用户的无密

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

Hadoop 1.2.1 安装笔记01 : Linux 与免密码

目标: 配置一个hadoop 1.2.1 测试环境  用的JDK是: jdk-7u65-linux-x64.gz 选的hadoop 是: hadoop-1.2.1.tar.gz 均来源Apache和oracle网站 主机规划: Linux版本 :  Centos 6.5 x64位  /boot:用来存放与Linux系统启动有关的程序,比如启动引导装载程序等,建议大小为100MB. /usr:用来存放Linux系统中的应用程序,其相关数据较多,建议大于3GB以上. /var:用来存放Linux系统

Hadoop 1.2.1 安装笔记02: Java安装

采用ftp 或在线wget方式获取jdk安装包 ,放置于新创建的/usr/java 目录中 ,解压安装 [[email protected] java]$ sudo tar -zxvf jdk-7u65-linux-x64.gz 配置 /etc/profile里的Java参数 # JAVA environment  export JAVA_HOME=/usr/java/jdk1.7.0_65 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_H

Hadoop1.2.1安装笔记3:hadoop配置

在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master) [[email protected] usr]$ sudo mkdir hadoop [[email protected] usr]$ ls -al  total 156  drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop  [[email protected] usr]$ sudo chown -R hadoop:hadoop hadoop [[email pr

Hadoop1.2.1安装笔记4:Hadoop环境验证

格式化节点,只需一次 [[email protected] conf]$ hadoop namenode -format  Warning: $HADOOP_HOME is deprecated.  14/07/31 01:41:39 INFO namenode.NameNode: STARTUP_MSG:  /************************************************************  STARTUP_MSG: Starting NameNode 

Hadoop学习笔记(一)——编译安装和配置

近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部分内容来源于网络. 0.环境说明: 操作系统环境: ububtu 14.04 LTS 64位操作系统 JDK环境: java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSp