hadoop的linux配置

一、新建hadoop组跟用户(密码:hadoop)

[[email protected] home]# groupadd hadoop

[[email protected] home]# useradd -g hadoop hadoop

[[email protected] home]# passwd hadoop

Changing password for user hadoop.

New password:

BAD PASSWORD: it is based on a dictionary word

BAD PASSWORD: is too simple

Retype new password:

passwd: all authentication tokens updated successfully.

[[email protected] home]#

二、授时服务(时间同步)

[[email protected] home]# crontab –e

[[email protected] home]# crontab -l

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

三、 jdk-6u45-linux-i586.bin安装(没有x权限,修改权限后执行)

[[email protected] java]# pwd

/usr/local/java

[[email protected] java]# ll

total 130600

-rwxrw-rw-. 1 root root 61927560 Jun  7  2013 hadoop-1.1.2.tar.gz

-rw-r--r--. 1 root root 71799552 Oct 14 14:33 jdk-6u45-linux-i586.bin

[[email protected] java]# chmod u+x jdk-6u45-linux-i586.bin

[[email protected] java]# ll

total 130600

-rwxrw-rw-. 1 root root 61927560 Jun  7  2013 hadoop-1.1.2.tar.gz

-rwxr--r--. 1 root root 71799552 Oct 14 14:33 jdk-6u45-linux-i586.bin

[[email protected] java]# ./jdk-6u45-linux-i586.bin

配置环境变量(不在profile里面配置,新建一个java.sh文件,里面配置java的环境变量,profile文件会自动加载这个java.sh文件)

[[email protected] jdk1.6.0_45]# pwd

/usr/local/java/jdk1.6.0_45

[[email protected] jdk1.6.0_45]# vi /etc/profile.d/java.sh

[[email protected] jdk1.6.0_45]#

[[email protected] jdk1.6.0_45]# java

bash: java: command not found

[[email protected] jdk1.6.0_45]# source /etc/profile  (使java.sh文件配置生效)

[root[email protected] jdk1.6.0_45]# java -version

java version "1.6.0_45"

Java(TM) SE Runtime Environment (build 1.6.0_45-b06)

Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)

[[email protected] jdk1.6.0_45]# javac -version

javac 1.6.0_45

[[email protected] jdk1.6.0_45]#

四、主机名修改

1、  vi /etc/sysconfig/network

把hostname改为node

验证:重启linux

或者:hostname 主机名(这样设置是hostname临时有效,重启后失效 )最好是执行以

下source /etc/profile

2、[[email protected] jdk1.6.0_45]# vi /etc/sysconfig/network

[[email protected] jdk1.6.0_45]# hostname

localhost.localdomain

[[email protected] jdk1.6.0_45]#

在这里需要logout一次,主机名才会生效

五、hosts文件修改(能ping通就成功了)

[[email protected] Desktop]# vi /etc/hosts

[[email protected] Desktop]# ping master

PING master (192.168.209.100) 56(84) bytes of data.

64 bytes from master (192.168.209.100): icmp_seq=1 ttl=64 time=0.488 ms

64 bytes from master (192.168.209.100): icmp_seq=2 ttl=64 time=0.083 ms

^C

--- master ping statistics ---

2 packets transmitted, 2 received, 0% packet loss, time 1374ms

rtt min/avg/max/mdev = 0.083/0.285/0.488/0.203 ms

[[email protected] Desktop]#

六、防火墙关闭

[[email protected] Desktop]# service iptables status

Table: filter

Chain INPUT (policy ACCEPT)

num  target     prot opt source               destination

1    ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           state RELATED,ESTABLISHED

2    ACCEPT     icmp --  0.0.0.0/0            0.0.0.0/0

3    ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0

4    ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:22

5    REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited

Chain FORWARD (policy ACCEPT)

num  target     prot opt source               destination

1    REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited

Chain OUTPUT (policy ACCEPT)

num  target     prot opt source               destination

[[email protected] Desktop]# service iptables stop

iptables: Flushing firewall rules:                         [  OK  ]

iptables: Setting chains to policy ACCEPT: filter          [  OK  ]

iptables: Unloading modules:                               [  OK  ]

[[email protected] Desktop]# chkconfig iptables --list

iptables       0:off
1:off 2:on
3:on 4:on
5:on 6:off

[[email protected] Desktop]# chkconfig iptables off

[[email protected] Desktop]# chkconfig iptables --list

iptables       0:off
1:off 2:off
3:off 4:off
5:off 6:off

[[email protected] Desktop]#

[[email protected] Desktop]# service iptables status

iptables: Firewall is not running.

七、SSH 无密钥登录(切换到hadoop用户下)

切换到hadoop用户下

[[email protected] ~]# su hadoop

生成公钥跟私钥(会有3次提示,一直回车即可)

[[email protected] root]$ cd

[[email protected] ~]$ pwd

/home/hadoop

[[email protected] ~]$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

33:09:0b:6d:30:f5:07:10:40:0d:be:99:cf:a9:a4:92 [email protected]

The key‘s randomart image is:

+--[ RSA 2048]----+

|   .*=+o.        |

|   . +.. .       |

|    o + . .      |

|     * o o       |

|    + . S        |

|     o . o       |

| .  . +          |

|E  o .           |

| .. .            |

+-----------------+

[[email protected] ~]$

[[email protected] ~]$ ls

[[email protected] ~]$ ll -a

total 36

drwx------. 5 hadoop hadoop 4096 Feb 28 14:19 .

drwxr-xr-x. 3 root   root   4096 Feb 28 13:47 ..

-rw-------. 1 hadoop hadoop   79 Feb 28 14:23 .bash_history

-rw-r--r--. 1 hadoop hadoop   18 Feb 22  2013 .bash_logout

-rw-r--r--. 1 hadoop hadoop  176 Feb 22  2013 .bash_profile

-rw-r--r--. 1 hadoop hadoop  124 Feb 22  2013 .bashrc

drwxr-xr-x. 2 hadoop hadoop 4096 Nov 12  2010 .gnome2

drwxr-xr-x. 4 hadoop hadoop 4096 Feb 28 06:11 .mozilla

drwx------. 2 hadoop hadoop 4096 Feb 28 14:23 .ssh

[[email protected] ~]$ cd .ssh/

[[email protected] .ssh]$ ls

id_rsa  id_rsa.pub

[[email protected] .ssh]$ ll

total 8

-rw-------. 1 hadoop hadoop 1671 Feb 28 14:23 id_rsa

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:23 id_rsa.pub

[[email protected] .ssh]$ cp id_rsa.pub authorized_keys

[[email protected] .ssh]$ ll

total 12

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:26 authorized_keys

-rw-------. 1 hadoop hadoop 1671 Feb 28 14:23 id_rsa

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:23 id_rsa.pub

[[email protected] .ssh]$

ssh登录

[[email protected] .ssh]$ ssh master

The authenticity of host ‘master (192.168.209.100)‘ can‘t be established.

RSA key fingerprint is f0:92:0b:08:0d:9b:72:0d:ca:99:30:0a:40:7e:05:ae.

SSH第一次登录有这个提示,回车就好,然后直接ssh master 不需要密码就成功了

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added ‘master,192.168.209.100‘ (RSA) to the list of known hosts.

[[email protected] ~]$ exit

logout

Connection to master closed.

[[email protected] .ssh]$ ssh master

Last login: Fri Feb 28 14:27:32 2014 from master

[[email protected] ~]$

退出ssh登录,进行接下来的环境配置

[[email protected] ~]$ exit

Logout

说明:如果这是部署hadoop环境在linux所具备的环境配置,最后的ssh配置,后期会介绍原理分析,和集群多台服务器配置的简单方法。

hadoop的linux配置

时间: 2024-07-30 15:18:12

hadoop的linux配置的相关文章

Hadoop集群配置心得(低配置集群+自动同步配置)

本文为本人原创,首发到炼数成金 http://f.dataguru.cn/thread-138720-1-1.html. 情况是这样的,我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群,相信很多人也跟我差不多,所以现在把我的低配置集群经验拿出来写一下好了. 我的配备:1)五六年前的赛扬单核处理器2G内存笔记本 2)公司给配的ThinkpadT420,i5双核处理器4G内存(可用内存只有3.4G,是因为装的是32位系统的缘故吧...) 就算是用公司配置的电脑,做出来三台1G内存的虚拟机也

hadoop之linux常用命令

Linux的命令后面会有命令选项,有的选项还有选项值.选项的前面有短横线“-”,命令.选项.选项值之间使用空格隔开.有的命令没有选项,会有参数.选项是命令内置的功能,参数是用户提供的符合命令格式的内容. 1.1.1.           命令提示符 在桌面上点击鼠标右键,在弹出菜单中选择“Open in Terminal”, 系统会打开终端,类似于Windows下的命令行.Windows的命令行是dos环境,Linux下的命令行是shell环境.我们的所有命令都是在shell下运行的,后面所有章

初识Hadoop一,配置及启动服务

一.Hadoop简介: Hadoop是由Apache基金会所开发的分布式系统基础架构,实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS:Hadoop框架最核心设计就是HDFS和MapReduce,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算. Hadoop要解决的问题:海量数据的存储(HDFS).海量数据的分析(MapReduce)和资源管理调度(YARN) Hadoop主要作用于分布式 二.Hadoop实现机制 1.

linux配置vncserver服务

挨踢这么多年,几乎很少记录自己解决的问题,因为总感觉那些问题对于高手来说,都是小菜,所以碍于颜面,不好意思写! 后来想明白了,写下来,能帮助新手,又能帮自己做个记录,下次碰到同样问题,就不用百度google了-- 这篇就算***作吧,好了,言归正传-- 想连接某台linux服务器,方法很多,但是听说除了vnc,其他方法断开网络后,程序会中断运行,只是听说,具体是不是这样,我就不太清楚了,为了保险,还是就用vnc吧. 1.           安装vncserver 我安装linux系统的时候,没

Kali—Linux配置jdk时出现的一点问题。

jdk 本来应该是几天前就配好了的今天打开终端忽然发现一个问题. : 以及好几行悬在终端最上方. 找了找,在以下步骤里面: Kali Linux配置jdk应执行 gedit ~/.bashrc 并添加下列内容 export JAVA_HOME=/usr/local/src/jdk export CLASSPATH=/usr/local/src/jdk/libexport PATH=${JAVA_HOME}/bin:$PATH 很多习惯写代码的同学喜欢在等号前后加上空格,这就导致了无法识别标识符!

Linux 配置双机SSH信任

Linux 配置双机SSH信任 一.实现原理 使用一种被称为"公私钥"认证的方式来进行ssh登录."公私钥"认证方式简单的解释是: 首先在客户端上创建一对公私钥(公钥文件:~/.ssh/id_rsa.pub:私钥文件:~/.ssh/id_rsa),然后把公钥放到服务器上(~/.ssh/authorized_keys),自己保留好私钥.当ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了. 二.实验环境 A机:TS-DEV/10.0.

hadoop本地模式配置

我使用的是VMware虚拟机,ubuntu14.04LTS,64位,已经安装java,如果不知道如何配置网上有很多教程,不再赘述,我安装的是1.6.0_30版本.建议不要安装太高版本,我原来安装了1.8版本的,尝试配置hadoop-2.6,死活都不成功,最后改成1.7版本的才配置成功. 此处再温馨提示一下,很多人使用命令:wget  http://www.us.apache....... 去下载压缩包,但是总是下载失败,原因是时间隔太久下载地址变了.在我写这篇博文的时候可以通过以下地址下载到2.

linux配置java環境變量

首先先root,然後vim /etc/profile修改文件. 在最後面添加下面幾句(當然,路徑是你自己的路徑,或者JDK版本是不一樣). 之後在終端裏輸入 source /etc/profile 這樣配置文件才能立馬生效. 配置JAVA_HOME的用處的方便其他需要JDK的軟件的使用,例如tomcat. linux配置java環境變量,布布扣,bubuko.com

linux 配置多IP

这里以红帽Linux为例.假定原系统已配置一个IP,地址为:192.168.20.140,配置文件路径/etc/sysconfig/network-script/ifcfg-eth0.现在需要配置一个网段为192.168.1的IP. 步骤(需要root用户权限): 1.cp /etc/sysconfig/network-script/ifcfg-eth0 /etc/sysconfig/network-script/ifcfg-eth1 2.vi /etc/sysconfig/network-sc