hadoop-搭建(转)--亲测好用

环境如下:

ubuntu-12.04.2-server-amd64

hadoop-1.0.4

VirtualBox

1、在VBox中安装Ubuntu Server,用户名和密码都是hadoop,安装完成后,克隆两份,这样就有三台机器,一台master,两台slave。克隆后的slave打开不能上网,原因是克隆的时候,“重新初始化所有网卡的MAC地址”,而Ubuntu系统中网卡缓存中的MAC地址也新的MAC地址不一致,解决方法是在克隆后的机器中删除一个文件,使用如下命令:

sudo rm /etc/udev/rules.d/70-persistent-net.rules

然后重启,机器就能连网了。

2、安装jdk,使用如下命令:

sudo apt-get install openjdk-6-jdk

master和slave都要安装。

3、修改机器名称,编辑/etc/hostname,把master机器修改成master.Hadoop,slave机器修改成slave1.Hadoop和slave2.Hadoop。

4、修改机器网络配置,编辑/etc/network/interfaces。master的网络配置如下:

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
#iface eth0 inet dhcp
iface eth0 inet static
address 192.168.0.40
netmask 255.255.255.0
gateway 192.168.0.1dns-nameservers 8.8.8.8

slave1和slave2的配置只需要修改IP地址,分别是192.168.0.41和192.168.0.42。

5、配置master和slave的hosts文件,编辑/etc/hosts,在文件中追加如下内容:

192.168.0.40    master.Hadoop
192.168.0.41    slave1.Hadoop
192.168.0.42    slave2.Hadoop

三台机器的hosts配置相同。

6、配置master无密码登录所有slave

在master上执行:

ssh-keygen -t rsa -P ‘‘

这个命令用于生成无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对为id_rsa和id_rsa.pub,默认存储在/home/hadoop/.ssh目录下。接着在master上做如下配置,把id_rsa.pub追加到授权的key里:

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

修改权限:authorized_keys的权限和.ssh目录的权限,使用如下命令:

chmod 600 .ssh/authorized_keys
chmod 700 .ssh

在slave机器上创建.ssh目录,使用如下命令:

mkdir .ssh

把authorized_keys复制到slave1机器的/home/hadoop/.ssh中,使用如下命令:

 scp .ssh/authorized_keys slave1.Hadoop:/home/hadoop/.ssh/authorized_keys

修改权限,同master上的权限配置,在slave2上做同样的操作。

7、在master上安装hadoop

解压hadoop-1.0.4.tar.gz:

tar -zxvf hadoop-1.0.4.tar.gz

8、配置hadoop

编辑conf/hadoop-env.sh,修改JAVA_HOME的值:

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64/

编辑conf/mapred-site.xml,添加内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

        <property>
                <name>mapred.job.tracker</name>
                <value>http://master.hadoop:9001</value>
        </property>

</configuration>

编辑conf/hdfs-site.xml,添加内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

        <property>
                <name>dfs.name.dir</name>
                <value>/home/hadoop/name</value>
        </property>

        <property>
                <name>dfs.data.dir</name>
                <value>/home/hadoop/data</value>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

编辑conf/core-site.xml,添加内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

        <property>
                <name>fs.default.name</name>
                <value>hdfs://master.Hadoop:9000</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop-1.0.4/tmp</value>
        </property>
</configuration>

编辑conf/masters,删除localhost,添加内容:

master.Hadoop

编辑conf/slaves,删除localhost,添加内容:

slave1.Hadoop
slave2.Hadoop

9、把master的hadoop-1.0.4拷贝到slave

在master上执行:

scp -r hadoop-1.0.4 slave1.Hadoop:/home/hadoop/
scp -r hadoop-1.0.4 slave2.Hadoop:/home/hadoop/

10、在master上格式化HDFS文件系统,使用如下命令:

hadoop-1.0.4/bin/hadoop namenode -format

11、启动所有结点

在master上执行:

hadoop-1.0.4/bin/start-all.sh

在master上执行jps命令,输出如下:

1974 JobTracker
2101 Jps
1602 NameNode
1893 SecondaryNameNode

说明master上hadoop正常启动。

在slave上执行jps命令,输出如下:

2007 Jps
1423 DataNode
1636 TaskTracker

说明slave上hadoop正常启动。

也可以在浏览器中打开192.168.0.40:50030或者192.168.0.40:50070查看master和slave是否正常启动。

12、关闭所有节点

在master上执行:

hadoop-1.0.4/bin/stop-all.sh

参考链接:

http://blog.chinaunix.net/uid-26867092-id-3213709.html

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

时间: 2024-10-09 05:54:58

hadoop-搭建(转)--亲测好用的相关文章

redis伪集群搭建(亲测无坑)

一.单机版安装部署,伪集群只需要操作前1-8步即可,再往下浏览找到:二.单机版-伪集群 ?安装部署继续搭建,如需设置密码参照第10步 1.安装基本工具 yum install -y?gcc-c++ vim lrzsz wget? 2.创建.进入目录 mkdir /opt/redis cd /opt/redis 3.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 4.解压.查看文件 tar zxvf redis-5.0.5.

推荐几个hadoop搭建的几个好的博文,亲测成功!

内容包括hadoop单机版.伪分布式.分布式搭建方式以及在Eclipse上面安装hadoop插件配置hadoop,本菜亲测成功,希望对大家能产生帮助: http://www.cnblogs.com/kinglau/category/509016.html http://www.cnblogs.com/huligong1234/p/3533382.html http://aub.iteye.com/category/302369

Caffe初学者第一部:Ubuntu14.04上安装caffe(CPU)+Python的详细过程 (亲测成功, 20180524更新)

前言: 最近在学习深度学习,最先要解决的当然是开源框架的环境安装了.之前一直在学习谷歌的Tensorflow开源框架,最近实验中需要跟别人的算法比较,下载的别人的代码很多都是Caffe的,所以想着搭建好Caffe环境跑别人的代码.这中间经历过很多弯路,开始是入了Ubuntu16.04的坑,很多教程都说GCC版本不匹配,需要降级,我也尝试过发现很多坑:另外,就是安装matlab版本的Caffe以及安装GPU版本的Caffe,都经历了很多的波折,这前后摸索大概花了半个月左右.最后发现Ubuntu14

大数据开发环境需要的安装包合集,亲测没问题

大数据环境需要的安装包合集,包括: apache-flume-1.7.0-bin.tar.gz apache-hive-1.2.1-bin.tar.gz hadoop-2.7.2.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar kafka_2.11-0.11.0.2.tgz mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar scala-2.11.8.tgz spark-2.1.1-bin-hadoop2.

Android蓝牙自动配对Demo,亲测好使!!!

蓝牙自动配对,即搜索到其它蓝牙设备之后直接进行配对,不需要弹出配对确认框或者密钥输入框. 转载请注明出处http://blog.csdn.net/qq_25827845/article/details/52400782 经过最近一段时间得研究,针对网上给出的案例.总结了一个亲测好使的Demo. 说明如下: 1.本Demo用来连接蓝牙设备HC-05,如果你要连接其他蓝牙设备,注意修改相关名字以及修改设备初试pin值. 2.将Demo安装在Android手机上,点击按钮,可以实现与目标蓝牙设备的自动

亲测VS2010纯静态编译QT4.8.0,实现VS2010编译调试Qt程序,QtCreator静态发布程序(图文并茂,非常详细)

下载源代码,注意一定是源码压缩包如qt-everywhere-opensource-src-4.8.0.zip,不是Qt发布的已编译的不同版本的标准库如qt-win-opensource-4.8.0-vs2010.exe,这些版本都只是动态编译的,不是我们所需要的.只有用源码包才能做真正的纯静态编译,如果用Qt官网已编译的标准库.exe文件进行编译,有可能出现各种错误,而且编译后的文件巨大,我当时就在这里绕了很大的弯子,请童鞋们注意啦!!可能有些老鸟会笑话,但我本着最严肃的态度告诉菜鸟们,上网查

Linux 下 将使用Python-Django开发的web应用布置到服务器上(亲测有效)

写在前面: Django是一个卓越的新一代Web框架,相信使用Python的人对此并不陌生,但将我们完成的web应用布置到到服务器上并不是一件容易的事情. Django详细的教程可以参考http://python.usyiyi.cn/django/index.html. Django有自己的一个调试服务器,通过在项目文件夹下执行: python  manage.py runserver 8080(参数8080是设置的端口号,指明该服务器使用端口号为8080) 但是此语句也仅限在自己的机器上进行调

电脑IP改变后oracle em无法登陆的解决办法(亲测)

以下方法为本人亲测 情况:假设电脑初次安装oracle时的ip是192.168.133.110 那么进入em的地址就是http://192.168.133.110:1158/em/console/logon/logon 假设电脑的IP改变为192.168.88.66 那么进入em的地址应该是http://192.168.88.66:1158/em/console/logon/logon 但是测试后,输入上述地址无法进入em,原因是电脑ip改变了,oracle需要修改配置文件才可以访问,一般修改配

微信现金红包高级红包接口开发亲测

微信现金红包高级红包接口开发时遇到了不少问题,网上搜索发现 微信现金红包高级红包接口开发注意事项 这篇文章问题总结得很完整,里面给的demo是VS高版本写的,运行过程中还是有些参数问题对于首次调试来说有点难度,还有微信支付现金红包接口 的接口介绍,下面的几个问题特别提出: 商户证书,下载的demo需要证书才能正确运行(可调成服务器模拟发送),而证书需要安装到服务器上,demo是控制台程序,需要的证书可直接安装后使用,其中指出的是方法X509Certificate2 Find()中m_Subjec

亲测有效好用组件之启动屏react-native-splash-screen(一)

项目中经常会用到一些第三方组件,每次使用的时候网上找都能找到好多,一些好用,一些不好用, 现在将自己在项目中使用过的感觉还不错的组件记录下来,为了大家也为了自己以后节省一点测试探索的时间. 基本配置github里有详细的介绍react-native-splash-screen. 首先注明一下,这个亲测的RN版本是0.33. 配置的步骤和一般第三方组件差不多,这里就不再赘述.不同的地方就是在./android/app/src/res下面多了layout和drawable文件夹 如图所示 splas