(原创)hadoop 分布式开发环境搭建

一,安装java环境

添加java环境变量

vi /etc/profile

# add by tank
export JAVA_HOME=/data/soft/jdk/jdk1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

二,修改文件句柄数

vi  /etc/security/limits.conf

# add by tank

* soft nofile 65536
* hard nofile  65536

三,设置ssh无密码登录

参考:http://www.cnblogs.com/tankaixiong/p/4172942.html

任意主机之间可以无密码登录。

authorized_keys包含了所有主机的密钥,多主机这里可以通过nfs 挂载同步文件authorized_keys,一改全改

四,设置HSOT

  vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.183.130 tank1
192.168.183.131 tank2
192.168.183.132 tank3
192.168.183.133 tank4

 

五,安装hadoop 环境

这里用的是hadoop2.20版本

目录结构:

设置环境变量:

export HADOOP_HOME=/data/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意:$HADOOP/bin 和$HADOOP/sbin 目录下的文件都有可执行的权限

修改配置文件:

[[email protected] hadoop]$ vi core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value><description>(备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹)A base for other temporary directories.</description>
    </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://192.168.149.128:9000</value>
  </property>
</configuration>

备注:如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。

[[email protected] hadoop]$ vi hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/data/soft/hadoop/hadoop-2.2.0/hdfs/name</value>
        <final>true</final>
   </property>
   <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/soft/hadoop/hadoop-2.2.0/hdfs/data</value>
   </property>
</configuration>

文件必须已经预先创建好并存在!

[[email protected] hadoop]$ vi mapred-site.xml

<configuration>
   <property>
     <name>mapred.job.tracker</name>
     <value>192.168.149.128:9001</value>
   </property>
</configuration>

注意上面一定要填Ip,不要填localhost,不然eclipse会连接不到!

设置主从关系$HADOOP_HOME/etc/hadoop/目录下:

[[email protected] hadoop]$ vi masters 
192.168.183.130

//主机特有,从机可以不需要

[[email protected] hadoop]$ vi slaves

192.168.183.131
192.168.183.132
192.168.183.133

[[email protected] hadoop]$ hadoop namenode -format   //第一次需要

启动:

sbin/start-all.sh

查看状态:主机

[[email protected] hadoop-2.2.0]$ jps
2751 ResourceManager
2628 SecondaryNameNode
2469 NameNode

查看状态:子主机

[[email protected] sbin]$ jps
1745 NodeManager
1658 DataNode

总共有5个hadoop线程

访问地址查看hdfs 的运行状态:

http://192.168.149.128:50070/dfshealth.jsp

时间: 2024-11-09 00:37:04

(原创)hadoop 分布式开发环境搭建的相关文章

windows 7使用eclipse下hadoop应用开发环境搭建

因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本是最新JavaEE版本,叫什么LUA Kepler,本来是用Juno的,因为操

(转)Hadoop Eclipse开发环境搭建

来源:http://www.cnblogs.com/justinzhang/p/4261851.html This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare tim

Hadoop Eclipse开发环境搭建

    This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day's spare time to recovery from where I was stoped. Hope the b

Hadoop项目开发环境搭建(Eclipse\MyEclipse + Maven)

写在前面的话 可详细参考,一定得去看 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) Zookeeper项目开发环境搭建(Eclipse\MyEclipse + Maven) Hive项目开发环境搭建(Eclipse\MyEclipse + Maven) MapReduce 开发环境搭建(Eclipse\MyEclipse + Maven) 我这里,相信,能看此博客的朋友,想必是有一定基础的了.我前期写了大量的基础性博文.可以去补下基础. 步骤一:File  ->

Hadoop基本开发环境搭建(原创,已实践)

软件包: hadoop-2.7.2.tar.gz hadoop-eclipse-plugin-2.7.2.jar hadoop-common-2.7.1-bin.zip eclipse 准备环境: 安装Hadoop,安装步骤参见Hadoop安装章节. 安装eclipse. 搭建过程如下: 1. 将hadoop-eclipse-plugin-2.7.2.jar拷贝到eclipse/dropins目录下. 2. 解压hadoop-2.7.2.tar.gz到E盘下. 3. 下载或者编译hadoop-c

【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建

由于一些缘故,这节内容到如今才写.事实上弄hadoop有一段时间了,能够编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,假设不是依照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本号是最新JavaEE版本号.叫什么LUA Kepler,本来是用Juno的,

hadoop分布式的环境搭建

版本: 使用hadoop1.1.2    JDK为java7 1.下载hadoop 2.配置hadoop文件 3测试 1.下载hadoop: 1.1 在https://archive.apache.org/dist/hadoop/common/   中下载hadoop1.1.2 , 这里注意要下载 hadoop的bin,而不是带有src的文件 ,src的文件是未经编译的hadoop 1.2 解压hadoop , 把hadoop的压缩包放在/opt下面 ,然后 使用命令解压 tar –zvxf h

hadoop本地开发环境搭建

1:下载hadoop2.7.3并解压 2:配置hadoop2.7.3环境变量 HADOOP_HOME %HADOOP_HOME%\bin 3:下载hadoop-eclipse-plugin插件 网址:https://github.com/winghc/hadoop2x-eclipse-plugin 4:添加hadoop.dll和winutils.exe到hadoop解压目录的bin目录下面 hadoop.dll和winutils.exe 在hadoop-eclipse-plugin目录里面 5:

Hadoop那些事儿(二)---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境,这篇文章主要为MapReduce开发环境的搭建流程. 1.HDFS伪分布式配置 使用MapReduce时,如果需要与HDFS建立连接,及使用HDFS中的文件,还需要做一些配置. 首先进入Hadoop的安装目录 cd /usr/local/hadoop/hadoop2 在HDFS中创建用户目录 ./bin/hdfs dfs -mkdir -p /user/hadoop 创建input目录,并将./etc/hadoop中的xml文件