【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~

先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。

今天来说说hadoop2.4的安装和配置吧~

1、环境的准备:

系统:CentOS

JDK版本号:jdk7

系统须要包括ssh服务的。

CentOS配置:/etc/profile 最后面加入例如以下:(此配置文件接的是上次编译hadoop2.4源代码的配置文件:http://blog.csdn.net/enson16855/article/details/35568049

export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH"

export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH"

export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH"

export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/

注意:这边要求下载好hadoop-2.4.0,而且解压到指定的文件夹(本人的:/home/hadoop/soft/hadoop)~

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

2、配置hadoop

hadoop-env.sh:

export JAVA_HOME=/usr/java/jdk1.7.0_60
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

core-site.xml :

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.0.167:9000</value>
        </property>

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
        </property>
</configuration>

hdfs-site.xml :

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
        </property>
</configuration>

mapred-site.xml,这里2.4.0中没有这个文件,能够新建一个,或者直接改动mapred-site.xml.template

<configuration>
        <property>
                <name>mapreduce.jobtracker.address </name>
                <value>192.168.0.167:9001</value>
        </property>
</configuration>

yarn-site.xml:

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

3,ssh免password登陆设置

命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)

ssh-keygen -t rsa -P ""

直接回车就可以

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

试一下ssh localhost要是能免password登陆显示系统信息,就应该是对的。(这里有个输入password环节,是系统的password)

4、格式化hdfs:

命令:

./bin/hadoop namenode -format 

出现上面这个图片那样的 说明格式化成功。。。。

5、启动hadoop

命令:

./sbin/start-all.sh

新版本号的hadoop事实上不建议这么直接start-all,建议一步步来,须要start-dfs.sh等等一系列的操作,反正我们仅仅是做试验一样,我就没这么去讲究了。。

关闭的命令:

./sbin/stop-all.sh

启动成功例如以下:

基本启动的进程例如以下:

SecondaryNameNode

DataNode

NodeManager

Jps

ResourceManager

NameNode

浏览器訪问:http://localhost:50070

http://localhost:8088 hadoop进程管理页面

这样就算是总体成功了。。

时间: 2024-10-16 16:58:19

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置的相关文章

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

Hadoop2.6.0伪分布式安装配置

首先安装JDK,从Oracle官网下载 在 /usr/目录下mkdir java创建一个java目录 将jdk-7u72-linux-x64.rpm 放入java目录下 执行 rpm –ivh jdk-7u72-linux-x64.rpm 再从Apache官网下载 在 /usr/目录下 mkdir hadoop 创建一个hadoop目录 将hadoop-2.6.0.tar.gz 放入hadoop目录下 执行 tar –zxvf hadoop-2.6.0.tar.gz 接下来配置环境变量 vim

Hadoop-2.7.1伪分布--安装配置hbase 1.1.2

hbase-1.1.2下载地址:http://www.eu.apache.org/dist/hbase/stable/hbase-1.1.2-bin.tar.gz 下载之后解压至\usr\local目录下 打开终端进入到\usr\local\hbase-1.1.2: cd \usr\local\hbase-1.1.2 修改变量vim conf/hbase-env.sh添加以下设置 # export JAVA_HOME=/usr/java/jdk1.6.0/ export JAVA_HOME=/u

Hadoop2.6.0伪分布环境搭建

用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装解压命令: 解压完毕: 查看解压的文件夹: 4.配置 环境变量: 写入如下5行代码: 使配置生效: 5.查看安装的jdk: java -version java javac 二.SSH免密码登陆: 1.安装SSH: 2.是否生成 .ssh 目录: 3.如果没有生成,自己手动创建一个 .ssh 目录:

hadoop-2.6.0伪分布运行WordCount

hadoop-2.6.0伪分布运行WordCount 1.启动Hadoop:  2.创建file 文件夹:  这个是建在本地硬盘上的: 查看创建的 file 文件: 进入该目录,创建两个 txt 文件: 结果如下: 3.在HDFS上创建输入文件夹目录 input : 把本地硬盘上创建的文件传进input 里面: 查看结果: 4.Hadoop自带的运行 wordcount 例子的 jar 包: 5.开始运行 wordcount: 过程: 查看运行结果: 附完整运行过程: 附代码: import j

Hadoop系列(二)hadoop2.2.0伪分布式安装

一.环境配置 安装虚拟机vmware,并在该虚拟机机中安装CentOS 6.4: 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1   hadoop); 按照JDK,下载jdk1.7.0_60并解压到/soft目录中,然后在/etc/profile中添加  export JAVA_HOME=/soft/jdk1.7.0_60 和 export PATH

Hadoop新生报到(一) hadoop2.6.0伪分布式配置详解

首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8: 1.准备工作 准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录) 系统环境:IP:192.168.80.99, linux用户: root/123456,hadoop/123456 主机名:node 把防火墙关闭,roo

hadoop2.6.0伪分布式安装

准备linux环境[java.ip.hostname.hosts.iptables.chkconfig.ssh] 下载稳定版2.6.0 修改etc/hadoop目录下的配置文件core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml 启动 验证 下面主要配置文件: core-site.xml: <property> <name>fs.defaultFS</name> <value>hdfs://192

Ubuntu16.04 Hadoop2.6.0伪分布式安装与启动中遇到的问题

1.安装JDK1.8,下载安装包解压至 /usr/lib/jdk vim /etc/profile #配置路径 export JAVA_HOME= /usr/lib/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 2.之前已经安装好SSH,现在设置免密码登录 ssh-keygen -t rsa ca