Redhat hadoop2.7.2安装笔记

本次安装是在windows7环境下安装redhat虚拟机进行的,所须要的软件例如以下:

VirtualBox-5.0.16-105871-Win.exe

rhel-server-5.4-x86_64-dvd.iso

首先安装虚拟机软件,然后在此基础上安装redhat。安装redhat的时候记得关闭防火墙还有其他的一些服务都disabled掉。

首先在windows7上开一个共享文件夹,将例如以下软件放入共享文件夹:

jdk-7u71-linux-x64.tar.gz

hadoop-2.7.2.tar(hadoop2.7.2原始文件是一个gz文件,在本地解压能够得到tar文件)

安装完redhat后,安装增强工具,安装完成以后能够看到windows下的共享文件夹,复制jdk,hadoop文件到home文件夹。在此之前配置一个免passwordSSH工作环境。自行百度搜索。

安装完jdk以后,编辑/etc/profile文件。最后加上

export JAVA_HOME=/home/jdk1.7
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile检查jdk是否成功安装。

解压hadoop压缩文件。home文件夹下的文件结构例如以下:

在/home/hadoop2文件夹下创建数据存放的文件夹。tmp、hdfs、hdfs/data、hdfs/name

编辑hadoop-env.sh,改动例如以下:

export JAVA_HOME=/home/jdk1.7
export HADOOP_CONF_DIR=/home/hadoop2/etc/hadoop

编辑yarn-env.sh,改动例如以下:

export JAVA_HOME=/home/jdk1.7

编辑core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop2/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

编辑mapred-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>127.0.0.1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>127.0.0.1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>127.0.0.1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>127.0.0.1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>127.0.0.1:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

编辑hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop2/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop2/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>127.0.0.1:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

第一次安装完毕以后,须要运行例如以下命令

hadoop namenode –format

然后启动hadoop

[[email protected] sbin]# ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
16/03/29 00:56:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost.localdomain]
localhost.localdomain: starting namenode, logging to /home/hadoop2/logs/hadoop-root-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /home/hadoop2/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [localhost.localdomain]
localhost.localdomain: starting secondarynamenode, logging to /home/hadoop2/logs/hadoop-root-secondarynamenode-localhost.localdomain.out
16/03/29 00:56:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /home/hadoop2/logs/yarn-root-resourcemanager-localhost.localdomain.out
localhost: starting nodemanager, logging to /home/hadoop2/logs/yarn-root-nodemanager-localhost.localdomain.out

用户jps查看进程,假设是6个表明成功安装:

[[email protected] sbin]# jps
4571 NameNode
3065 DataNode
3479 NodeManager
3373 ResourceManager
3221 SecondaryNameNode
3774 Jps

也能够从浏览器中訪问相关资源

相关问题:

1.共享目录找不到,一般要更新gcc kernel等

2.报Unable To Load Native-Hadoop Library For Your Platform错误。一般按上面的步骤就不会报此错误。

时间: 2024-10-10 18:42:33

Redhat hadoop2.7.2安装笔记的相关文章

hadoop2.2.0安装笔记

NameNode 192.168.1.122  hadoop/hadoop VM  192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一.在所有机器上安装openssh-server sudo apt-get install openssh-server 如果没有找到openssh-ser

Hadoop2.7.2安装笔记

1.设置免密SSH登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys

Hadoop2.2.0安装过程记录

1    安装环境1.1    客户端1.2    服务端1.3    安装准备    2    操作系统安装2.1.1    BIOS打开虚拟化支持2.1.2    关闭防火墙2.1.3    安装VNC3    JAVA安装    3.1    配置目的3.2    配置过程3.3    结果验证4    主机名配置4.1    配置目的4.2    配置过程4.3    结果验证5    增加hadoop用户5.1    配置目的5.2    配置过程5.3    结果验证6    Had

docker在ubuntu14.04下的安装笔记

本文主要是参考官网教程进行ubuntu14.04的安装. 下面是我的安装笔记. 笔记原件完整下载: 链接: https://pan.baidu.com/s/1c1CZZCs 密码: qk1x

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

Hadoop-2.4.0安装和wordcount执行验证

Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性的步骤. 建立文件夹 /home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装文件夹. 安装hadoop-2.4.0,解压hadoop-2.4.0.tar.gz到文件夹 /home/QiumingLu/hadoop-2.4.0就可以 [[email protected]

Python MySQLdb Linux下安装笔记

本文介绍了Python MySQLdb Linux下安装笔记,本文分别讲解了快速安装和手动编译安装两种方法,并分别讲解了操作步骤,需要的朋友可以参考下 主要针对centos6.5 64位系统 默认python版本为2.6 编码安装python2.7和python3.4      一.yum快速安装 yum install MySQL-python yum install python-setuptools 经常接触Python的同学可能会注意到,当需要安装第三方python包时,可能会用到eas

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

redhat 6.4 maven安装

Redhat 6.4 安装maven 1.Maven 的安装需要JDK环境,所以首先需要确定JDK环境,可以在终端使用java -version [[email protected] local]# java -version java version "1.7.0_09-icedtea" OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64) OpenJDK 64-Bit Server VM (build 23.2-b09, m