hadoop安装 伪分布

伪分布hadoop 安装总结

准备，在配置中hadoop用的9000端口，如果有其它软件用着这个端口，建议更换后再进行下面配置，以避免出现错误。比如php-fpm经常使用9000端口。

一、下载jdk
下载linux 64 8u73-64位版本
tar zxvf jdk-8u74-linux-x64.tar.gz -C /usr/local/

二、下载hadoop
tar zxvf hadoop-2.6.4.tar.gz -C /usr/local/

配置项:

vim /etc/profile.d/hadoop.sh
export JAVA_HOME=/usr/local/jdk1.8.0_74
export JRE_HOME=/usr/local/jdk1.8.0_74/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop-2.6.4
export HADOOP_PREPATH=/usr/local/hadoop-2.6.4
export HADOOP_PID_DIR=/usr/local/hadoop-2.6.4/pid
export YARN_PID_DIR=/usr/local/hadoop-2.6.4/pid
export HADOOP_MAPRED_PID_DIR=/usr/local/hadoop-2.6.4/pid
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile.d/hadoop.sh

vim etc/hadoop/core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.4/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

vim etc/hadoop/yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<description>The http address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>The https adddress of the RM web application.</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

vim etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.6.4/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.6.4/dfs/data</value>
</property>
  <property>
            <name>dfs.permissions</name>
            <value>false</value>
     </property>
 </configuration>

vim etc/hadoop/masters
localhost

vim etc/hadoop/slaves
localhost

mkdir tmp dfs dfs/name dfs/data

bin/hdfs namenode -format

sbin/start-dfs.sh
sbin/start-yarn.sh

配置OK.

时间： 2024-07-29 20:24:05

hadoop安装 伪分布的相关文章

大数据学习：Hadoop中伪分布的搭建

<注:我们假设使用的是一个没有进行过任何配置的Linux系统,下面我们开始进行伪分布的搭建> 1.设置IP 地址 设置完成后,执行命令:service iptables restart 验证:         ifconfig 2. 关闭防火墙 执行命令        service iptables stop 验证:                 service iptables status 3.关闭防火墙的自动运行 执行命令        chkconfig iptables off

搭建Hadoop的伪分布环境

搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy ? ? 配置hadoop 注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop ????伪分布式需要修改5个配置文件 第一个:hadoop-env.sh ????????vim hadoop-env.sh ????????#第27行 ????????export JAVA_HOME=/usr

吴超老师课程---hadoop的伪分布安装

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主

Hadoop之——伪分布安装

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769499 1.1 设置ip地址 执行命令    service network restart 验证:    ifconfig 1.2 关闭防火墙 执行命令    service iptables stop 验证:        service iptables status 1.3    关闭防火墙的自动运行 执行命令    chkconfig iptables off 验

一:搭建Hadoop的伪分布环境*

1.上传hadoop2.7.0编译后的包并解压到/hadoop2目录下  mkdir /hadoop2 解压 tar  -zxvf  hadoop.2.7.0.tar.gz -C /hadoop2 2.解压后hadoop2的目录结构 bin Hadoop最基本的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop etc hadoop配置文件所在的目录,包括core-site.xml.hdfs-site.xml.mapred-site.xml等

mac下安装伪分布hadoop2.6.0和hbase1.0.1.1

1.安装JDK,我安装的是java1.7 2.创建管理员账户 3.安装ssh服务(如果已有跳过此步) 4.ssh无密码验证登陆 以上过程略,可参考ubuntu下安装hadoop一文. 5.下载并解压hadoop2.6.0安装包 tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop 6.配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml. hadoop-env.sh中加

hadoop之伪分布搭建环境

1. 修改主机名字  临时修改(session): sudo hostname orcll /etc/sysconfig/network -> HOSTNAME=hadoop0 #localhost.localdomain    shutdown -r now 2.将hostname与ip绑定 添加/etc/hosts文件 ping hadoop0 3.关闭防火墙 1 service iptables stop 2 chkconfig iptables off 3 -- service ipta

hadoop的伪分布

cd /hoperun ln -s hadoop-0.20.2 hadoop ln -s jdk1.6.0_21 jdk vi /hadoop/conf/hadoop-env.sh export JAVA_HOME=/hoperun/jdk vi /hadoop/conf/core-site.xml <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value&g

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --