hadoop学习(二) 分布式搭建配置

1、组件规划

2、配置

2.1、配置core-site.xml

<!--指定namenode所在机器的位置和访问交互端口号-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://dist1.lv.org:8020</value>
</property>
<!--指定Hadoop运行时的临时目录地址-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>

2.2、配置hdfs-site.xml

<!--指定系统中文件的块的副本个数(默认为3,若实际为3时可不设置)-->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!--指定secondaryNameNode所在的主机 端口-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>dist3.lv.org:50090</value>
</property>

2.3、配置mapred-site.xml

<!--指定mapreduce运行在YARN上-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!--配置mapreduce历史服务器-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>dist1.lv.org:10020</value>
</property>
<!--配置mapreduce历史服务器WEB服务-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>dist1.lv.org:19888</value>
</property>

2.4、配置slaves

192.168.1.121 dist1.lv.org
192.168.1.123 dist2.lv.org
192.168.1.125 dist3.lv.org

2.5、配置yarn-site.xml

<!--指定resourcemanager所在机器的位置-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>dist2.lv.org</value>
</property>
<!--告知yarn上运行的是mapreduce-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property><!--启用日至聚集功能--><property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!--设置在hdfs上聚集的日志保存的最长时间-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
</property>

2.6、配置mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>dist1.lv.org:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>dist1.lv.org:19888</value>
</property>