Hadoop(1.2.1) 常用配置-------笔记

  1. core-site.xml
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://qlserver03:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/grid/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
	<property>
		<name>dfs.name.dir</name>
		<value>/home/grid/hadoop/name</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/home/grid/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>16777216</value>
		<final>true</final>
	</property>
</configuration>

3.  mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>hdfs://qlserver03:9001</value>
  </property>
</configuration>
时间: 2024-10-13 00:57:02

Hadoop(1.2.1) 常用配置-------笔记的相关文章

Hadoop2.2.0分布式环境配置笔记2-编译64位hadoop源码

11.配置hadoop分布式环境!  三台机器都需要这么配置 1).将/opt/modules/hadoop-2.2.0-src重命名  mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back 2).解压64位源码 tar -zxvf /opt/modules/hadoop-2.2.0-src_x32_back/hadoop-dist/target/hadoop-2.2.0.tar.gz -C /opt/m

Hadoop2.2.0分布式环境配置笔记1-编译64位hadoop源码

我的测试环境是三台机器 分别是 Hadoop-Yarn.Hark.Com 192.168.1.200 Hadoop-Slave1.Hark.Com 192.168.1.201 Hadoop.Slave2.Hark.Com 192.168.1.202 我为了自己能充分练习hadoop 64位源码编译,所以三台机器都进行了下边的配置 环境: vmware9+centos6.4+hadoop2.2.0 0.创建hadoop帐号,大部分操作都要使用hadoop帐号的 1.关闭窗口模式 使用root账号

笔记01 登录、常用配置参数、Action访问Servlet API 和设置Action中对象的值、命名空间和乱码处理、Action中包含多个方法如何调用

Struts2登录 1. 需要注意:Struts2需要运行在JRE1.5及以上版本 2. 在web.xml配置文件中,配置StrutsPrepareAndExecuteFilter或FilterDispatcher 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 <filter>     <filter-name>struts2</filter-name>     <filter-class>org.apache.struts2.di

.net学习笔记----WebConfig.config常用配置节点介绍

一.配置文件入门 .Net提供了一种保存项目配置信息的办法,就是利用配置文件,配置文件的后缀一般是.config.在WinForm程序中配置文件一般是App.config.在Asp.net中一般默认是web.config. 一个.config配置文件都是基于XML的文本文件,并且可以保存到Web应用程序中的任何目录中.在发布Web应用程序时web.config文件并不编译进dll文件中.将来如果客户端发生了变化,仅仅需要使用记事本打开Web.config文本编辑相关的设置就可以重新正常使用,而无

Spark+hadoop+mllib及相关概念与操作笔记

Spark+hadoop+mllib及相关概念与操作笔记 作者: lw 版本: 0.1 时间: 2016-07-18 1.调研相关注意事项 a) 理解调研 调研的意义在于了解当前情况,挖掘潜在的问题,解决存在的疑问,并得到相应的方案. b) 调研流程 首先明确和梳理现有的疑问是什么,要通过调研解决什么问题,然后再去做调研,发现问题,再解决问题. c) 调研成果 最终需要得到结论与方案,以及详尽的论证理由,让别人信服. d) 书写格式 版本与作者以及时间可以以表格的形式,整齐明了. 结论简洁明了,

hadoop java接口及常用api

# java接口及常用api package com.yting.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputS

ciso 9124配置笔记

ciso 9124配置笔记 新建 网络,常用命令 初始化配置 ciso 9124的默认用户名密码为:admin,[email protected] 机器新开机进入初始化模式,第一个问题是否进入dialog模式,选择no,如果选择yes则进入交互模式,选择no则进入CLI模式 输入用户名密码进入命令行模式:admin,[email protected] 设置交换机的管理地址 switch# config t switch (config)# switchname switch switch(con

Linux Shell脚本与Vim常用操作笔记

本篇笔记记录最最基本的vim和shell操作. ShellScript能干什么 Shellscript类似与Windows的批处理,可以把很多指令汇总到一起,于是可以很容易地通过一个操作执行多个命令.很轻量,有效率. 在Vim中编写 Vim/Vi编辑器很强大,功能非常多,快捷键.指令更多,只需要知道最常用的就够了. Vi有3种工作模式 1.命令模式 进去之后的默认模式就是命令模式.能接受命令,但是不明文显示. 2.输入模式 命令模式按下a键就进入输入模式(还能按i.o.s等等).按Esc返回命令

GNS3&GNS3-IOU-VM-1.5.2配置笔记

一.c3640-jk9s-mz.124-16是学习CISCO过程中我们最常用IOS,很强大的一个IOS版本,解压后有66.5M,此IOS不单单支持路由交换实验,同时还支持IPv6.VPN.Voip.MPLS-VPN 等,所以人们通常称之为全能型IOS 另一好用的:c3745-adventerprisek9_ivs-mz.124-25d.image可用于mplsvpn 二.local-server-IOS  //本地GNS3使用. remote-server-IOS //GNS3-IOU-VM上使