Haddop学习笔记

新学期开始了，在学校的日子开始倒计时~~~有点矫情了。

寒假在广州呆了一个月，没做什么，出去转了一圈，依然不知道找工作的事水有多深。期间看了一篇博文，感触良多。此前虽然钻研过不少技术，但是说白了就是CURD，没意思，没技术含量。早就打算坐下来看看Hadoop，但是一直没有找到合适的资料，昨天终于搜集到一份比较完整的，就此开始Hadoop的学习~~共勉！！

学习视频下载地址 http://pan.baidu.com/share/link?shareid=1338450930&uk=3574016443

PS：学习Hadoop之前需要对Linux有基本的了解，参考之前的一篇文章 Linux学习笔记

使用到的软件 VMWare9.0  centOS6.4 X64  Hadoop1.2.1 JDK1.7 X64

虚拟机的安装不再赘述，JDK的安装请参考《Linux学习笔记》一文。

软件安装规则

/opt  父目录

/opt/modules      存放软件的安装目录

/opt/softwares    存放软件包（tar、bin、zip）

/opt/tools            存放工具目录（eclipse）

/opt/data             存放一些测试数据

/home/hadoop    存放工具盒测试数据目录

安装Hadoop

1.解压   tar -zxvf hadoop-1.2.1.tar.gz

2.移动软件到安装目录   mv hadoop-1.2.1 /opt/modules/

3.配置环境变量，编辑/etc/profile文件，添加如下内容

##HADOOP

export HADOOP_HOME=/opt/modules/hadoop-1.2.1

export PATH=$PATH:/opt/modules/hadoop-1.2.1/bin

以root用户登录，执行 source /etc/profile 使配置生效

4.测试 hadoop

出现警告，参考博文 http://chenzhou123520.iteye.com/blog/1826002

5.配置Hadoop中JDK的安装目录

在/opt/modules/hadoop-1.2.1/conf/hadoop-env.sh中设置

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25