Hadoop1.0.0学习笔记
一． 安装JDK,配置环境JAVA环境变量
exportJAVA_HOME=/home/ligang/jdk1.6.0_26
exportJRE_HOME=/home/ligang/jdk1.6.0_26/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
二． 安装Hadoop-1.0.0
- 1. 下载hadoop文件，地址为：http://hadoop.apache.org/coases.html，下载完成后解压hadoop-1.0.0.tar.gz
sudotar xzf hadoop-1.0.0.tar.gz
- 2. 配置Hadoop环境变量
exportHADOOP_INSTALL=/home/ligang/hadoop-1.0.0
exportPATH=$PATH:$HADOOP_INSTALL/bin
- 3. 查看hadoop版本
输入 hadoop version命令后输入下图，则安装hadoop成功
- 4. 修改配置文件
- a) 解压hadoop-1.0.0/hadoop-core-1.0.0.jar
- b) 去解压后的hadoop-core-1.0.0文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.0/conf/下,删除hadoop-1.0.0/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site
- c) 在hadoop-1.0.0文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/home/${user.name}/hadoop/hadoop-${user.name}这样hadoop生成的文件会放入这个文件夹下.修改name节点为fs.default.name对应的value节点，修改为hdfs://localhost/
三． 安装ssh
- 1. 执行命令安装ssh：sudo apt-get install ssh
- 2. 基于空口令创建一个新SSH密钥，以启用无密码登陆
- a) ssh-keygen-t rsa -P ‘‘ -f ~/.ssh/id_rsa
执行结果：
- b) cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 3. 测试
sshlocalhost
测试结果：
输入yes
再次输入ssh localhost：
成功之后，就不需要密钥
四． 格式化HDFS文件系统
输入指令:
hadoopnamenode –format
五． 启动和终止守护进程
启动和终止HDFS和MapReduce守护进程，键入如下指令
启动start-all.sh(start-dfs.sh,start-mapred.sh)
出错了，JAVA_HOME is not set
需要修改文件，打开hadoop-1.0.0/conf/hadoop-env.sh
将红线以内部分注释解开,修改为本机JAVA_HOME
再次执行启动命令start-all.sh
停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)
到此，hadoop就已经安装完成了
六． Hadoop文件系统
- 1. 查看hadoop所有块文件
执行命令:
hadoopfsck / -files –blocks
执行结果:
此结果显示，hadoop文件系统中，还没有文件可以显示
- 2. 将文件复制到hadoop文件系统中
- a) 在hadoop文件系统中创建文件夹,执行命令：
hadoopfs –mkdir docs
- b) 复制本地文件到hadoop文件系统中执行命令：
hadoopfs -copyFromLocal docs/test.txt \
hdfs://localhost/user/ligang/docs/test.txt
- c) 复制hadoop文件系统中的文件回本地,并检查是否一致
复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat
检查:md5 docs/test.txt docs/text.txt.bat
检查结果若显示两个md5加密值相同，则文件内容相同。
- d) 查看HDFS文件列表
执行命令:
hadoopfs –ls
执行结果：
- e) 再次查看文件系统文件块
执行命令：
hadoopfsck / -files –blocks
执行结果如图:
此处为文件备份数量，可以调整，打开hadoop-1.0.0/conf/hdfs-site.xml文件,
此处修改文件备份数量