Hadoop Linux安装 步骤流程 1.硬件准备 2.软件准备(推荐CDH) 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登陆 7.修改配置文件 8.启动服务 9.验证 1.下载软件 1.1 apache版本 下载链接:http://www.apache.org/ 1.2 CDH 下载链接:http://www.cloudera.com/ 2.安装JDK、解压Hadoop安装包并分发到各个节点 3.修改/etc/hosts文件 4.设置SSH免密码登陆 5.目录介绍 bin————Hadoop最基本的管理脚本和使用脚本所在目录 etc————Hadoop配置文件所在目录 include————对外提供的编程库头文件 lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用 libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出 sbin————Hadoop各个模块编译后的jar包所在目录 6.配置文件(修改后使用scp命令分发到各个节点) 1.env.sh 2.mapred-site.xml 3.core-site.xml 4.yarn-site.xml 5.hdfs-site.xml 6.slave 7.启动服务 1.格式化HDFS bin/hadoop namenode -format 2.启动HDFS start-dfs.sh 3.启动YARN start-yarn.sh 8.验证 jps(显示五个服务进程)或者web访问 http://主机名:端口(其中端口在xml配置文件中配置) 9.遇到问题 1.虚拟机重启后Hadoop无法启动成功 解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除
时间: 2024-10-24 14:48:59