1、准备工作
下载一些用到的命令
yum install -y vim yum install -y lrzsz yum install net-tools
目录约定
/opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt/test #测试
cd /opt mkdir install software other test #新建目录
JDK安装
cd /opt/install #进入安装包目录 ? rz jdk-8u221-linux-x64.tar.gz #上传JDK ? tar -zxvf jdk-8u221-linux-x64.tar.gz #解压JDK ? mv jdk1.8.0_221 jdk1.8 #改名为JDK1.8 ? mv jdk1.8 ../software #移动到/opt/software目录 ?
配置jdk环境变量
vim /etc/profile #编辑环境变量 ? JAVA_HOME=/opt/software/jdk1.8 #添加JAVA_HOME变量 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin ? source /etc/profile #生效配置
修改主机名
vim /etc/hostname #编辑主机名 ? hdp01 #主机名以hdp01为例
修改主机映射
vim /etc/hosts #编辑主机映射 ? 192.168.0.32 hdp01 #主机的ip对应主机名
配置免密登录
ssh-keygen #生成公钥 ? ssh-copy-id hdp01 #设置自己为免密登录
2、下载安装伪分布式
hadoop安装
cd /opt/install #进入安装包目录 rz hadoop-2.7.7.tar.gz #上传hadoop tar -zxvf hadoop-2.7.7.tar.gz #解压hadoop mv hadoop-2.7.7 ../software #移动到/opt/software目录
修改hadoop的6个配置文件
cd /opt/software/hadoop-2.7.7/etc/hadoop #进入配置文件目录
hadoop-env.sh
vim hadoop-env.sh #编辑配置文件hadoop-env.sh export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行
core-site.xml
vim core-site.xml #编辑配置文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hdp01:9000</value> #hdp01为 主机名 </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-2.7.7/tmp</value> </property> </configuration>
hdfs-site.xml
vim hdfs-site.xml #编辑配置文件hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml #拷贝例子 vim mapred-site.xml #编辑配置文件mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
vim yarn-site.xml #编辑配置文件yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hdp01</value> #hdp01为主机名 </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
slaves
vim slaves #编辑配置文件slaves hdp01 #主机名
配置hadoop的环境变量
vim /etc/profile #编辑环境变量 JAVA_HOME=/opt/software/jdk1.8 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar HADOOP_HOME=/opt/software/hadoop-2.7.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #生效配置
格式化文件系统
hadoop namenode -format
运行服务器
start-all.sh #开启 stop-all.sh #关闭
查看系统端口
netstat -nltup
原文地址:https://www.cnblogs.com/yangy1/p/12336987.html
时间: 2024-11-06 13:27:45