1、hadoop下载
https://archive.apache.org/dist/hadoop/common/
这里我下载的是: hadoop-2.7.4.tar.gz
1-1首先做ssh免密码登录设置
ssh-keygen -t rsa,三次回车后,在/root/.ssh/会生成id_rsa,id_rsa.pub文件
1-2 将id_rsa.pub公钥内容拷贝到authorized_keys文件中
cat id_rsa.pub >> authorized_keys
1-3、授权
chmod 600 authorized_keys
1-4、免密码登录已经设定完成,可以ssh -l ip试一下
2-hadoop安装,主要是配置以下几个文件:
2-1、vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_60
2-2:core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/需要自己创建的目录或者指定一个存在的目录</value>
</property>
</configuration>
2-3、hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2-4、cp mapred-site.xml.template mapred-site.xml,然后vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2-5、
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
</configuration>
3.将Hadoop添加到环境变量中
vim /etc/profile
export HADOOP_HOME=/itcast/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin
#使配置生效
source /etc/profile
4.初始化HDFS(格式化文件系统,此步类似刚买U盘需要格式化)
hdfs namenode -format
5.启动文HDFS和YARN
./start-dfs.sh
./start-yarn.sh
6、启动后,jps,看到如下进程就是成功了:
3449 SecondaryNameNode (相当于NameNode的助理)
3263 DataNode (hdfs部门的小弟,负责存放数据)
3138 NameNode (hdfs部门的老大)
3579 ResourceManager (yarn部门的老大,yarn负责资源管理)
3856 NodeManager (yarn部门的小弟,可以一个,集群的话会有很多)
8、hbase安装:
8-1、hbase官网下载hbase,我这里下载的是:hbase-1.2.6-bin.tar.gz
主要修改以下配置文件
8-2、hbase-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HBASE_MANAGES_ZK=false
8-3、hbase-site.xml:
23 <configuration>
24 <property>
25 <name>hbase.rootdir</name>
26 <value>hdfs://master-luoxin:9000/hbase</value>
27 <description>The directory shared by RegionServers.</description>
28 </property>
29 <property>
30 <name>hbase.master.info.port</name>
31 <value>60010</value>
32 </property>
33 <property>
34 <name>hbase.zookeeper.quorum</name>
35 <value>master-luoxin</value>
36 </property>
37 <property>
38 <name>dfs.replication</name>
39 <value>1</value>
40 </property>
41 <property>
42 <name>hbase.cluster.distributed</name>
43 <value>true</value>
44 <description>The mode the cluster will be in.</description>
45 </property>
46
47 </configuration>
8-4、启动hbase,./start-hbase.sh
8-5、jps,能看到,就成功了
46890 HMaster
8-6 验证 ./hbase shell进去看看吧,list查看一下表,如果有错请百度一下,
以上亲测,进入habse,list命令可能会报zookerper node XXXX,请百度,试一下很容易解决的。
原文地址:https://www.cnblogs.com/comeSH150713/p/10492704.html