hadoop-hbase-spark单机版安装

0 需要开放的外网端口

50070，8088，60010 ，7077

1 设置ssh免密码登录

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

2 解压安装包

tar -zxvf /usr/jxx/scala-2.10.4.tgz -C /usr/local/

tar -zxvf /usr/jxx/spark-1.5.2-bin-hadoop2.6.tgz -C /usr/local/

tar -zxvf /usr/jxx/hbase-1.0.3-bin.tar.gz -C /usr/local/

tar -zxvf /usr/jxx/hadoop-2.6.0-x64.tar.gz -C /usr/local/

3 设置环境变量

vim /etc/profile

添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79#jdk如果已有就不用添加

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export SCALA_HOME=/usr/local/scala-2.10.4

export PATH=$PATH:$SCALA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/bin

export HBASE_HOME=/usr/local/hbase-1.0.3

export PATH=$PATH:$HBASE_HOME/bin

export SPARK_HOME=/usr/local/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin

然后执行

source /etc/profile

或者重启机器

4 修改配置

vim /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME=/usr/local/java/jdk1.7.0_79

vim /usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml

core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://B250:9000</value>

</property>

vim /usr/local/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///disk/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///disk/dfs/data</value>

</property>

vim /usr/local/hadoop-2.6.0/etc/hadoop/yarn-site.xml

yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

mv /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml

vim /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml

mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

vim /usr/local/hbase-1.0.3/conf/hbase-site.xml

hbase-site.xml

<property>

<name>hbase.rootdir</name>

<!-- 对应于hdfs中配置 micmiu.com -->

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

vim /usr/local/hbase-1.0.3/conf/hbase-env.sh

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export SCALA_HOME=/usr/local/scala-2.10.4

export PATH=$PATH:$SCALA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/bin

export HBASE_HOME=/usr/local/hbase-1.0.3

export PATH=$PATH:$HBASE_HOME/bin

export HBASE_MANAGES_ZK=true

mv /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh

mv /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-defaults.conf.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-defaults.conf

mkdir /disk/spark

vim /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

export SCALA_HOME=/usr/local/scala-2.10.4

export HADOOP_HOME=/usr/local/hadoop-2.6.0

export HBASE_HOME=/usr/local/hbase-1.0.3

export SPARK_HOME=/usr/local/spark-1.5.2-bin-hadoop2.6

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_LOCAL_DIRS=/disk/spark

export SPARK_DAEMON_MEMORY=256m

export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=/tmp/spark -Dspark.history.ui.port=18082"

export STANDALONE_SPARK_MASTER_HOST=localhost

vim /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-defaults.conf

spark.master=spark://localhost:7077

spark.eventLog.dir=/disk/spark/applicationHistory

spark.eventLog.enabled=true

spark.yarn.historyServer.address=localhost:18082

5 初始化环境

格式化namenode

hdfs namenode -format

6 启动服务

//启动hdfs

sh /usr/local/hadoop-2.6.0/sbin/start-dfs.sh

//启动hbase

sh /usr/local/hbase-1.0.3/bin/start-hbase.sh

//启动spark

sh /usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

7 设置开机启动

su - root -c "sh /usr/local/hadoop-2.6.0/sbin/start-dfs.sh"

su - root -c "sh /usr/local/hbase-1.0.3/bin/start-hbase.sh"

su - root -c "sh /usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh"

时间： 2024-10-11 04:11:11

hadoop-hbase-spark单机版安装的相关文章

HADOOP/HBASE/SPARK修改PID文件位置

当不修改HADOOP/HBASE/SPARK的PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程,因为PID文件已经被删除,所以现在我们需要修改HADOOP/HBASE/SPARK的PID文件地址.修改方法如下: 我们需要把HADOOP/HBASE/SPARK的PID文件生成到/var/hadoop/pids目录中. 在集群的各节点上新建/var/hadoop/pi

Hadoop+HBase+Spark+Hive环境搭建

杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包 本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安

Hadoop、Spark、HBase与Redis的适用性讨论（全文）

最近在网上又看到有关于Hadoop适用性的讨论[1].想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种"纷繁复杂"的大数据技术的适用性的问题.这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop.Spark.HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很"狭义"的Hadoop,即在HDFS上直接跑MapReduce的技术,下同). 我这几年实际研究和

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

Apache Hadoop集群离线安装部署(三)——Hbase安装

Apache Hadoop集群离线安装部署(一)--Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)--Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)--Hbase安装:http://www.cnblogs.com/po

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装     cd /root/soft  tar zxvf hbase-0.98.5-hadoop2-bin.tar.gz  mv hbase-0.98.5-hadoop2  /usr/local/hadoop/hbase2.添加环境变量(所有节点都增加)  #vim /etc/profile  export HBASE_HOME=/usr/local/hadoop/hbase  export PATH=$PATH:/usr/local/hadoop/hbase/bin  #so

hadoop单机版安装及基本功能演示

本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载jdk,我下载的版本为jdk-8u151-linux-x64.tar.gz. 2.hadoop安装包 到ha

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

hadoop+hbase+zookeeper+spark+phoenix相关实施报错处理

排错日志: 解决办法:可能是修改 机器名导致的,修改hosts,写入hostname和IP,然后,try it agin! 解决办法: 当引入hadoop-common-2.2.0.jar包进行二次开发,比如读写HDFS文件时,初次运行报错. java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)

决胜大数据时代：Hadoop&amp;Yarn&amp;Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop.Yarn.Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课. 课程简介 大数据时代的精髓技术在于Hadoop.Yarn.Spark,是大数据时代公司和个人必须掌握和使用的核心内容. Hadoop.Yarn.Spark是Yahoo!.阿里淘宝等公司公认的大数据时代的三大核心技术,是大数据处理的灵魂,是云计算大数据时代的技术命脉之所在,以Hadoop.Yarn.Spark为基石构建起来云计算大数据中心广泛运行于Yahoo!.阿