在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):

①hadoop-2.7.6.tar.gz:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

②zookeeper-3.4.12.tar.gz:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

③hbase-1.2.6-bin.tar.gz:

wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上页面搜索:Hadoop version support matrix

④jdk-8u171-linux-x64.tar.gz:

链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg

提取码:ky0x

2. 安装教程

①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html

③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

3. 注意事项

3.1 在参考hadoop安装教程时:

①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:

https://www.cnblogs.com/happyflyingpig/p/8068020.html

(不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,输入java -version试试版本对了没。)

②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当直接

cd /opt

/opt是根目录下的opt,并在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt),如果您已经先mkdir opt了的话,JAVA_HOME应该为:/root/opt/module/jdk1.8,而不是/opt/module/jdk1.8

总结:

cd /opt:根目录下的opt

cd opt:当前登录用户下的opt

③步骤2:向其他节点复制jdk时,改用该命令更好:

scp -r /opt/module/jdk1.8 [email protected]:/opt/module

3.2 在参考教程时:

  一定要尽量都下载我上面提供的版本,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。

4. 最后

  上述搭建大数据环境的三个教程为同一个博主@Frankdeng编写,更具统一性,安装起来更有参考性(其实是复制粘贴起来更方便hhh),非常感谢参考教程的博主!

  上述主要参考教程的博主地址:https://www.cnblogs.com/frankdeng/

原文地址:https://www.cnblogs.com/curie/p/12634319.html

时间: 2024-10-15 22:51:19

在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase的相关文章

Linux系统:Centos7下搭建PostgreSQL关系型数据库

本文源码:GitHub·点这里 || GitEE·点这里 一.PostgreSQL简介 1.数据库简介 PostgreSQL是一个功能强大的开源数据库系统,具有可靠性.稳定性.数据一致性等特点,且可以运行在所有主流操作系统上,包括Linux.Unix.Windows等.PostgreSQL是完全的事务安全性数据库,完整地支持外键.联合.视图.触发器和存储过程,支持了大多数的SQL:2008标准的数据类型,包括整型.数值型.布尔型.字节型.字符型.日期型.时间间隔型和时间型,它也支持存储二进制的大

在Centos7下搭建Socks5代理服务器

在Centos7下搭建Socks5代理服务器 知者不言0人评论20237人阅读2017-12-21 09:50:25 采用socks协议的代理服务器就是SOCKS服务器,是一种通用的代理服务器.Socks是个电路级的底层网关,是DavidKoblas在1990年开发的,此后就一直作为Internet RFC标准的开放标准.Socks 不要求应用程序遵循特定的操作系统平台,Socks 代理与应用层代理. HTTP 层代理不同,Socks 代理只是简单地传递数据包,而不必关心是何种应用协议(比如FT

在Centos7下搭建Git服务器

简介 Git是一款免费.开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目. Git是一个开源的分布式版本控制系统,可以有效.高速的处理从很小到非常大的项目版本管理. Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件. Torvalds 开始着手开发 Git 是为了作为一种过渡方案来替代 BitKeeper,后者之前一直是 Linux 内核开发人员在全球使用的主要源代码工具. 开放源码社区中的有些人觉得BitKeeper

CentOS7下搭建邮件服务器(dovecot + postfix + SSL)

CentOS 花了基本上两天的时间去配置CentOS7下的邮件服务器.其中艰辛太多了,一定得总结下. 本文的目的在于通过一系列配置,在CentOS 7下搭建dovecot + postfix + SSL 服务器,并且能够通过邮件客户端(本文中是Airmail)进行收发邮件. 前提条件 你得有个主机或者VPS 你有一个主域名比如 fancycoding.com 还有一个二级域名比如 mail.fancycoding.com 二级域名的 SSL 证书. 配置你的DNS记录 确认主域名有A记录指向服务

Centos7下搭建LAMP平台环境

centos发布7.0版本,新版本带来很多特性,除了内核更新到3.10外,支持 Linux 容器.Open VMware Tools 及 3D 图像能即装即用,转用 systemd.firewalld 及 GRUB2 ,而默认的文件系统为XFS等等,可以说是比较重大的升级.笔者尝试了使用Centos7搭建LAMP服务器平台,记录如下. 1.启用Apache2 Centos7默认已经安装httpd服务,只是没有启动.如果你需要全新安装,可以yum install -y httpd 启动服务:sys

一、CentOS7下搭建FastDFS+Nginx实现静态图片服务器

在集群环境下,图片存放在本地存在诸多限制,一般采用单独的图片服务器进行管理.FastDFS就是这样一个图片管理服务器. 环境需求,CentOS7下 一.先下载三件套,并上传到服务器中(Nginx自行下载),地址如下 1:libfastcommon https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz 2:fastdfs https://github.com/happyfish100/fastdfs/archive/

centos7下搭建JDK和Hadoop

涉及基础操作命令 这里只是将涉及到的提了下一下具体的使用还需要读者自己查阅资料 tar 解压命令 su 进入root用户模式 rm -rf 删除 cd /文件名/.../ 进入某个文件夹下 注意要逐层进入 cd .. 返回上一级文件夹 vim /文件名/.../ 编辑某个文本文件 具体步骤 1.首先先要卸载centos7下自带的openJDK 进入root用户模式输入 su 输入密码 使用yum 移除本地openJDK yum -y remove java 2.删除本地openJDK后删除ope

CentOS7下搭建postfix邮件服务器实现extmail的web访问

CentOS7.1最新1503版本最小化安装,基于lnmp,nginx与mysql为yum安装,当然没有安装php,其他编译所需要的全是官网上下载的最新稳定版,搭建的过程中出了很多错误,经过几天的实验,最后终于搭建成了,这次博客也是重新搭建,边写边搭建,如果再次出现错误的话,会将错误一并写出来. 一.  装备工作 1.防止不必要的麻烦关闭Selinux setenforce 0 关闭防火墙 systemctl stop firewalld 2.清空iptables iptables -P INP

Linux系统:centos7下搭建ElasticSearch中间件,常用接口演示

一.中间件简介 1.基础概念 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. 2.分布式数据库 分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方,每台计算机中都可能有DBMS的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络