大数据集群安装步骤

环境

服务器配置:

CPU型号:Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
CPU核素:16
内存:64GB

操作系统

版本:CentOS Linux release 7.5.1804 (Core)
主机列表:
192.168.0.101 node1
192.168.0.102 node2
192.168.0.103 node3
192.168.0.104 node4
192.168.0.105 node4

软件路径:/data/tools/
JAVA_HOME路径:/opt/java # java为软链接
Hadoop集群路径:/data/bigdata/

软件版本:

组件名 安装包 说明
JDK jdk-8u162-linux-x64.tar.gz 基础环境
zookeeper zookeeper-3.4.12.tar.gz Text
Hadoop hadoop-2.7.6.tar.gz Text
spark spark-2.1.2-bin-hadoop2.7.tgz Text
hbase hbase-1.2.6-bin.tar.gz Text
hive apache-hive-2.3.3-bin.tar.gz Text
kafka kafka_2.11-1.1.0.tgz Text
hue hue-3.12.0.tgz Text
flume apache-flume-1.8.0-bin.tar.gz Text

常用命令

1、查看系统基本配置:

[[email protected] ~]# uname -a
Linux node1 3.10.0-123.9.3.el7.x86_64 #1 SMP Thu Nov 6 15:06:03 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
[[email protected] ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[[email protected] ~]# free -m
             total       used       free     shared    buffers     cached
Mem:         64267       2111      62156         16        212       1190
-/+ buffers/cache:        708      63559
Swap:            0          0          0
[[email protected] ~]# free -g
             total       used       free     shared    buffers     cached
Mem:            62          2         60          0          0          1
-/+ buffers/cache:          0         62
Swap:            0          0          0
[[email protected] ~]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                16
On-line CPU(s) list:   0-15
Thread(s) per core:    2
Core(s) per socket:    8
Socket(s):             1
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 79
Model name:            Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
Stepping:              1
CPU MHz:               2095.148
BogoMIPS:              4190.29
Hypervisor vendor:     KVM
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              20480K
NUMA node0 CPU(s):     0-15
[[email protected] ~]# df -h
文件系统        容量  已用  可用 已用% 挂载点
/dev/sda2       100G  3.1G   97G    4% /
devtmpfs        7.7G     0  7.7G    0% /dev
tmpfs           7.8G     0  7.8G    0% /dev/shm
tmpfs           7.8G  233M  7.5G    3% /run
tmpfs           7.8G     0  7.8G    0% /sys/fs/cgroup
/dev/sda1       500M  9.8M  490M    2% /boot/efi
/dev/sda4       1.8T  9.3G  1.8T    1% /data
tmpfs           1.6G     0  1.6G    0% /run/user/1000

原文地址:http://blog.51cto.com/moerjinrong/2122008

时间: 2024-11-14 12:58:18

大数据集群安装步骤的相关文章

大数据集群本地安装方法

大数据集群本地安装方法 1.使用Vmware安装Linux系统 请自行下载,并安装.至少安装两台(这里以安装三台为例) 2. 安装xshell和xftp 安装xshell和xftp主要主要是方面后面传文件.写命令等操作. (注意,xshell和xftp的版本一定要一致,不然安装xftp可能会有问题) 3. 配置虚拟机IP A. 每台虚拟机都用root账号登录 a.  编辑hosts文件(使用以下命令) sudo vi /etc/hosts 添加以下内容 192.168.79.131 master

Ambari和大数据集群部署(精华)

(个人经历,如有问题请于评论区提出宝贵意见) 踩了无数的坑,终于将ambari和大数据集群部署成功了,请一定要按照步骤仔细操作,避免出现问题. 英文官方文档链接:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/bk_ambari-installation.pdf 基础环境操作系统:ubuntu16HDP: 2.6.2.14Hdp-utils:1.1.0.21Ambari:2.5.2.0

基于Docker搭建大数据集群(一)Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL http://www.postgres-xl.org/ Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群,具有足够的灵活性来处理不同的数据库工作负载: OLTP 写频繁的业务 需要MPP并行性商业智能 操作数据存储 Key-value 存储 GIS的地理空间 混合业务工作环境 多租户服务提供商托管环境 可扩展性 Postgres-XL(eXtensible Lattice),

6个人如何维护上千规模的大数据集群?

本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一,降低用户接入门槛:如何让用户自助分析任务异常及失败原因,以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗,监控集群状况,监控异常任务等. 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入.每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目实战. 饿了么 BDI-大数据平台研发团队目前共有 20 人左右,主要负责离线&实时 Infra 和平台工

基于Docker搭建大数据集群(六)Hive搭建

基于Docker搭建大数据集群(六)Hive搭建 前言 之前搭建的都是1.x版本,这次搭建的是hive3.1.2版本的..还是有一点细节不一样的 Hive现在解析引擎可以选择spark,我是用spark做解析引擎的,存储还是用的HDFS 我是在docker里面搭建的集群,所以都是基于docker操作的 一.安装包准备 Hive官网下载 微云下载 | 在 tar 目录下 二.版本兼容 我使用的相关软件版本 Hadoop ~ 2.7.7 Spark ~ 2.4.4 JDK ~ 1.8.0_221 S

基于Docker搭建大数据集群(七)Hbase部署

基于Docker搭建大数据集群(七)Hbase搭建 一.安装包准备 Hbase官网下载 微云下载 | 在 tar 目录下 二.版本兼容 三.角色分配 节点 Master Regionserver cluster-master yes no cluster-slave1 backup yes cluster-slave2 no yes cluster-slave3 no yes 四.配置修改 hbase-env.sh export JAVA_HOME=/opt/jdk/jdk1.8.0_221 h

大数据之一:Hadoop2.6.5+centos7.5三节点大数据集群部署搭建

一. VM虚拟环境搭建(详细讲解) 说明:在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择"自定义硬件"配置网络模式为NAT模式配置虚拟机启动镜像到这里,使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段,虚拟机才能通过wind

全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue(图文详解)

不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 下载版本: cdh版本 http://archive-primary.cloudera.com/cdh5/cdh/5/ 假设,我已经安装了如下的一个Hue版本 具体,见 https://www.cnblogs.com/zlslch/category/996966.html 而,我现在,安装另一个Hue版本 下载需要的系统