Hadoop 部署之环境准备(一)

一、软硬件规划

ID 主机类型 主机名 IP 应用软件 操作系统 硬件配置
1 物理机 namenode01 192.168.1.200 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
2 物理机 datanode01 192.168.1.201 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
3 物理机 datanode02 192.168.1.202 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
4 物理机 datanode03 192.168.1.203 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01
192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

三、配置 SSH 互信

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

# 创建用户(4台机器相同操作)
useradd hadoop && echo ‘123456‘ |passwd --stdin hadoop

# 设置用户权限(4台机器相同操作)
vim /etc/sudoers
echo "hadoop    ALL=(ALL)       ALL" >> /etc/sudoers

五、JDK 的安装

下载JDK1.8,可以选择下载rpm包,直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

原文地址:http://blog.51cto.com/wzlinux/2317305

时间: 2024-10-09 01:58:13

Hadoop 部署之环境准备(一)的相关文章

hadoop全分布模式环境搭建

这是我第一次搭建全分布模式,本文都是参照网友教程,按照我自己的实践过程将其进行组织.我是利用三台虚拟机进行搭建的,每台虚拟机都是ubuntuserver16.04.1(64位).搭建过程中有很多步骤和参数配置我还在研究,具体原理我现在无法讲清楚,等以后知识到我了我再来修改本文的不足和完善.文末有参考文章,大家可以综合参考. 一 集群搭建准备 1 虚拟机:三个虚拟机均为ubuntuserver16.04.1(ubuntu-16.04.1-desktop-amd64.iso)操作系统,虚拟机主机名(

【转】Hadoop HDFS分布式环境搭建

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目

hadoop开发之环境搭建

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧. 在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃 详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题: 首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及解决方案: (1)创建好对应的hadoop用户和hadoop组 把这个步骤放在第一位是因为为了方

Hadoop部署 Ubuntu14.04

Hadoop部署 Ubuntu14.04 Hadoop有3种部署方式. 单机模式,伪分布模式,完全分布式(集群,3个节点). 一.单机模式 1 基础环境 1.1创建hadoop用户组 sudo addgroup hadoop 1.2创建hadoop用户 sudo adduser -ingroup hadoop hadoop 1.3为hadoop用户添加权限 输入:sudo gedit /etc/sudoers 回车,打开sudoers文件 给hadoop用户赋予和root用户同样的权限 1.4用

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单

阿里云服务器centos7.3下搭建hadoop伪分布式环境

一.软硬件环境 CentOS 7.2 64位 OpenJDK-1.8.0 Hadoop-2.7 二.安装SSH客户端 安装ssh: yum install openssh-clients openssh-server 安装完成后,使用以下命令测试: ssh localhost输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题. 配置SSH免key登陆 hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本

一个企业IT部署云端环境的经验教训

随着云计算2.0时代的到来,以及"互联网+"行动计划的深入发展,传统企业通过云端环境降低运营成本.共享数据资源.实现合作共赢,已成为一种不可阻挡的生态化发展趋势.然而,云计算时代全新的IT环境,对传统的IT基础架构和IT运营环境产生了巨大的冲击和颠覆,传统企业如何基于自身的资源环境搭建基于云计算基础之上的IT环境已成为众多企业技术的关注焦点. 虽然,云计算已经进入了高速发展时期,红云.青云.蓝汛云等众多优质的云服务及云解决方案提供商为企业技术搭建IT架构.部署云端环境提供了更多的选择,

使用Ansible部署LAMP环境

使用Ansible部署LAMP环境 前言 Ansible在部署实验环境真的很好用,今天向大家分享如何使用Ansible部署LAMP环境. 实验环境 今天实验环境比较简单, 所以就不画图了 主机 IP地址 功用 server1.anyisalin.com 172.16.1.2 控制主机 web.anyisalin.com 172.16.1.3 httpd和php data.anyisalin.com 172.16.1.4 MySQL 实验步骤 配置ssh公钥认证 ansible是agentless

Hadoop伪分布环境搭建——Linux环境配置

hadoop最近可以说是相当火,也勾起了我的兴趣,所以打算学习一下.想要学习hadoop肯定要先学会在自己的电脑上搭建一个hadoop伪分布环境.伪分布模式安装步骤的第一步就是要配置Linux环境.我自己的Linux是Ubuntu系统,不过只要是Linux系统,都大同小异,配置步骤基本没啥区别. 首先,需要进行本地网络配置.我们需要在linux系统下新增一个网络连接,自己设定好ip(ipv4)地址,子网掩码和网官.下图是我的设置: 接下来,还需要在window本地连接上也设置windows下的i