Hadoop化繁为简-从安装Linux到搭建集群环境

简介与环境准备

　　hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年，随着大数据、云计算、物联网的兴起，也极大的吸引了我的兴趣，看了网上很多文章，感觉还是云里雾里，很多不必要的配置都在入门教程出现。通过思考总结与相关教程，我想通过简单的方式传递给同样想入门hadoop的同学。其实，如果你有很好的Java基础，当你入门以后，你会感觉到hadoop其实也是很简单的，大数据无非就是数据量大，需要很多机器共同来完成存储工作，云计算无非就是多台机器一起运算。

　　操作建议：理论先了解三分，先实践操作完毕，再回头看理论，在后续文章我将对理论进行分析，最后用思维导图总结了解它的hadoop的整体面貌。

　　环境准备：http://pan.baidu.com/s/1dFrHyxV  密码:1e9g(建议自己去官网下环境，要原生原味的，不要二手货)

　　CentOS-Linux系统：CentOS-7-x86_64-DVD-1511.iso

　　VirtualBox虚拟机：VirtualBox-5.1.18-114002-Win.exe

　　xshell远程登录工具：xshell.exe

　　xftp远程文件传输：xftp.exe

　　hadoop：hadoop-2.7.3.tar.gz

　　jdk8：jdk-8u91-linux-x64.rpm

hadoop的物理架构

　　物理架构：假设机房有四台机器搭建一个集群环境，Master(ip:192.168.56.100)、Slave1(ip:192.168.56.101)、Slave2(ip:192.168.56.102)、Slave3(ip:192.168.56.103)。在这里简要介绍一下，至于具体内容，我将在Hadoop的Hdfs文章详细介绍。

　　分布式：将不同地点，不同功能的，用于不同数据的多态计算机通过通信网络连接其他，统一控制，协调完成大规模信息处理的计算机系统。简单说，一块硬盘可以分成两部分：文件索引和文件数据，那么文件索引部署在单独一台服务器上我们称为Master根节点(NameNode)，文件数据部署在Master结点管理的孩子结点被称为Slave结点(DataNode)。

　　

利用VirtulBox安装Linux

　　参考：http://www.cnblogs.com/qiuyong/p/6815903.html

配置集群在同一虚拟局域网下通信

　　说明：通过上述操作，已经搭建好master(192.168.56.100)这台机器，开始配置虚拟网络环境在同一虚拟机下。

  1. vim /etc/sysconfig/network
  2. NETWORKING=yes  GATEWAY=192.168.56.1(说明：配置意思是，连上VirtualBox这块网卡)
  3. vim /etc/sysconfig/network-sripts/ifcfg-enp0s3
  4. TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0(说明：配置意思是，设置自己ip)
  5. 修改主机名：hostnamectl set-hostname master
  6. 重启网络：service network restart
  7. 查看ip：ifconfig
  8. 与windows能否ping通、若ping不同，关闭防火墙。master：ping 192.168.56.1   windows：ping 192.168.56.100
  9. systemctl stop firewalld -->system disable firewalld

利用Xshell、Xftp进行远程登录与文件传输

　　利用VirtualBox登录，上传文件会比较麻烦，采用Xshell远程登录。

　

　　

　　采用Xftp上传文件。

　　

　　

　　上传hadoop-2.7.3.tar.gz、jdk-8u91-linux-x64.rpm到/usr/local目录下。新手提示：在右边窗口选中/usr/local目录，左边双击压缩包就上传成功了。

配置hadoop环境

  1. 解压jdk-8u91-linux-x64.rpm：rpm -ivh  /usr/local/jdk-8u91-linux-x64.rpm-->默认安装目录到/usr/java
  2. 确认jdk是否安装成功。 rpm -qa | grep jdk，java -version查看是否安装成功。
  3. 解压hadoop-2.7.3.tar.gz：tar -vhf  /usr/local/hadoop-2.7.3.tar.gz。
  4. 修改目录名为hadoop：mv  /usr/local/hadoop-2.7.3  hadoop
  5. 切换目录到hadoop配置文件目录：cd /usr/local/hadoop/etc/hadoop
  6. vim hadoop-env.sh
  7. 修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
  8. 退出编辑页面：按esc键 输入:wq
  9. vim /etc/profile
  10. 在文件最后追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
  11. source /etc/profile

发散思考-更进一步

　　问题1：现在只是配置了一台master？那slave1、slave2、slave3也这样一台一台配置吗？

　　答：潜意识里面，肯定有解决办法避免。当然，VirtualBox也提供了，复制机器的功能。选中master，右键复制。这样的话，就一台跟master一模一样的机器就搞定了。我们只需要修改网络的相关配置即可。注意：搭建集群环境需要自己复制三台。

　　问题2：如何查看这些linux机器是否在同一个环境下？

　　答：我重新捋一遍内容。启动四台linux机器(可以右键选择无界面启动)-->利用xshell远程登录-->选择工具(发送键到所用界面)。依次输入ping 192.168.56.100、192.168.56.101、192.168.56.102、192.168.56.103。

配置与启动hadoop

　　1、为四台机器配置域名。vim /etc/hosts

　　　　192.168.56.100 master

　　　　192.168.56.101 slave1

　　　　192.168.56.102 slave2

　　　　192.168.56.103 slave3

　　2、切换到hadoop配置文件目录 /usr/local/hadoop/etc/hadoop   vim core-site.xml

　　3、修改四台linux机器的core-site.xml，指名四台机器谁是master(NameNode)。

　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs://master:9000</value>
　　　　</property>

　　4、在master结点机器指名它的子节点有哪些：vim /usr/local/hadoop/etc/hadoop/slaves(其实就是指名子节点的ip)

　　　　slave1

　　　　slave2

　　　　slave3

　　5、初始化一下master配置：hdfs namenode -format

　　6、启动hadoop集群并且用jps查看结点的启动情况

　　　　启动master：hadoop-daemon.sh start namenode

　　　　启动slave:hadoop-daemon.sh start datanode

　　　　

　　7、查看集群启动情况：hdfs dfsadmin -report或者利用网页http://192.168.56.100:50070/

　　　　

时间： 2024-10-29 19:10:45

Hadoop化繁为简-从安装Linux到搭建集群环境的相关文章

【redis】 linux 下redis 集群环境搭建

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 1:下载redis.官网下载3.0.0版本,之前2.几的版本不支持集群模式 下载地址:https://github.com

mac安装redis，搭建集群

以下为5.0.5版本实践 1.下载压缩包,下载地址:https://redis.io/ 2.安装redis (1)解压~/Downloads/redis-5.0.5.tar.gz为~/Downloads/redis-5.0.5 (2)将解压后的包移动到/usr/local下: sudo mv ~/Downloads/redis-5.0.5 /usr/local/ (3)安装redis: cd /usr/local/redis-5.0.5 make install (此处出现一个小插曲,安装red

Nginx+Tomcat搭建集群环境

集群概述与架构介绍 Tomcat集群能带来什么: 提高服务的性能,例如计算处理能力.并发能力等,以及实现服务的高可用性 提供项目架构的横向扩展能力,增加集群中的机器就能提高集群的性能 Tomcat集群实现方式: Tomcat集群的实现方式有多种,最简单的就是通过Nginx负载进行请求转发来实现 Tomcat单机架构图: 可能看了上面的Tomcat单机的架构图后,会 "想当然" 的觉得Tomcat集群架构是这样子的: 这种 "想当然" 的Tomcat集群会带来什么问题

druid 搭建集群环境

下载druid 下载地址 http://static.druid.io/artifacts/releases/druid-services-0.6.145-bin.tar.gz 解压 tar -zxvf druid-services-*-bin.tar.gz cd druid-services-* 外部依存关系 1.A "deep" storage,作为一个备份数据库 2.mysql 设置mysql mysql -u root GRANT ALL ON druid.* TO 'drui

Hadoop 2.2.0的伪分布集群环境搭建

Hadoop伪分布环境搭建的“三步”总流程 第一 .Jdk安装和环境变量配置 1.先检测一下,jdk是否安装 java - version 2.查看下CentOS的位数 file /bin/ls 3.切换到usr/,创建java/目录 cd / ls cd usr/ mkdir java cd java/ ls 4.上传本地下载好的 ,显示上传命令没有安装 rz 5 .下载rz .sz命令 yum -y install lrzsz 6 .上传本地下载好的 jdk-7u79-linux-x64.t

Centos6.5 -- fastdfs安装（虚拟机搭建集群）

一.操作系统概述 电脑型号     X64 兼容 台式电脑  (扫描时间:2016年11月14日) 操作系统     Windows 7 旗舰版 64位 SP1 ( DirectX 11 ) 处理器  英特尔 Core i7-6700K @ 4.00GHz 四核 主板      华硕 B150M-A/M.2 ( 英特尔 Skylake-S - 100 Series/C230 Series 芯片组 Family - A148 ) 内存      16 GB ( Avexir DDR4 2400MH

Linux下Redis集群环境的搭建

一.安装redis(使用redis3.0版本) 1.需要gcc环境,如果没有执行命令安装gcc yum install gcc-c++ 2.下载redis3.0的源码包并上传至服务器 3.解压源码包 tar -zxvf redis-3.0.0.tar.gz 4.进入解压目录编译 make 5.安装redis make install PREFIX=/usr/local/redis 二.启动redis 1.从redis-3.0.0文件中复制redis-conf到redis的安装目录中 2.然后修改

linux mongo 搭建+集群

---------------------------------  Mongo single  ----------------------------------------------------------- Mongo 安装: 1. cd /usr/local/webserver/ && tar zxpf mongodb-linux-x86_64-2.0.6.tgz  && mv mongodb-linux-x86_64-2.0.6 mongodb 2. 编写配置

【ZooKeeper系列】1.ZooKeeper单机版、伪集群和集群环境搭建

ZooKeeper安装模式主要有3种: 单机版(Standalone模式)模式:仅有一个ZooKeeper服务 伪集群模式:单机多个ZooKeeper服务 集群模式:多机多ZooKeeper服务 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的