吴超老师课程---hadoop的分布式安装过程

1.hadoop的分布式安装过程

1.1 分布结构

主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
            从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
    1.2 各节点重新产生ssh加密文件
    1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息
    1.4 两两节点之间的SSH免密码登陆
            ssh-copy-id -i  hadoop1
            scp /root/.ssh/authorized_keys   hadoop1:/root/.ssh/
    1.5 把hadoop0的hadoop目录下的logs和tmp删除
    1.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点
            scp  -r /usr/local/jdk   hadoop1:/usr/local/
    1.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source  /etc/profile
    1.8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2
    1.9 格式化,在hadoop0节点执行hadoop namenode -format
    1.10 启动,在hadoop0节点执行start-all.sh
    ****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。
    1.11如果要将主节点的namenode和secondnamenode分离,只需要修改conf/masters  
          将localhost修改为hadoop1,这样secondarynamenode就会移植到hadoop1上了,
          因为secondarynamenode的配置在masters文件上

2.动态的增加一个hadoop节点
    2.1 配置新节点的环境
    2.2 把新节点的hostname配置到主节点的slaves文件中
    2.3 在新节点,启动进程
            hadoop-daemon.sh start datanode
            hadoop-daemon.sh start tasktracker
    2.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes
3.动态的下架一个hadoop节点

时间: 2024-10-10 14:42:27

吴超老师课程---hadoop的分布式安装过程的相关文章

吴超老师课程---hadoop的伪分布安装

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主

hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode     从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息 1.4 两两节点之间的SSH免密码登陆   ssh-copy-id -i  hadoop1   s

吴超老师课程--Pig的介绍和安装

1.Pig是基于hadoop的一个数据处理的框架.  MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行. 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题.一步一步来的,跟SQL不一样,SQL一步就得到答案, 3.Pig基本数据类型:int.long.float.double.chararry.bytearray     复合数据类型:Map.Tuple.Bag  Bag的类型如{('age',31),('name',

吴超老师课程--Hive的介绍和安装

1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据.  本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.  hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.  这套映射工具称之为metastore,一般存放在derby.mysql中. 1.2 hive在hdfs中的默认位置是

吴超老师课程--Flume的安装和介绍

常用的分布式日志收集系统 一:flume概述参考官方网址:http://flume.apache.org/documentation.htmlflume是一个分布式的数据收集系统,具有高可靠.高可用.事务管理.失败重启等功能.数据处理速度快,完全可以用于生产环境.flume的核心是agent.agent是一个java进程,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地. agent里面包含3个核心组件:source.channel.sink.1 source组件是专用于收

吴超老师课程--Sqoop的安装和介绍

SQOOP是用于对数据进行导入导出的.    (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中    (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中 一:安装步骤1.解压.设置环境变量,略2.把mysql.............jar放到$SQOOP_HOME/lib中 二:把mysql中的表复制到hdfs/hive中sqoop                                             

吴超老师课程--Hive的执行语句

为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/smallint/int/bigintfloat/doublebooleanstring(2)复杂数据类型Array/Map/Struct没有date/datetime (3)Hive的数据存储Hive的数据存储基于Hadoop HDFSHive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.

hadoop完全分布式安装

1.安装环境是vmware workstation10.0模拟出三个虚拟节点,每一个节点安装Ubuntu12.04 LTS操作系统,主机名分别是hadoop1.hadoop2以及hadoop3.同时在每一个节点安装好java.安装方法同之前介绍的伪分布式安装方法一样. 2.接着是对三个节点的hosts文件进行配置,先用ifconfig命令查看三个节点的ip地址,然后用sudo vim /etc/hosts命令打开hosts文件,统一编辑如下: 3.配置完hosts文件之后,设置ssh无密码互联.

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材