Hadoop常用操作

Hadoop常用操作

1、Hadoop安装

2、Hadoop配置

3、Hadoop多目录配置

namenode和datanode节点下都可以进行多个目录的配置,但是意义不同。namenode的多目录配置是副本策略,保证数据可靠性,datanode多目录配置是对容量进行扩容,由于datanode已经有副本机制了。

[hdfs-site.xml]

<!-- namenode多目录配置 -->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>
<!-- datanode多目录配置 -->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

其中${hadoop.tmp.dir}是hadoop临时目录配置。

[core-site.xml]

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/centos/hadoop/ha</value>
</property>

4、hadoop配额管理

配额是对空间和目录个数进行限制,放置目录下的文件个数或大小过于庞大。因此配额分为空间配额和目录配额。

  • 目录配额

    限制目录所含文件或文件夹的个数。如果为1,则保持目录为空(可以认为将目录本身也包含在内)。

    #设置配额
    $>hdfs dfsadmin -setQuota 1 data
    #清除配额
    $>hdfs dfsadmin -clsQuota data

    ?

  • 空间配额

    由于每份文件都有三个副本,空间配额计算时也将副本数计算在内,加上每个数据块文件默认为128m,因此空间配额至少要指定384m的空间值。即128 * 3 = 384。

    #该设置会出错,说至少是384m空间
    $>hdfs dfsadmin -setSpaceQuota 384m data

5、快照

快照是对hdfs的目录进行瞬间照相,内部采用差异化存储机制。因此不会空间造成大量的消耗。这可以通过查看blockid来考察。默认情况下目录是不允许快照的,因此如果要使用该功能,还需要对特定目录先启用快照。

#启用快照
$>hfds dfsadmin -allowSnapshot data
#禁用快照
$>hfds dfsadmin -disallowSnapshot data

#创建快照
$>hdfs dfs -createSnapshot data sp1
#删除
$>hdfs dfs -deleteSnapshot data sp1
#重命名
$>hdfs dfs -renameSnapshot data sp1 sp2

注意:删除目录时,如果是可快照目录并且有快照,需要先删除快照,再删除目录。

6、元数据管理

6.1 镜像文件查看

镜像文件存放的是hdfs的元数据,是最重要的数据文件。可以通过多种格式进行查看。内容包括目录、权限、配额、数据块等信息。

#i:input o:output p:处理方式
$>hdfs oiv -i fsimage_0000000000000207400 -o ~/1.xml -p XML

6.2 编辑日志查看

对hdfs的每个写操作都会记录到编辑日志中,查看方式同镜像类似。

$>hdfs oev -i edits_0000000000000200088-00000000000002000199 -o 2.xml -p XML

6.3 镜像控制

2nn节点对nn节点会进行周期性检查,以完成元数据的备份与融合。具体可以通过以下属性进行控制:

  1. dfs.namenode.checkpoint.period

    检查周期,多长时间生成一次新的检查点,默认为3600秒,即1小时。

  2. dfs.namenode.checkpoint.txns

    操作记录数控制,默认1000,000,发生这些次操作也会生成新的检查点,即时时间不到1小时。

  3. dfs.namenode.checkpoint.check.period
  4. dfs.namenode.num.checkpoints.retained

7、旧节点下线操作

7.1 介绍

旧节点下线操作,需要通过黑白名单进行控制。下线时主要完成旧节点数据的安全转移。成功后,就可以安全下线了。hdfs的黑白名单由dfs.hosts.exclude和dfs.hosts控制,yarn的黑白名单由yarn.resourcemanager.nodes.exclude-path和yarn.resourcemanager.nodes.include-path控制。

  • dfs.hosts

    白名单,可以连到namenode的datanode节点列表。

  • dfs.hosts.exclude

    黑名单,不允许连接到namenode的datanode节点列表。

黑白名单组合规则:

dfs.hosts dfs.hosts.exclude 结果
NO NO Not
NO YES Not
YES NO YES
YES YES YES并将退役

7.2 HDFS旧节点下线操作

  1. 准备黑白名单

    • dfs_exclude.conf
    • dfs_include.conf
  2. 配置hdfs-site.xml的黑白名单属性

    [hdfs-site.xml]

    <!-- 白名单 -->
    <property>
      <name>dfs.hosts</name>
      <value>/soft/hadoop/etc/full/dfs_include.conf</value>
    </property>
    <!-- 黑名单 -->
    <property>
      <name>dfs.hosts.exclude</name>
      <value>/soft/hadoop/etc/full/dfs_exclude.conf</value>
    </property>

    ?

  3. 添加退役节点地址到黑名单,不要更新白名单

    [dfs_exclude.conf]

    s102

  4. 刷新nn
    $>hdfs dfsadmin -refreshNodes
  5. 进入webui,查看退役的节点是否显式为"退役中",开始复制数据块到其他节点。
    http://s101:50070/
  6. 一旦复制完成,状态显式"Decommissioned",停止退役节点
  7. 从白名单中删除退役节点
  8. 再次刷新节点
    $>hdfs dfsadmin -refreshNodes
  9. 从slaves中删除退役节点

8、HDFS新节点上线

新节点上线时,需要先配置ssh和hadoop软件包。上线实操过程如下:

  1. 添加新地址到白名单
  2. 刷新名称节点
  3. 更新slaves文件
  4. 单独启动新节点的datanode进程
    $>hadoop-daemon.sh start datanode
  5. 检查webui

9、YARN旧节点下线

  1. 准备黑白名单

    yarn_exclude.conf

    yarn_include.conf

  2. 配置yarn-site.xml的黑白名单属性

    [yarn-site.xml]

    <!-- yarn白名单 -->
    <property>
      <name>yarn.resourcemanager.nodes.include-path</name>
      <value>/soft/hadoop/etc/full/yarn_include.conf</value>
    </property>
    <!-- yarn黑名单 -->
    <property>
      <name>yarn.resourcemanager.nodes.exclude-path</name>
      <value>/soft/hadoop/etc/full/yarn_exclude.conf</value>
    </property>
  3. 添加退役节点地址到黑名单,不要更新白名单

    [yarn-exclude.conf]

    s102

  4. 刷新yarn
    $>yarn rmadmin -refreshNodes
  5. 进入webui,查看退役的节点是否显式为"退役中",开始复制数据块到其他节点。
    http://rm:8088/
  6. 一旦复制完成,状态显式"Decommissioned",停止退役节点
  7. 从白名单中删除退役节点
  8. 再次刷新节点
    $>yarn rmadmin -refreshNodes
  9. 从slaves中删除退役节点

原文地址:https://www.cnblogs.com/xupccc/p/9655323.html

时间: 2024-10-11 13:32:35

Hadoop常用操作的相关文章

Hadoop常用操作笔记

1 hadoop-daemon.sh start namenode 2 hadoop-daemon.sh start datanode 3 yarn-daemon.sh start resourcemanager 4 yarn-daemon.sh start nodemanager 5 ./hiveserver2 或者 nohup hive --service metastore &nohup  hive --service hiveserver2 & 6 beeline 7 !conne

Hadoop HDFS文件常用操作及注意事项

1.Copy a file from the local file system to HDFS The srcFile variable needs to contain the full name (path + file name) of the file in the local file system. The dstFile variable needs to contain the desired full name of the file in the Hadoop file s

hadoop 常用配置项【转】

hadoop 常用配置项[转] core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这个,写入dfs.name.dir  fs.checkpoint.period 1800 定

Hadoop常用shell命令

为了方便自己回顾记忆,将今天实验的hadoop命令总结一下,方便后续查看. 注意,下述命令是在hadoop/bin 下操作的. 1.hadoop fs -ls \    ->查看当前下面的所有目录. 2.hadoop fs -mkdir xxx ->创建xxx文件夹在hadoop文件系统上. 3.hadoop fs -rmr xxx -> 删除在文件系统上面创建的文件夹 4.hadoop fs -put /home/xuzhang/file1 xxx 将文件放入创建的xxx目录中 5.h

hadoop 常用配置

hadoop 常用配置项——转载: core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这个,写入dfs.name.dir  fs.checkpoint.period 1800

PIG常用操作

这一节我们看看Pig的常用操作. 所有命令和脚本都在Pig 0.12.0 & Hadoop 2.2.0下测试通过. 准备两个数据文件: 1)student.txt 结构为(班级号,学号,成绩),字段间逗号分隔. C01,N0101,82 C01,N0102,59 C01,N0103,65 C02,N0201,81 C02,N0202,82 C02,N0203,79 C03,N0301,56 C03,N0302,92 C03,N0306,72 2)teacher.txt 结构为(班级号,教师),字

Hive数据类型及常用操作总结(一)

一.Hive 数据类型 Hive 提供了基本数据类型和复杂数据类型,复杂数据类型是 Java 语言所不具有的. 基本数据类型 Hive是用java开发的,hive里的基本数据类型和java的基本数据类型也是一一对应的,除了string类型.有符号的整数类型:TINYINT.SMALLINT.INT和BIGINT分别等价于java的byte.short.int和long原子类型,它们分别为1字节.2字节.4字节和8字节有符号整数.Hive的浮点数据类型FLOAT和DOUBLE,对应于java的基本

Hive Shell常用操作

1.本文命令的两种模式: 交互模式,即hive的shell环境:hive > …. 非交互模式:普通的Linux命令模式:%..... 2.Hive Shell常用操作 1) hive -e:从命令行执行指定的HQL,不需要分号: % hive -e 'select * from dummy' > a.txt 2) hive –f: 执行HQL脚本 % hive -f /home/my/hive-script.sql 3) hive -i:在进入交互模式之前,执行初始化sql文件 % hive

Hadoop常用命令总结

一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题). 2.单进程启动. sbin/start-dfs.sh ---------------     sbin/hadoop-daemons.sh --config .. --hostname .. start