hadoop 主节点存储告警

之前只他调整过dfs 的存储目录到最大配额的目录,其它没有处理(就是在默认的/ 目录下,而这个目录的存储配额只有50G)

运行一周的时间不到,集群开始告警,查看是目录/ 的存储占用超过了60%

再查看具体目录情况,主要占用的目录有四个,分别是:

/yarn  11G

/var  9.6G

/opt  4.7G

/usr  1.8G

其中:

yarn 主要存放mr 运行相关的中间数据

var 主要存放运行的日志和监控的日志数据(/var/lib/cloudera-service-monitor)

opt 主要存放cdh 的安装包,包括repo,cache,parcels(其中repo,cache和运行无关)

usr 主要存放 安装文件

处理:

1.调整监控日志数据存放路径,到更大配额的目录

2.调整yarn存放路径,到更大配额的目录

时间: 2024-12-15 02:25:10

hadoop 主节点存储告警的相关文章

Hadoop文件存储的葵花宝典

文件存储分行存储和列存储,每个存储格式里面又分不同的类型,在实际的应用中如何去使用?怎样去使用?快来围观吧! 文件存储格式,我们在什么时候去指定呢?比如在Hve和Ipala中去创建表的时候,我们除了指定列和分隔符,在它的命令行结尾有STORED AS参数,这个参数默认是文本格式,但是文本不适合所有的场景,那么在这里我们就可以改变文本的信息. 那么到底我们应该选择哪些格式呢?每种格式都有什么样的特点呢?我们为什么要去选择这种格式呢? 一.文本文件: 文本文件是Hadoop里面最基本的文件类型,可以

Hadoop数据存储—Hbase

大家都知道Hadoop是一个数据库,其实说的的就是Hbase.它和我们平常理解的关系型数据库有什么区别呢? 1.它是NoSQL的,它没有SQL的接口,有自己的一套API. 2.关系型数据库可以做汇总,可以进行常规的分析,但是Hbase不可以,它不能做汇总.那么Hbase操作不方便,不能做汇总,不能做分析,有什么作用呢?它的随机读写效率很高,可以存储海量数据,基于某个网点,某个城市,某个机器随机去查询速度快.或者去存储基于时间序列的数据,比如微信.微博.日志的数据,效率很高. 3.它的存储是列式的

hadoop单机存储均衡和坏block处理

1.Namenode岩机处理:重启集群无法恢复的情况下 这时候解决的办法很简单,把namenode镜像存储的路径下内容删除掉,再把secondnamenode镜像存储的路径下内容拷贝过来,重启即可. 默认namenode镜像存储的路径是 /opt/hdfs/dfs/name 默认secondnamenode镜像存储的路径 /opt/hdfs/dfs/namesecondary 2.坏Block解决方式 hadoop出现坏块后(如低版本的hadoop更换块大小的时候容易出现坏块),自身可以缓慢的修

hadoop之存储篇

目录: 集群规划 HDFS HA 冒烟测试 功能特性 集群规划: 负载类型 容量规划 可扩展性 角色分离 管理节点 Master节点 Worker节点 边缘节点 HDFS HA(高可用) 架构原理见下图: 冒烟测试: 详细说明参见之前的博客:https://www.cnblogs.com/huxinga/p/9627084.html 功能特性: HDFS Balancer 快照 Snapshots 配额 Quota 权限 ACLs 存储策略 集中缓存管理 机架感知 Erasure Coding

hadoop ——HDFS存储

一.HDFS概念 二.HDFS优缺点 三.HDFS如何存储 一.HDFS概念 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上.它所具有的高容错.高可靠性.高可扩展性.高获得性.高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利. hadoop前提和设计目标: 硬件错

虚拟机快照导致的存储告警

背景介绍 某企业虚拟化平台使用的软件版本为vsphere5.1,共享存储上每个lun都是1T的空间,今天检查时发现有一个lun的可用空间只剩下3%,于是开始寻找原因 排查步骤 1.首先使用ssh链接到Esxi物理主机,检查了该lun上运行的虚拟机,发现在该lun上只运行着一台虚拟机占用了964.2G的空间 2.打开该虚拟机配置,发现该虚拟机配置了3个厚置备类型的硬盘,硬盘空间分别为40G.200.500G,算上swap交换分区的32G一共是772G,也不会达到964G的容量 3.检查又发现在存储

Hadoop 集群安装(主节点安装)

1.下载安装包及测试文档 切换目录到/tmp view plain copy cd /tmp 下载Hadoop安装包 view plain copy wget http://192.168.1.100:60000/hadoop-2.6.0-cdh5.4.5.tar.gz 下载JDK安装包 view plain copy wget http://192.168.1.100:60000/jdk-7u75-linux-x64.tar.gz 下载实验测试数据 view plain copy wget h

比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:Apache Avro,Apache Parquet,Apache HBase和Apache Kudu空间效率,提取性能,分析扫描以及随机数据查找等领域.这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力. 引言 最初把Hadoop文件格式和存储引擎做比较的想法是在初始系统修订版之一的驱动下完成的 --这个系统是在CERN中大规模调节Hadoop-ATLAS EventInd

Hadoop环境中管理大数据存储八大技巧

随着IT互联网信息技术的飞速发展和进步.目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧. 在现如今,随着IT互联网信息技术的飞速发展和进步.目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧. 1.分布式存储 传统化集中式存储存在已有一段时间.但大数据并非真的适合集中式存储架构.Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能