cdh看完官方文档后小结002

1、Cloudera Manager包含内部机架感知脚本,但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机,Cloudera建议您为每个主机指定机架。 HDFS,MapReduce和YARN将自动使用您指定的机架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

2、cdh不同版本支持的操作系统 参考链接为
https://blog.csdn.net/high2011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

3、停用主机停用并停止主机上的所有角色,而无需单独停用每个服务上的角色。 退役仅适用于HDFS DataNode,MapReduce TaskTracker,YARN NodeManager和HBase RegionServer角色。 如果主机上运行了其他角色,则会停止这些角色。在主机上的所有角色都已停用并停止后,可以从服务中删除主机。 您可以并行停用多个主机。

4、如果DataNode的数量等于HDFS中存储的任何文件的复制因子(默认值为3),则无法停用DataNode或具有DataNode的主机。例如,如果任何文件的复制因子为3,并且您有三个DataNode,则无法停用DataNode或具有DataNode的主机。如果在这种情况下尝试停用DataNode或具有DataNode的主机,则DataNode将被停用,但停用过程将无法完成。您必须中止退役并重新启动DataNode。
//这句话的意思就是 只有3台datanode 但是你要停用一台,但是复制因子是3 必须修改复制因子之后,才可以停用一台datanode
注意:退出DataNode时,不会从存储目录中删除数据块。您必须手动删除数据。

5、当一个DataNode退役时,NameNode确保来自DataNode的每个块仍然可以在复制因子的指示下在整个群集中可用。 此过程涉及以小批量从DataNode复制块。 如果DataNode有数千个块,则退役可能需要几个小时。 在使用DataNodes停用主机之前,您应首先调整HDFS:
(1、)运行以下命令以识别HDFS文件系统中的任何问题:
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/hdfs-fsck.txt
(2、)修复fsck命令报告的任何问题。 如果命令输出列出了损坏的文件,请使用fsck命令将它们移动到lost + found目录或删除它们:
hdfs fsck file_name -move 或者 hdfs fsck file_name -delete
(3、)提高DataNodes的堆大小。 DataNodes应配置至少4 GB的堆大小,以允许迭代和最大流的增加。
????转到HDFS服务页面。
????单击“配置”选项卡。
????选择Scope> DataNode。
????选择类别>资源管理。
????按建议设置“字节数”中的“数据堆大小”。
(4、)设置DataNode平衡带宽:
???? 选择Scope> DataNode。
???? 展开“类别”>“性能”类别。
???? 将DataNode Balancing Bandwidth属性配置为磁盘和网络上的带宽。 您可以使用低于此值的值,以便最大限度地减少退役对群集的影响,但权衡是退役将需要更长时间。
???? 单击“保存更改”以提交更改。
(5、)将每次迭代的复制工作乘数增加到更大的数字(默认值为2,但建议为10):
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将“每次迭代复制工作乘数”属性配置为值10,例如10。
???? 要根据需要将此配置属性应用于其他角色组,请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(6、)增加复制最大线程数和最大复制线程硬限制:
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将DataNode上的最大复制线程数和DataNode属性上复制线程数的硬限制分别配置为50和100。 您可以减少线程数(或使用默认值)以最小化退役对群集的影响,但权衡是退役将花费更长时间。
???? 要根据需要将此配置属性应用于其他角色组,请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(7、)重启HDFS服务。
有关其他调整建议,请参阅性能注意事项。
参考链接为 : https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_decomm_host.html

参考链接:

原文地址:https://blog.51cto.com/12445535/2399294

时间: 2024-10-12 22:06:38

cdh看完官方文档后小结002的相关文章

新手小白自学hibernate,官方文档错误,导致的坑爹历程

因为是自学的hibernate,所以我先是上网找了些hibernate的视频来看了几天,再浏览的官方文档,最后才开始动手做实践操作,没想到刚开始就出问题了,我将官方文档上的hibernate.cfg.xml完全copy到项目的src目录下,然后修改数据库连接信息,搭建好log4j.junit,当我满怀希望的开始我的第一个小程序时,才发现我下载的hibernate是4.2.21,而看的视频是hibernate3的视频,视频中创建SessionFactory的方法: SessionFactory s

反正你们写的都是没有即时演示的教程,我为什么不去看官方文档?

我就拿Vue举个栗子. Vue.js是什么,我想你多半知道,不然你也不会打开这篇文章. 这几天看到写Vue教程的文章突然多起来了.不过,就我所见,在这里发表的所有教程文章,都不支持即时演示,顶多有点儿自己画的图片之类的点缀一下.那么,请问您的文章和官网的交互式教程相比有什么优势?高级技巧或者独创的tricks就算了,那些写基础教程的作者们,您的目标读者全是不看官方文档,吃不下饼干非得您给嚼碎了再喂的那种蠢驴吗? 但是! 看完这篇文章,你至少可以在你的教程里加入一些简单的Vue交互(或者别的骚东西

hbase官方文档(转)

Apache HBase™ 参考指南  HBase 官方文档中文版 Copyright © 2012 Apache Software Foundation.保留所有权利. Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标. Revision History Revision 0.95-SNAPSHOT 2012-12-03T13:38 中文版

HBase 官方文档0.90.4

HBase 官方文档0.90.4 Copyright ? 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库. 我(译者)熟悉Hbase的源代码,从事Hbase

【苦读官方文档】2.Android应用程序基本原理概述

官方文档原文地址 应用程序原理 Android应用程序是通过Java编程语言来写.Android软件开发工具把你的代码和其它数据.资源文件一起编译.打包成一个APK文件,这个文档以.apk为后缀,保存了一个Android应用程序全部的内容.Android设备通过它来安装相应的应用. 一旦安装到设备上.每一个Android应用程序就执行在各自独立的安全沙盒中: Android系统是一个多用户的Linux系统.每一个应用都是一个用户. Android系统默认会给每一个应用分配一个唯一的用户ID(这个

Unity性能优化(2)-官方文档简译

本文是Unity官方教程,性能优化系列的第二篇<Diagnosing performance problems using the Profiler window>的简单翻译. 简介 如果游戏运行缓慢,卡顿,我们知道游戏存在性能问题.在我们尝试解决问题前,需要先知道引起问题的原因.不同问题需要不同的解决方案.如果我们靠猜测或者其他项目的经验去解决问题,那么我们可能会浪费很多时间,甚至使得问题更严重. 这时我们需要性能分析,性能分析程序测量游戏运行时的各个方面性能.通过性能分析工具,我们能够透过

Jinja2学习笔记暨官方文档的翻译

http://blog.csdn.net/lgg201/article/details/4647471 呵呵, 刚刚看完Python模板引擎Jinja2的文档, 感觉很好, 觉得动态语言真是很好.  模板引擎竟然可以做的如此灵活....真是不错.... 下面直接把看文档过程的笔记发布出来, 呵呵, 基本上就是翻译, 加了不多的一点自己的解释......希望可以帮到大家 补充: 1. 在模板中设置自定义变量: {% set variable_name = value %} 比如设置{% set u

比官方文档更易懂的Vue.js教程!包你学会!

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由蔡述雄发表于云+社区专栏 蔡述雄,现腾讯用户体验设计部QQ空间高级UI工程师.智图图片优化系统首席工程师,曾参与<众妙之门>书籍的翻译工作.目前专注前端图片优化与新技术的探研. 2016年,乃至接下来整个2017年,如果你要问前端技术框架什么最火,那无疑就是前端三巨头:React.Angular.Vue.没错,什么jQuery,seaJs,gulp等都逐渐脱离了热点.面试的时候不吹上一点新技术,好像自己就不是搞前端的似的.当然,

从官方文档去学习之FreeMarker

一.前言 上一篇 <从现在开始,试着学会用官方文档去学习一个技术框架>提倡大家多去从官方文档学习技术,没有讲到具体的实践,本篇就拿一个案例具体的说一说,就是FreeMarker,选择这个框架没什么特别的含义,最近要用,就拿这个做个典型. 二.套路 上篇文章最后说到技术学习没有套路,无招胜有招,无招即是有招,解读一下实际上就是说 本身还是有些招式套路,但是要灵活运用,不要什么都往上套,应该忘掉固有的套路,让其化为你的一种本能,见招拆招.  下面就介绍一种常规学习套路给大家,如下图: 下面就根据上