记录CDH上修改的一些配置

1 加大map，与reduce执行内存，由2改为3

2

yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。
只要参数值*分配的内存>需要的内存值，就不会报错。

3 添加spark shuffle

4 hbase region 大小设置

之前是10G ，现在改为100G，这样减少region split的次数，从而减少出现region is not online 的情况发生。

  • 单个ColumnFamily的region大小，若按照ConstantSizeRegionSplitPolicy策略，超过设置的该值则自动split

5 调大map 与reduce 的任务内存值，将map 任务内存调大到4G，CPU虚拟内核调大为4核，之间是1:1的关系

将reduce任务内存和CPU虚拟内核调大为4核，之间是1:1的关系

6 HDFS 的ACL权限设置：

时间： 2024-10-25 15:51:02

记录CDH上修改的一些配置的相关文章

在CDH上用外部Spark2.2.1安装和配置 CarbonData

在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData ===================================================================== cdh中外部spark(standalone模式安装) ===================================================================== 5.把安装包和配置文件拷贝到其他机器

Oracle10g/11g 在SUSE/RHEL上的安装与配置

在过去对众多项目的支撑过程中,Oracle作为首选数据库,其安装与配置过程成了重复性最多的工作之一.在此,我进行了总结,并分享出来,希望能对大家有所帮助.随着Oracle版本的提升,从9i ->10g ->11g,其安装与配置过程其实越来越简单,尤其到了11g,会自动检测所缺少的系统软件包,并在系统参数配置方面进行自动调优. 在Linux下Oracle的安装配置过程我认为可分为三大步:第一步 预安装的环境参数配置在Windows下没有这一步,因为已经由安装程序直接完成了,Linux下目前也有相

Tomcat在Linux上的安装与配置

Tomcat在Linux上的安装与配置 1.  jdk下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html tomcat下载地址:http://tomcat.apache.org/download-70.cg 2.jdk安装与配置.(rpm包)    (1)jdk安装    rpm包:    # rpm -ivh jdk-7u79-linux-x64.rpm tar.gz

记录一则Linux SSH的互信配置过程

需求:四台Linux主机,IP地址为192.168.10.10/11/12/13,配置root用户的等价性1.各节点ssh-keygen生成RSA密钥和公钥 ? 1 ssh-keygen -q -t rsa  -N "" -f  ~/.ssh/id_rsa 2.将所有的公钥文件汇总到一个总的授权key文件中在10执行汇总: ? 1 2 3 4 ssh 192.168.10.10 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

<转>详解DNS的常用记录（上）：DNS系列之二

详解DNS的常用记录(上) 在上篇博文中,我们介绍了DNS服务器的体系结构,从中我们了解到如果我们希望注册一个域名,那么必须经过顶级域名服务器或其下级的域名服务器为我们申请的域名进行委派,把解析权委派到我们的DNS服务器上,这样我们才可以获得对所申请域名的解析权.本文中我们将再进一步,假设我们已经为公司成功申请了一个域名hexun.com,现在hexun.com的解析权被委派到公司的DNS服务器202.99.16.1,那我们在202.99.16.1服务器上该进行什么样的配置呢? 一 安装DNS服

在windows上安装和简单配置VirtualBox

VirtualBox是一款开源且免费虚拟机软件,其简单易用且性能优异.最重要的是VirtualBox有不同操作系统版本,但是其导出的虚拟机都是通用的. 适用系统:windwos7_64bit & windows8_64bit 下面由小河给大家介绍:在Windows上安装和简单配置VirtualBox4.3.14. 1.下载VirtualBox. (1)百度搜索"virtualbox",出现VirtualBox官方网站和百度软件中心,两者都可下载到该软件. (2)以"百

Linux 上SSH 服务的配置和管理

基本上Linux的网络服务器在远程操作大多时候都是使用SSH来配置.管理服务器.现在我们就来分享一下简单配置Linux的SSH服务. 1.检查一下默认安装的系统是否安装了SSH服务: chkconfig  --list | grep sshd 2.首先要备份配置文件,任何时候我们需要修改配置文件的时候都建议先把原始文件备份 cp -a /etc/ssh/sshd_config /etc/ssh/sshd_config.bak 3.下面我们就来修改SSHD_config配置文件,需要修改两个地方,

java环境--JDK和Tomcat在linux上的安装和配置

Tomcat在Linux上的安装与配置 以下使用的Linux版本为: Redhat Enterprise Linux 7.0 x86_64,Tomcat版本为tomcat-7.0.54.1.下载JDK与Tomcat.    jdk下载地址:    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html    tomcat下载地址:    http://tomcat.apache.org

solr5.5.0在CenOS上的安装与配置

solr5.5.0在CenOS上的安装与配置 1. Solr简介 Solr是一个基于Lucene的Java搜索引擎服务器.Solr 提供了层面搜索.命中醒目显示并且支持多种输出格式(包括 XML/XSLT 和 JSON 格式).它易于安装和配置,而且附带了一个基于 HTTP 的管理界面.Solr已经在众多大型的网站中使用,较为成熟和稳定.Solr 包装并扩展了 Lucene,所以Solr的基本上沿用了Lucene的相关术语.更重要的是,Solr 创建的索引与 Lucene 搜索引擎库完全兼容.通