部署CDH集群环境准备

1、系统centOS7以上

2、配置免密登陆

3、ntp时钟同步

四、系统调优

  1、配置主机名并写入host文件,并将hosts文件同步到各节点;

  2、关闭防火墙和selinux;

  3、关闭dns反向查寻,优化登陆时间,如果不关登陆会很慢,会有一个dns反向查寻的时间;

    sed -i ‘[email protected]#UseDNS [email protected] [email protected]‘ /etc/ssh/sshd_config

  4、关闭GSSAPI身份验证

    sed -i ‘[email protected]^GSSAPIAuthentication [email protected] [email protected]‘ /etc/ssh/sshd_config

  GSSAPIAuthentication  当这个参数开启( GSSAPIAuthentication  yes )的时候,通过SSH登陆服务器时候会有些会很慢!这是由于服务器端启用了GSSAPI。登陆的时候客户端需要对服务器端的IP地                址进行反解析,如果服务器的IP地址没有配置PTR记录,那么就容易在这里卡住了。

  5、关闭透明大页

    (vir-3.5.2) [[email protected] ~]# uname -r   #查看内核版本
    3.10.0-862.el7.x86_64
    (vir-3.5.2) [[email protected] ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
    [always] madvise never   #查看透明大页状态,打开状态
    (vir-3.5.2) [[email protected] ~]# cat /etc/default/grub | grep GRUB_CMDLINE_LINUX
    GRUB_CMDLINE_LINUX="crashkernel=auto console=ttyS0 console=tty0 panic=5 net.ifnames=0 biosdevname=0"
    (vir-3.5.2) [[email protected] ~]# vim /etc/default/grub

    GRUB_TIMEOUT=5
    GRUB_DISTRIBUTOR="$(sed ‘s, release .*$,,g‘ /etc/system-release)"
    GRUB_DEFAULT=saved
    GRUB_DISABLE_SUBMENU=true
    GRUB_TERMINAL="serial console"
    GRUB_TERMINAL_OUTPUT="serial console"
    GRUB_CMDLINE_LINUX="crashkernel=auto console=ttyS0 console=tty0 panic=5 net.ifnames=0 biosdevname=0 transparent_hugepage=never"    #加上标红的配置
    GRUB_DISABLE_RECOVERY="true"
    GRUB_SERIAL_COMMAND="serial --speed=9600 --unit=0 --word=8 --parity=no --stop=1"

    (vir-3.5.2) [[email protected] ~]# grub2-mkconfig -o /boot/grub2/grub.cfg  #加载配置文件

    Generating grub configuration file ...
    Found linux image: /boot/vmlinuz-3.10.0-862.el7.x86_64
    Found initrd image: /boot/initramfs-3.10.0-862.el7.x86_64.img
    Found linux image: /boot/vmlinuz-0-rescue-c28d40cbc8e3adcb4e32d9779a77b39e
    Found initrd image: /boot/initramfs-0-rescue-c28d40cbc8e3adcb4e32d9779a77b39e.img
    done

    (vir-3.5.2) [[email protected] ~]# reboot  #重启配置才能生效;

    (vir-3.5.2) [[email protected] ~]# cat /sys/kernel/mm/transparent_hugepage/enabled

    always madvise [never]  #重启后查看状态为关闭状态

  6、关闭碎片整理

    THP压缩会降低Hadoop的性能。所以,禁用碎片整理是一个很好的做法。

    (vir-3.5.2) [[email protected] ~]# vim /etc/rc.d/rc.local

    #!/bin/bash

    touch /var/lock/subsys/local
    /usr/local/qcloud/irq/net_smp_affinity.sh >/tmp/net_affinity.log 2>&1
    /usr/local/qcloud/rps/set_rps.sh >/tmp/setRps.log 2>&1
    /usr/local/qcloud/gpu/nv_gpu_conf.sh >/tmp/nv_gpu_conf.log 2>&1

    #在该文件加上该配置即可
    if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    fi

    if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    fi

    (vir-3.5.2) [[email protected] ~]# ll /etc/rc.d/rc.local   #查看该文件是否有执行权限,如果没有需要加执行权限;
    -rwxr-xr-x 1 root root 943 Jun 30 00:59 /etc/rc.d/rc.local

  7、修改Linux内核参数

    (vir-3.5.2) [[email protected] ~]# vim /etc/sysctl.conf   ##编辑该文件,并加入一下配置;

    fs.aio-max-nr=1048576

    net.core.rmem_default=262144

    net.core.wmem_default=262144
    net.core.rmem_max=16777216
    net.core.wmem_max=16777216
    net.ipv4.tcp_rmem=4096 262144 16777216
    net.ipv4.tcp_wmem=4096 262144 16777216

    (vir-3.5.2) [[email protected] ~]# sysctl -p   #加载配置文件使其生效

fs.aio-max-nr = 1048576       ##最大并发I/O请求数
net.core.rmem_default = 262144   ##操作系统接收缓冲区的默认大小
net.core.wmem_default = 262144  ##操作系统发送缓冲区的默认大小
net.core.rmem_max = 16777216   ##操作系统接收缓冲区最大值
net.core.wmem_max = 16777216  ##操作系统发送缓冲区最大值
net.ipv4.tcp_rmem = 4096 262144 16777216  ##接收窗口尺寸的最小,默认,最大值
net.ipv4.tcp_wmem = 4096 262144 16777216  ##发送窗口尺寸的最小,默认,最大值

8、增加文件限制

  (vir-3.5.2) [[email protected] ~]# ulimit -Sn   #软限制(由于我这是云主机,应该是腾讯云已经做了优化的,标准原生镜像应该是1024)

    100001
    (vir-3.5.2) [[email protected] ~]# ulimit -Hn   #硬限制 (原生镜像应该是4096)
    100002

    如果其他人不是我这样的配置就得手动自己改了,方法如下:

    vim /etc/security/limits.conf

    (vir-3.5.2) [[email protected] ~]# tail -8 /etc/security/limits.conf

    * soft nofile 1048576  ##表示用户和组,如果是"*",则表示所有用户或组进行限制。
    * hard nofile 1048576  ##表示软限制还是硬限制,当进程使用的资源超过软限制时系统日志会有警告产生,当进程使用的资源达到硬限制时,则无法继续使用更多的限制,甚至有的程序会直接抛出异常,比如MySQL程序。
    * soft nproc 1048576  ##表示限制的资源类型
    * hard nproc 1048576 ##如nofile表示打开文件描述符的最大数目,memlock表示最大锁定内存地址空间(KB),nporc表示最大数量的进程,as表示地址空间的限制(KB),cpu表示最大CPU时间(分钟)等等。
    * soft memlock unlimited  ##表示限制的最大值,也就是我们针对某个参数配置的具体数值。比如"* soft nofile 1048576",表示任何用户对于文件句柄数的软限制最大打开文件描述符是1048576。
    * hard memlock unlimited

    (vir-3.5.2) [[email protected] ~]# tail -2 /etc/security/limits.d/20-nproc.conf

    * soft nproc 1048576
    root soft nproc unlimited

    ##"/etc/security/limits.conf" 配置文件可限制文件打开数,系统进程等资源,在该文件配置中写的最大用户进程数是受"/etc/security/limits.d/90-nproc.conf"配置上限影响的。

  一般系统普通用户进程数满了都是修改/etc/security/limits.d/90-nproc.conf文件。

  9、禁用swap

    swapon -s  #查看swap状态

    swapoff -a  #关闭swap
    swapon -s  #打开swap
    free -h        #确认swap是否为0

未完待续。。。。。。。。。。。

原文地址:https://www.cnblogs.com/zhangzhide/p/11108472.html

时间: 2024-10-08 21:58:05

部署CDH集群环境准备的相关文章

CDH 集群环境Master节点IP变更

因为集群中的节点服务器都是通过DHCP自动分配IP,原则上重启了IP也不会变更,因为在启动的时候已经为Mac地址固定分配了一个IP地址,除非Mac地址变更.巧合的是,昨天早上扫地大妈把某Master的节点服务器因为擦桌子而把网线给扯掉了,等我发现该节点连接不上的时候,重新插上网线之后结果Ip变了.想了很多中的方式,将所有节点的Ip设置为手动配置,但是手动配置IP,该节点就无法与其他节点通信,网络连接失败,更不能连接Internet.百思不得其解.  无奈只能再此将Master节点按照自动分配的I

Linux环境快速部署Zookeeper集群

一.部署前准备: 1.下载ZooKeeper的安装包:http://zookeeper.apache.org/releases.html 我下载的版本是zookeeper-3.4.9. 2.将下载的zookeeper-3.4.9包放到/opt目录下,目录结构如下图所示: 3.在/tmp目录下新建一个zookeeper目录,并在zookeeper目录下新建一个data目录. 4.三台linux系统的ip: ip1:10.43.98.6 ip2:10.43.98.8 ip3:10.43.98.18

EhCache缓存在集群环境中同步问题

由于 EhCache 是进程中的缓存系统,一旦将应用部署在集群环境中,当每一个节点维护各自的缓存数据,某个节点对缓存数据进行更新,这些更新的数据无法在其它节点中共享,这不仅会降低节点运行的效率,而且会导致数据不同步的情况发生.例如某个网站采用 A.B 两个节点作为集群部署,当 A 节点的缓存更新后,而 B 节点缓存尚未更新就可能出现用户在浏览页面的时候,一会是更新后的数据,一会是尚未更新的数据,尽管我们也可以通过 Session Sticky 技术来将用户锁定在某个节点上,但对于一些交互性比较强

深入探讨在集群环境中使用 EhCache 缓存系统

EhCache 缓存系统简介 EhCache 是一个纯 Java 的进程内缓存框架,具有快速.精干等特点,是 Hibernate 中默认的 CacheProvider. 下图是 EhCache 在应用程序中的位置: 图 1. EhCache 应用架构图 EhCache 的主要特性有: 快速: 简单: 多种缓存策略: 缓存数据有两级:内存和磁盘,因此无需担心容量问题: 缓存数据会在虚拟机重启的过程中写入磁盘: 可以通过 RMI.可插入 API 等方式进行分布式缓存: 具有缓存和缓存管理器的侦听接口

集群环境中使用 EhCache 缓存系统

EhCache 缓存系统 : 本章节将要介绍EhCache及EhCache实现分布式的一些解决方案.并针对于这些解决性方案做一个实现,后续将出一个提供项目模块化.服务化.插件化的VieMall快速开发平台,同时集成Dubbo服务化.Zookeeper(分布式调度/分布式配置管理服务).Redis分布式缓存技术及Memcache/Ehcache 二级缓存切换.FastDFS分布式文件系统.ActiveMQ异步消息中间件.Solr搜索.Nginx负载均衡等分布式及读写分离.如果有时间可以深入分表分库

集群环境下定时调度的解决方案之Quartz集群

集群环境可能出现的问题 在上一篇博客我们介绍了如何在自己的项目中从无到有的添加了Quartz定时调度引擎,其实就是一个Quartz 和Spring的整合过程,很容易实现,但是我们现在企业中项目通常都是部署在集群环境中的,这样我们之前的定时调度就会出现问题了,因为我们的定时任务都加载在内存中的,每个集群节点中的调度器都会去执行,这就会存在重复执行和资源竞争的问题,那么如何来解决这样的问题呢,往下面看吧... 解决方案 在一般的企业中解决类似的问题一般都是在一个note上部署Quartz其他note

0110-如何给Kerberos环境下的CDH集群添加Gateway节点

Fayson的github: https://github.com/fayson/cdhproject 推荐关注微信公众号:"Hadoop实操",ID:gh_c4c535955d0f,或者扫描文末二维码. 1.文档编写目的 Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机.它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令. 如果你使用的是Apache Hadoop,你只需要将h

SUSE11 Oracle 11g RAC双机集群环境部署

Oracle RAC集群环境部署 一. 安装前准备 (1) Linux系统版本 SUSE Linux Enterprise Server 11 (x86_64) (2) Oracle database和Grid安装包 linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip linux.x64_11gR2_grid.zip (3) ASMlib安装包 oracleasm-support-2.1.8-1.SLE11.x8

kubernetes学习与实践篇(二) kubernetes1.5 的安装和集群环境部署

kubernetes 1.5 的安装和集群环境部署 文章转载自:http://www.cnblogs.com/tynia/p/k8s-cluster.html 简介: Docker:是一个开源的应用容器引擎,可以为应用创建一个轻量级的.可移植的.自给自足的容器. Kubernetes:由Google开源的Docker容器集群管理系统,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等功能. Etcd:由CoreOS开发并维护的一个高可用的键值存储系统,主要用于共享配置和服务发现. Fla