集群扩展:Hadoop环境搭建

hadoop安装步骤:

  1. 系统需要安装的包

    ssh,rpm,gcc,make

    yum -y install openssh-server openssh-clients

  2. 检测ssh安装和rpm安装

    a. ssh localhost

    b. yum install rpm

  3. 安装java

    a. 安装java-7

    rpm -Uvh java

    b. 添加并配置新的jdk系统命令

    update-alternatives –install “/usr/bin/java” “java” “/usr/java/jdk1.7.0_45/bin/java” 16001

    update-alternatives –install “/usr/bin/java” “javac” “/usr/java/jdk1.7.0_45/bin/javac” 16001

    alternatives –config java

    alternatives –config javac

    c. 检查并测试

    update-alternatives –display java

    java -version

  4. 添加hduser用户

    a. groupadd hdgroup

    b. useradd -g hdgroup hduser

    c. passwc hduser

    d. chown -R hduser .

    e. chmod 755 hduser

    f. chgrp -R hdgroup hduser

  5. 将da-master上的公钥拷贝到新机器上

    ssh-copy-id -i id_rsa.pub [email protected]

  6. 修改主机名称和hosts文件

    127.0.0.1 localhost

    172.21.36.4 da-slave05

    172.21.101.7 web2

    172.21.101.30 da-master

    172.21.101.31 da-slave01

    172.21.101.32 da-slave02

    172.21.101.33 da-slave03

    172.21.101.34 da-slave04

    ::1 localhost6.localdomain6 localhost6

  7. 进入hduser用户环境

    a. su - hduser

    b. tar -zxf hadoop.2.2.0.tar.gz

    c. ln -s hadoop-2.2.0 /

  8. 编辑环境变量

    vim ~/.bahsrc

  9. 修改系统参数

    a.关闭防火墙

    service iptables stop

    chkconfig iptables off

    vim /etc/selinux/config

    改成disabled

    setenforce 0

    service iptables status

    b.修改最大文件打开数

    1)vim /etc/security/limits.conf

      • nofile 204800

        2)vim /etc/security/limits.d/90-nproc.conf

      • soft nproc new-max-user-processes-value

    c.调整交换分区大小

    vim /etc/sysctl.conf

    vm.swappiness = 0

    vm.dirty_ratio = 5

    1. 安装LZO包

      cd lzo-2.06

      ./configure –enable-shared

      make

      make install

      #编辑/etc/ld.so.conf,加入/usr/local/lib/后,执行/sbin/ldconfig

      或者cp /usr/local/lib/liblzo2.* /usr/lib64/

    10.将master上的数据库配置参数文件拷贝到该机器上来

    11.同步时间: http://www.cnblogs.com/panfeng412/p/drop-caches-under-linux-system.html

    http://blog.sina.com.cn/s/blog_79fded950101gfc7.html

介绍得比较简略,待有时间贴上图文演示,敬请期待!

时间: 2024-11-02 03:59:37

集群扩展:Hadoop环境搭建的相关文章

[精华]Hadoop,HBase分布式集群和solr环境搭建

1. 机器准备 1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1NH-33GH7 1.3. 创建虚拟机CentOS-6.5-x86_64-bin-

Jmeter集群压测环境搭建

一.准备 最好三台服务器,一台做master,两台做agent 二.配置 apache-jmeter-5.2/bin目录下的jmeter.properties文件修改 master:remote_hosts=#agent机器的IP:端口,如remote_hosts=192.168.12.21:1099,192.168.12.22:1099 server.rmi.ssl.disable=true agent: remote_hosts=127.0.0.1 server.rmi.ssl.disabl

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

Hadoop集群_Eclipse开发环境设置

1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32

Hadoop集群 -Eclipse开发环境设置

1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32

hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我们这里就讨论完全分布式,关于搭建工具,有hadoop+CentOs+VMware,感觉各个版本还是有一点差异的. 随后可能会整理出一个常用版本,今天先说说VM的静态IP的设置吧: 关于VM,大家可能不陌生,目前也是windows系统搭建模拟hadoop环境的必要软件之一. 但是,由于有些人会经常改变

Nutch+hadoop环境搭建

以前搭建环境或是配置软件从来都没有留Tips的习惯,但实践证明这是错误的--做过不等于记得怎么做,遇到过的错误也不等于今后就不是错误了.Nutch跟Hadoop的搭建困扰了我很久,但回头看看又觉得真正有些问题的其实就几个关键点,所以觉得花些时间写个简单流程,缅怀一下最近的探索,也希望能给想要搭建Nutch或hadoop的同学提供一些帮助.欢迎大家指正. 想要说明一下的是,虽然说hadoop诞生于nutch,但现在hadoop已经完全独立为一个分布式框架,我们可以简 单地理解为nutch只是跑在h

Hadoop HA + HBase环境搭建(一)————zookeeper和hadoop环境搭建

版本信息: Hadoop 2.6.3 HBase 1.0.3 JDK 1.8 Zookeeper 3.4.9 集群信息: RDFMaster 192.168.0.41 (Hadoop主节点,zk节点,HBase主节点) RDFSlave01 192.168.0.42 (Hadoop备份主节点,从节点,zk节点,HBase的RegionServer) RDFSlave02 192.168.0.43 (从节点,zk节点,HBase的RegionServer) RDFSlave03 192.168.0

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

集群分布式 Hadoop安装详细步骤

集群分布式Hadoop系统安装及测试 本系统一共有三个节点,一个namenode,两个datanode,IP和主机名对应如下: 192.168.1.19           namenode 192.168.1.7             datanode1 192.168.1.20           datanode2 1.安装配置 1).安装配置JDK,在三个节点都需要安装,下面操作在三个节点上都需要执行: a.下载jdk-6u45-linux-x64.bin文件,将下载的文件放到/usr