hadoop2.2伪分布安装加2.2源码编译

配置linux基本环境:

     --> java、ip、hostname、hosts、iptables、chkconfig、ssh环境配置

hadoop2.2安装在linux64位机器上,需要对源码进行编译:

    首先安装google的protobuf

    yum install glibc-header

    yum install gcc

    yum install gcc-c++

    yum install make

    yum install cmake

    yum install openssl-devel

    yum install ncurses-devel

    tar zxvf protobuf-2.5.0.tar.gz

    cd protobuf-2.5.0 && ./configure && make check && make install

    然后安装maven-3.0.5,配置 环境变量

    下载hadoop2.20-src,解压后,执行mvn package -DskipTests -Pdist native 编译。

修改hadoop配置文件,etc/hadoop 目录下的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

    文件core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop0:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.2.0/tmp</value>
        </property>
        <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

    文件hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

    文件yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

    文件mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

启动

    启动——格式化:

    bin/hdfs namenode -format

    

    启动——hdfs

    sbin/hadoop-daemon.sh start namenode 对应端口:50070
    sbin/hadoop-daemon.sh start datanode

    启动——yarn
    sbin/yarn-daemon.sh start resourcemanager 对应端口:8088
    sbin/yarn-daemon.sh start nodemanager

    启动——historyserver

    sbin/mr-jobhistory-daemon.sh start historyserver

    测试上传:bin/hadoop fs -put LICENSE.txt /license

    hadoop1默认block大小是64兆,hadoop2默认大小是128兆

测试单词计数:

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /license /out
    启动jobhistory 查看作业运行日志 sbin/mr-jobhistory-daemon.sh start historyserver
    hadoop应用在nodemanager上跑的。
    MapReduce的ApplicationMaster叫MRAppMaster
    nodemanager是有多个,resourcemanager只有一个

时间: 2024-10-20 15:33:19

hadoop2.2伪分布安装加2.2源码编译的相关文章

九周第四次课(2月26日) 11.1 LAMP架构介绍 11.2 MySQL、MariaDB介绍 11.3/11.4/11.5 MySQL安装 扩展 mysql5.5源码编译安装

11.1 LAMP架构介绍11.2 MySQL.MariaDB介绍11.3/11.4/11.5 MySQL安装扩展mysql5.5源码编译安装   http://www.aminglinux.com/bbs/thread-1059-1-1.html mysql5.7二进制包安装(变化较大)  http://www.apelearn.com/bbs/thread-10105-1-1.html =====================================================

ubuntu12.04 安装android sdk /ndk/源码 编译环境

做android已经近5年了,期间android的各种环境都自己配过,自己是个想法比较多的人,各自神奇到想法都有,包括写博客,但是一直是没有具体落实...想法再多,不去努力实现也只能是想法了,今天准备从写博客这个小事开始做起,磨练自己到,不废话了,直接进入主题: 一.JDK(下载并安装jdk),注意事项如下: a.32位需要下32的,64位的也注意是下载64位的: b.配置环境变量: $ sudo gedit /etc/profile           在文件的末尾加上如下内容:       

CentOS6.5一键安装MySQL5.5.32(源码编译)

###################################################mysql_install.sh                                                                                   ##initialize the Linux system to deploy lnmp                                               ##2016/10

2015.07.12hadoop伪分布安装

hadoop伪分布安装 ? Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168.1.99重启网卡,网关192.168.1.1是物理机下面的默认网关, 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0 ? 修改内容: TYPE="Ethernet" BOOTPROTO="static" ONBOOT=&

yum源码编译安装http

继上次linux程序包管理(2)之yum的配置及使用,大家都很疑惑不是有yum就行了吗干嘛还要学习源码安装,听说源码安装很费事也很麻烦,是的 yum是用起来简单方便,但是yum是直接写在镜像里面的,所以一些安装包的版本就有点低了.而且有些特性是编译选定的,如果编译未选定此特性,将无法使用:rpm包的版本会落后于源码包,甚至落后很多.俗话说有利必有一弊,对于一些安装包已经更新换代了,大家都在接受新事物你还在原地不动,这对于it农民工来说不合适吧,所以源码安装就解决了这个问题,两者的结合三字棒棒哒.

lamp安装源码编译的zabbix--单台服务器

安装zabbix可以使用两种方式 1 rpm 定制版本的 2 源码编译 zabbix需要php的支持,和为了支持GUI界面,所以需要web前端服务器,zabbix的数据有后端数据库服务器进行存储,所有搭建zabbix有两种方案,可以使用rpm全自动化安装,和lamp源码编译在结合zabbix的源码编译进行! 这里介绍新版本的mysql5.6和新版本的php5.5和新版本的httpd(apache)进行搭建,过程之中可老本的的使用是不太相同的,第一php支持mysql5.6使用的是mysqli函数

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --