building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1]

  本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本,即hadoop的运行版本。

  为何要自己building,而不用Apache的distribution 【bin】版本,因为hadoop涉及到Linux系统的底层实现,如:

    hadoop fs -ls /

  通过 java Native 实现,故应为 native的相关lib。【个人认为的一点】

  相关文件下载链接:

    文件目录解释:

  •  hadoop

    • hadoop-2.4.1.tar.gz 本人通过在centos7上构建的distribution版本,可以直接下载并配置,然后运行即可,参考文章
    • hadoop-2.4.1-src.tar.gz hadoop的源代码
  •  relative_tools
    • maven  【只需要配置 MAVEN_HADOOP 的环境变量】
    • protocolbuf   [即:google protocolBUffer],需要自己构建,并检查protocolbuf是否已配置环境变量
    • findbugs  需要自己构建,并检查protocolbuf是否已配置环境变量
    • Cmake 自己搜索,并构建配置环境变量
    • Requirements:
      
      * Unix System
      * JDK 1.6+
      * Maven 3.0 or later
      * Findbugs 1.3.9 (if running findbugs)
      * ProtocolBuffer 2.5.0
      * CMake 2.6 or newer (if compiling native code)
      * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
      
      ----------------------------------------------------------------------------------
      Maven build goals:
      
       * Clean                     : mvn clean
       * Compile                   : mvn compile [-Pnative]
       * Run tests                 : mvn test [-Pnative]
       * Create JAR                : mvn package
       * Run findbugs              : mvn compile findbugs:findbugs
       * Run checkstyle            : mvn compile checkstyle:checkstyle
       * Install JAR in M2 cache   : mvn install
       * Deploy JAR to Maven repo  : mvn deploy
       * Run clover                : mvn test -Pclover [-DcloverLicenseLocation=${user.name}/.clover.license]
       * Run Rat                   : mvn apache-rat:check
       * Build javadocs            : mvn javadoc:javadoc
       * Build distribution        : mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar]
       * Change Hadoop version     : mvn versions:set -DnewVersion=NEWVERSION
      
       Build options:
      
        * Use -Pnative to compile/bundle native code
        * Use -Pdocs to generate & bundle the documentation in the distribution (using -Pdist)
        * Use -Psrc to create a project source TAR.GZ
        * Use -Dtar to create a TAR with the distribution (using -Pdist)
      
      ----------------------------------------------------------------------------------
      Importing projects to eclipse
      
      When you import the project to eclipse, install hadoop-maven-plugins at first.
      
        $ cd hadoop-maven-plugins
        $ mvn install
      
      Then, generate eclipse project files.
      
        $ mvn eclipse:eclipse -DskipTests
      
      At last, import to eclipse by specifying the root directory of the project via
      [File] > [Import] > [Existing Projects into Workspace].
      
      ----------------------------------------------------------------------------------
      Building distributions:
      
      Create binary distribution without native code and without documentation:
      
        $ mvn package -Pdist -DskipTests -Dtar
      
      Create binary distribution with native code and with documentation:
      
        $ mvn package -Pdist,native,docs -DskipTests -Dtar
      
      Create source distribution:
      
        $ mvn package -Psrc -DskipTests
      
      Create source and binary distributions with native code and documentation:
      
        $ mvn package -Pdist,native,docs,src -DskipTests -Dtar
      
      Create a local staging version of the website (in /tmp/hadoop-site)
      
        $ mvn clean site; mvn site:stage -DstagingDirectory=/tmp/hadoop-site
  • 只要上述的Linux系统、cmake、maven、findbuds、protocolbuf、网络连通、java都已构建/安装成功后等条件满足后,就在hadoop源代码目录运行代码区的着色区域

文件下载链接:http://pan.baidu.com/s/1pJJQkPl

building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1],布布扣,bubuko.com

时间: 2024-12-14 10:50:21

building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1]的相关文章

.Net Core Linux centos7行—centos7 pptp vpn connection to windows vpn server

介绍一下centos7 怎么新建vpn并连接到服务器. 本次实现的内容:linux pptp connection to windows vpn server. ? 首先自然是按照pptp拨号组件 yum install ppp pptp pptp-setup 向内核注册模块 modprobe ppp_mppe 新建一个vpn pptpsetup --create vpnname --server vpn服务器地址 --username uid --password pwd --encrypt

详解CentOS7.4搭建Tomcat构建Java Web站点(内附源码包)

Java简介 Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承.指针等概念,因此Java语言具有功能强大和简单易用两个特征.Java语言作为静态面向对象编程语言的代表,极好地实现了面向对象理论.Java具有简单性.面向对象.分布式.健壮性.安全性.平台独立与可移植性.多线程.动态性等特点.Java可以编写桌面应用程序.Web应用程序.分布式系统和嵌入式系统应用程序等. Tomcat简介 Tomcat是Apache软件基金会的Jakarta项目中的一

【CentOS7】CentOS7各个版本镜像下载地址(转)

链接:https://www.cnblogs.com/caidingyu/p/10679422.html # CentOS7.6 下载地址    # CentOS-7-x86_64-DVD-1810.iso  CentOS 7.6 DVD 版  4Ghttp://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso  # CentOS-7-x86_64-Everything-1810.iso CentOS

centos7+maven+jenkins+checkstyle 构建总是java.io.EOFException异常

异常详情如下:   [CHECKSTYLE] File encoding has not been set in pom.xml, using platform encoding UTF-8, i.e. build is platform dependent (see <a href="http://docs.codehaus.org/display/MAVENUSER/POM+Element+for+Source+File+Encoding">Maven FAQ</

在centos7.5使用DockerFile构建镜像时报错“Error parsing reference: &quot;microsoft/dotnet:2.2-aspnetcore-runtime AS base&quot; is not a valid repository/tag: invalid reference format”

运行dockerfile时报出的错误 FROM microsoft/dotnet:2.2-aspnetcore-runtime AS base Error parsing reference: "microsoft/dotnet:2.2-aspnetcore-runtime AS base" is not a valid repository/tag: invalid reference format 这个问题一般是由docker的版本错误导致的 FROM microsoft/dotn

【centOS7】centOS7上普通用户切换root用户,相互切换

https://www.cnblogs.com/sxdcgaq8080/p/10041435.html 当前普通用户登录,想要切换为root用户,需要输入命令 su 需要输入root密码.输入时候屏幕不会显示,直接输入完了,回车即可 回车后,即切换到root用户下 想要从root用户切换到普通用户,只需要输入 su 用户名 即可切换到普通用户!! 也可以在超级用户下输入exit就会退出到普通用户,再输入exit才回退出命令行 原文地址:https://www.cnblogs.com/zkwarr

CentOS7中编译Hadoop2.x

环境 VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1 1.关于Hadoop本地库 1.1.可能存在的问题 Hadoop发行包自带的库文件可能与本地操作系统不兼容.特别是在Hadoop-2.5.1之前的版本,自带的本地库都是32位的,64位操作系统无法使用,只能使用java自带的,而java自带的速度会比较慢. 查看本地库版本 [[email protected] native]$ pwd /home/wukong/local/hadoop-2.7.1/lib/n

CentOS7安装Hadoop2.7完整流程

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.0.182Slave1 192.168.0.183Slave2 192.168.0.184 2.SSH免密码登录,因为Hadoop需要通过SSH登录到各

Centos7安装Hadoop2.7

准备 1.三台Centos7的机器,在/etc/hosts中都加上所有的hostname解析: 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2.配置node1到三台机器的免密登录 3.全部安装jdk8 4.官网下载安装包:hadoop-2.7.7.tar.gz(推荐中国科学技术大学开源镜像:http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.t