编hadoop-1.X源代码

满足需要在不久的将来windows调试Linux下一个hadoop问题，Linux检查时需要的文件权限。和windows在没有必要，因此，有必要修改hadoop源代码，再次编译，过程例如以下：

(1)下载hadoop的源代码：也能够直接进入Linux中hadoop的安装文件夹，里面包括源代码

http://svn.apache.org/repos/asf/hadoop/common/tags/

(2)在Linux下进入hadoop的安装文件夹或源代码文件夹。

运行

ant -Dversion=1.0.3
{target}    当中1.0.3是相应的版本

{targer}  相应着相应的jar包

有需要安装到运行的命令ant。

版权声明：本文博主原创文章。博客，未经同意不得转载。

时间： 2024-10-25 10:38:08

编hadoop-1.X源代码的相关文章

Hadoop之Linux源代码编译

Hadoop开篇,按惯例.先编译源代码.导入到Eclipse.这样以后要了解那块,或者那块出问题了.直接找源代码. 编译hadoop2.4.1源代码之前.必须安装Maven和Ant环境,而且Hadoop须要protoc2.5.0的支持,所以还要下载protoc.我下载的是:protobuf-2.5.0.tar.bz2 对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 假设已经安装的能够忽略 yum install gcc yum install gcc-c++ yu

hadoop之WordCount源代码分析

//近期在研究hadoop.第一个想要要開始研究的必然是wordcount程序了.看了<hadoop应用开发实战解说>结合自己的理解,对wordcount的源代码进行分析. <pre name="code" class="java"> package org.apache.hadoop.mapred; import java.io.IOException; import java.util.ArrayList; import java.uti

Hadoop日记Day14---MapReduce源代码回顾总结

一.回顾单词统计源码 1 package counter; 2 3 import java.net.URI; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.FileSystem; 7 import org.apache.hadoop.fs.Path; 8 import org.apache.hadoop.io.LongWritable; 9 import org.apache.hado

Hadoop组件之-HDFS(HA实现细节)

Hadoop NameNode 高可用 (High Availability) 实现解析 在 Hadoop 的整个生态系统中,HDFS NameNode 处于核心地位,NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性.本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析,主要包括 NameNode 的主备切换实现分析和 NameNode 的共享存储实现分析.文章的最后在结合作者自身实践的基础上,列举了一些在高可用运维过程中需要注意的事项. 0 评论 程

hadoop HA 详解

NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重.因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,包括 MapReduce.Hive.Pig 以及 HBase 等也都无法正常工作,并且重新启动 Nam

Hadoop NameNode 高可用 (High Availability) 实现解析

在 Hadoop 的整个生态系统中,HDFS NameNode 处于核心地位,NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性.本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析,主要包括 NameNode 的主备切换实现分析和 NameNode 的共享存储实现分析.文章的最后在结合作者自身实践的基础上,列举了一些在高可用运维过程中需要注意的事项. NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 H

Hadoop日记系列目录

下面是Hadoop日记系列的目录,由于目前时间不是很充裕,以后的更新的速度会变慢,会按照一星期发布一期的原则进行,希望能和大家相互学习.交流. 目录安排 1>  Hadoop日记Day1---Hadoop介绍 2>  Hadoop日记Day2---虚拟机中搭建Linux 3>  Hadoop日记Day3---Hadoop的伪分布式安装 4>  Hadoop日记Day4---去除HADOOP_HOME is deprecated 5>  Hadoop日记Day5---HDFS介

Hadoop2.x介绍与源代码编译

1.Hadoop 项目的四大模块 Hadoop Common: The common utilities that support the other Hadoop modules. Hadoop Distributed File System (HDFS?): A distributed file system that provides high-throughput access to application data. Hadoop YARN: A framework for job s

学习软件工程后的疑问

1.首先从头开始编写一个APP肯定是极其困难的,我觉得找到框架之后进行应用然后编写可以缩短我们的工作时间也能更加符合今后工作上的任务.因此我想问的是,如何更好的找到可以使用的源代码并加以改进呢? 2.我们组表面上是进行分工合作,可是最后肯定会是大家一起合作编写一个APP,那么如何进行不同人员编程之间的调用呢?难道我们要将每个函数的有关数据都记录下来,然后相互传阅吗?那么万一要新增函数,岂不是又要相互传阅? 3.我们编写出来的APP要进行优化的话,是从哪些方面开始改进可以提高运行的速度,也就是说,

delphi 各新版本特性收集

delphi 各新版本特性收集 Delphi XE6新增了一些特性并增强了原有的功能,主要有以下几个方面: IDE(整合开发环境) Internet XML(扩展标记语言) Compiler(编译器) COM/Active X Database support(数据库支持) CORBA Actions(动作) Custom Variants(可定义的可变类型) VCL 单元和特性 RTL单元和特性 Cross-platform development(跨平台开发) Translation too