Hadoop技术内幕之前奏Ant

转载自：http://www.cnblogs.com/huozhicheng/archive/2010/04/08/2533199.html

1. 什么是ant

ant是构建工具
2. 什么是构建
概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个
3. ant的好处
跨平台   --因为ant是使用java实现的，所以它跨平台
使用简单--与ant的兄弟make比起来
语法清晰--同样是和make相比
功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有多少功能。当你自己开发一些ant插件的时候，你会发现它更多的功能。
4. ant的兄弟make
ant做的很多事情，大部分是曾经有一个叫make的所做的，不过对象不同，make更多应用于c/c++ ,ant更多应用于Java。当然这不是一定的，但大部分人如此。
一.  构建ant环境
要使用ant首先要构建一个ant环境，步骤很简单：
1) 安装jdk，设置JAVA_HOME ,PATH ,CLASS_PATH(这些应该是看这篇文章的人应该知道的)
2) 下载ant 地址http://www.apache.org/找一个你喜欢的版本，或者干脆最新的版本
3) 解压ant 你得到的是一个压缩包，解压缩它，并把它放在一个尽量简单的目录。

下载：http://ant.apache.org/bindownload.cgi，下载一个版本的zip压缩文件，解压到你想安装的目录中。
假设你安装ant的目录是：C:/ apache-ant-1.8.1根据下面配置环境变量：
ANT_HOME    C:/ apache-ant-1.8.1
path             C:/ apache-ant-1.8.1/bin
classpath      C:/apache-ant-1.8.1/lib
注意：path里面可以使安装目录的绝对路径，可以不用ANT_HOME
验证是否安装成功：
开始->运行->cmd->ant->出现：
Buildfile: build.xml does not exist!
Build failed
cmd-->ant -version 查看版本信息

那么恭喜你你已经完成ant的设置
二. 体验ant
就像每个语言都有HelloWorld一样，一个最简单的应用能让人感受一下Ant
1. 首先你要知道你要干什么，我现在想做的事情是：
编写一些程序
编译它们
把它打包成jar包
把他们放在应该放置的地方
运行它们
这里为了简单起见只写一个程序，就是HelloWorld.java程序代码如下：

package test.ant;
public class HelloWorld{
public static void main(String[] args){
   System.out.println("Hello world1");
}
};　

2. 为了达到上边的目的，你可以手动的用javac 、copy 、jar、java来完成，但是考虑一下如果你有成百上千个类，在多次调试，部署的时候，一次次的javac 、copy、jar、
java那将是一份辛苦的工作。现在看看ant怎么优雅的完成它们。
要运行ant需要有一个build.xml虽然不一定要叫这个名字，但是建议你这么做
下边就是一个完整的build.xml，然后我们来详细的解释每一句:

<?xml version="1.0" encoding="UTF-8" ?>
<project name="HelloWorld" default="run" basedir=".">
<property name="src" value="src"/>
<property name="dest" value="classes"/>
<property name="hello_jar" value="hello1.jar"/>
<target name="init">
   <mkdir dir="${dest}"/>
</target>
<target name="compile" depends="init">
   <javac srcdir="${src}" destdir="${dest}"/>
</target>
<target name="build" depends="compile">
   <jar jarfile="${hello_jar}" basedir="${dest}"/>
</target>
<target name="run" depends="build">
   <java classname="test.ant.HelloWorld" classpath="${hello_jar}"/>
</target>
<target name="clean">
   <delete dir="${dest}" />
   <delete file="${hello_jar}" />
</target>
<target name="rerun" depends="clean,run">
   <ant target="clean" />
   <ant target="run" />
</target>
</project>
解释：
<?xml version="1.0" encoding="UTF-8" ?>
build.xml中的第一句话，没有实际的意义
<project name="HelloWorld" default="run" basedir=".">
</project>
ant的所有内容必须包含在这个里边，name是你给它取的名字，basedir故名思意就是工作的根目录 .代表当前目录。default代表默认要做的事情。
<property name="src" value="src"/>
类似程序中的变量，为什么这么做想一下变量的作用
<target name="compile" depends="init">
   <javac srcdir="${src}" destdir="${dest}"/>
</target>
把你想做的每一件事情写成一个target ，它有一个名字，depends是它所依赖的target，在执行这个target 例如这里的compile之前ant会先检查init是否曾经被执行过，如果执行
过则直接直接执行compile，如果没有则会先执行它依赖的target例如这里的init，然后在执行这个target
如我们的计划
编译：
<target name="compile" depends="init">
<javac srcdir="${src}" destdir="${dest}"/>
</target>
做jar包:
<target name="build" depends="compile">
<jar jarfile="${hello_jar}" basedir="${dest}"/>
</target>
运行：
<target name="run" depends="build">
<java classname="test.ant.HelloWorld" classpath="${hello_jar}"/>
</target>
为了不用拷贝，我们可以在最开始定义好目标文件夹，这样ant直接把结果就放在目标文件夹中了
新建文件夹:
<target name="init">
<mkdir dir="${dest}"/>
</target>
为了更多一点的功能体现，又加入了两个target
删除生成的文件
<target name="clean">
<delete dir="${dest}" />
<delete file="${hello_jar}" />
</target>
再次运行，这里显示了如何在一个target里边调用其他的target
<target name="rerun" depends="clean,run">
<ant target="clean" />
<ant target="run" />
</target>
好了，解释完成了，下边检验一下你的ant吧
新建一个src的文件夹，然后把HelloWorld.java按照包目录放进去
做好build.xml文件
在命令行下键入ant ,你会发现一个个任务都完成了。每次更改完代码只需要再次键入ant
有的时候我们可能并不想运行程序，只想执行这些步骤中的某一两个步骤，例如我只想重新部署而不想运行，键入
ant build
ant中的每一个任务都可以这样调用ant + target name
好了，这样一个简单的ant任务完成了。

三. 什么时候使用ant

也许你听到别人说起ant，一时冲动准备学习一下ant，当你看完了上边的第一个实例，也许你感觉ant真好，也许你感觉ant不过如此，得出这些结论都不能说错，虽然ant很好用，
但并不是在任何情况下都是最好的选择，例如windows上有更多更简单，更容易使用的工具，比如eclipse+myeclipse eclipse+wtp等等，无论是编译，部署，运行使用起来比ant更
容易，方便但有些情况则是ant发挥的好地方：
1. 服务器上部署的时候
当你的程序开发完成，部署人员要部署在服务器上的时候，总不能因为因为安装一个程序就配置一个eclipse+myeclipse吧，ant在这个时候是个很好的选择，因为它小巧，容易配
置，你带着你写好的build.xml到任何一台服务器上，只需要做简单的修改（一些设定，例如目录），然后一两个命令完成，这难道不是一件美好的事情吗。
2. linux上，很多时候是这样的，程序开发是在windows下，但是程序要在linux或者unix上运行，在linux或者
在unix(特别是unix上)部署是个麻烦的事情，这个时候ant的特点又出来了，因为ant是跨平台的，你在build.xml可以在大多数操作系统上使用，基本不需要修改。
3. 当服务器维护者不懂编程的时候
很多人都有过这样的经历，使用你们程序的人，并不懂得写程序。你得程序因为版本更新，因为修正bug需要一次又一次得重新部署。这个时候你会发现教一个人是如此得困难。但
是有ant后，你只需要告诉他，输入ant xxx等一两个命令，一切ok.
以上是我遇到得一些情况。
看完以上得情况，好好考虑一下，你是否需要使用ant，如果是继续。

进一步学习一个稍微复杂一点点的ant
在实际的工作过程中可能会出现以下一些情况，一个项目分成很多个模块，每个小组或者部门负责一个模块，为了测试，他们自己写了一个build.xml,而你负责把这些模块组合到
一起使用，写一个build.xml
这个时候你有两种选择：
1. 自己重新写一个build.xml ，这将是一个麻烦的事情
2. 尽量利用他们已经写好的build.xml，减少自己的工作
举个例子：
假设你下边有三个小组，每个小组负责一个部分，他们分别有一个src 和一个写好的build.xml
这个时候你拿到他们的src，你需要做的是建立三个文件夹src1 ,src2, src3分别把他们的src和build.xml放进去，然后写一个build.xml

<?xml version="1.0" encoding="UTF-8" ?>
<project name="main" default="build" basedir=".">
<property name="bin" value="${basedir}/bin" />
<property name="src1" value="${basedir}/src1" />
<property name="src2" value="${basedir}/src2" />
<property name="src3" value="${basedir}/src3" />
<target name="init">
   <mkdir dir="${bin}" />
</target>
<target name="run">
   <ant dir="${src1}" target="run" />
   <ant dir="${src2}" target="run" />
   <ant dir="${src3}" target="run" />
</target>
<target name="clean">
   <ant dir="${src1}" target="clean" />
   <ant dir="${src2}" target="clean" />
   <ant dir="${src3}" target="clean" />
</target>
<target name="build" depends="init,call">
   <copy todir="${bin}">
    <fileset dir="${src1}">
     <include name="*.jar" />
    </fileset>
    <fileset dir="${src2}">
     <include name="*.jar" />
    </fileset>
    <fileset dir="${src3}">
     <include name="*.jar" />
    </fileset>
   </copy>
</target>
<target name="rebuild" depends="build,clean">
   <ant target="clean" />
   <ant target="build" />
</target>
</project>  　

ok你的任务完成了。

ok,上边你完成了任务，但是你是否有些感触呢，在那些build.xml中，大多数是重复的，而且更改一次目录需要更改不少东西。是否能让工作做的更好一点呢，答案是肯定的。
引入两个东西：
1.  propery
2. xml include
这两个东西都有一个功能，就是能把build.xml中<propery />中的内容分离出来，共同使用
除此之外它们各有特点：
propery的特点是维护简单，只需要简单的键值对，因为并不是所有人都喜欢xml的格式
xml include的特点是不单可以提取出属性来，连target也可以。
还是以前的例子：
例如我们想把src1 src2 src3这三个属性从xml中提出来，可以新建一个文件叫all.properties
里边的内容

src1=D://study//ant//src1
src2=D://study//ant//src2
src3=D://study//ant//src3

然后你的build.xml文件可以这样写，别人只需要更改配置文件，而不许要更改你的build.xml文件了

<?xml version="1.0" encoding="UTF-8" ?>
<project name="main" default="build" basedir=".">
<property file="all.properties" />
<property name="bin" value="${basedir}/bin" />
<target name="init">
   <mkdir dir="${bin}" />
</target>
<target name="run">
   <ant dir="${src1}" target="run" />
   <ant dir="${src2}" target="run" />
   <ant dir="${src3}" target="run" />
</target>
<target name="clean">
   <ant dir="${src1}" target="clean" />
   <ant dir="${src2}" target="clean" />
   <ant dir="${src3}" target="clean" />
</target>
<target name="build" depends="init,call">
   <copy todir="${bin}">
    <fileset dir="${src1}">
     <include name="*.jar" />
    </fileset>
    <fileset dir="${src2}">
     <include name="*.jar" />
    </fileset>
    <fileset dir="${src3}">
     <include name="*.jar" />
    </fileset>
   </copy>
</target>
<target name="rebuild" depends="build,clean">
   <ant target="clean" />
   <ant target="build" />
</target>
<target name="test">
   <ant dir="${src1}" target="test" />
   <ant dir="${src2}" target="test" />
   <ant dir="${src3}" target="test" />
</target>
</project>
如果你自己看的话你会看到这样一个target
<target name="test">
<ant dir="${src1}" target="test" />
<ant dir="${src2}" target="test" />
<ant dir="${src3}" target="test" />
</target>
有的时候你想给每个小组的build.xml加入几个target，一种做法是每个里边写，然后在这里调用
但是有一种更好的方法。
你可以写一个include.xml文件，内容如下
<?xml version="1.0" encoding="UTF-8" ?>
<property name="src" value="src"/>
<property name="dest" value="classes"/>
<target name="test" >
<ant target="run" />
</target>
然后更改你三个小组的build.xml文件,每个里边加入如下内容
<!--include a xml file ,it can be common propery ,can be also a target   -->
<!DOCTYPE project [
<!ENTITY share-variable SYSTEM "file:../include.xml">
]>
&share-variable;
变成如下的样子
这个时候，你只要在include.xml添加propery , 添加target，三个build.xml会同时添加这些propery和target
而且不会让三个组的build.xml变得更复杂。
<?xml version="1.0" encoding="UTF-8" ?>
<!--include a xml file ,it can be common propery ,can be also a target   -->
<!DOCTYPE project [
<!ENTITY share-variable SYSTEM "file:../include.xml">
]>
<project name="HelloWorld" default="run" basedir=".">
<!--use the include   -->
&share-variable;
<!--defined the property-->
<!--via include
<property name="src" value="src"/>
<property name="dest" value="classes"/>
-->
<property name="hello_jar" value="hello1.jar"/>
<!--define the op-->
<target name="init">
   <mkdir dir="${dest}"/>
</target>
<target name="compile" depends="init">
   <javac srcdir="${src}" destdir="${dest}"/>
</target>
<target name="build" depends="compile">
   <jar jarfile="${hello_jar}" basedir="${dest}"/>
</target>
<target name="run" depends="build">
   <java classname="test.ant.HelloWorld" classpath="${hello_jar}"/>
</target>
<target name="clean">
   <delete dir="${dest}" />
   <delete file="${hello_jar}" />
</target>
<target name="rerun" depends="clean,run">
   <ant target="clean" />
   <ant target="run" />
</target>
</project>

掌握了上边的那些内容之后，你就知道如何去写一个好的ant，但是你会发现当你真的想去做的时候，你不能马上作出好的build.xml，因为你知道太少的ant的默认提供的命令.这
个时候如果你想完成任务，并提高自己，有很多办法：
1. 很多开源的程序都带有build.xml，看看它们如何写的
2. ant的document，里边详细列写了ant的各种默认命令，及其丰富
3. google，永远不要忘记它
ok,在这之后随着你写的ant build越来越多，你知道的命令就越多，ant在你的手里也就越来越强大了。
这个是一个慢慢积累的过程。 
ant的例子很好找，各种开源框架都会带有一个build.xml仔细看看，会有很大收获
另外一个经常会用到的，但是在开源框架的build.xml一般没有的是cvs
如果使用的是远程的cvs，可以这样使用

<xml version="1.0" encoding="utf-8"?>
<project>
      <property name="cvsroot" value=":pserver:wang:@192.168.1.2:/cvsroot"/>
      <property name="basedir" value="/tmp/testant/"/>
      <property name="cvs.password" value="wang"/>
      <property name="cvs.passfile" value="${basedir}/ant.cvspass"/>
      <target name="initpass">
              <cvspass cvsroot="${cvsroot}" password="${cvs.password}" passfile="${cvs.passfile}"/>
      </target>
      <target name="checkout" depends="initpass">
              <cvs cvsroot="${cvsroot}" command="checkout" cvsrsh="ssh" package="myproject" dest="${basedir}"
               passfile="${cvs.passfile}"/>
       </target>
</project>

在eclipse里边先天支持ant，所以你可以在eclipse里边直接写build.xml
因为eclipse提供了提示功能，自动补充功能，它能让你事半功倍。
使用方法，只需要建立一个工程，然后建立一个叫build.xml的文件。然后就可以在里边写你的ant build了
但是时刻记住http://www.apache.org/永远能找到你需要的东西

时间： 2024-08-06 16:40:35

Hadoop技术内幕之前奏Ant的相关文章

2本Hadoop技术内幕电子书百度网盘下载：深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理

这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出版 2.<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理>蔡斌.陈湘萍 著  机械工业出版社2013年4月出版 百度网盘下载地址: http://pan.baidu.com/s/1sjNmkFj

Hadoop技术内幕HDFS-笔记2

任何一个复杂的软件系统,为了提高其适应性和扩展性,一般都会有一个配置模块或者配置系统,作完成其扩展.定制的手段和方式. 1.1.  Windows的配置文件 (第一次知道这事啊): 采用的是ini后缀的文本文件,可通过动态链接库提供方法进行处理. 初始化文件或profile概要文件 1.2.  Java配置文件: Properties文件 Xml文件 工具:Apache Commons Configuration 用于对配置文件进行常用的操作. Hadoop configuration Hado

hadoop技术内幕－序列化与压缩（一）

一.java内建序列化机制 java序列化机制将对象转换为连续的byte数据,这些数据可以在日后还原为原先的对象状态,还能自动处理不同操作系统上的差异,也不用担心字节排列次序. java的类实例可被序列化只要在类声明中加入implements Serializable即可.Serializable接口是一个标志,不具有任何成员函数. java的序列化会自动访问对象的父类,以保证对象内容的一致性.序列化的结果中包含了大量与类相关的信息(包括版本号.类描述信息.类的版本ID.父类等).在这个过程中序

Hadoop技术内幕——Hadoop配置信息处理

配置系统是复杂软件必不可少的一部分,org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用. windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准,被称为(Initialization File)或概要文件(profile):java中JDK提供了java.util.Properties类处理简单的配置文件.而Hadoop采用自己独有的配置文件管理系统. Hadoop的配置文件的根元素是configurat

Hadoop技术内幕HDFS-笔记11之HDFS

Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据. 特性: 1.  支持超大文件 2.  检测和快速应对硬件故障(故障检测和自动恢复) 3.  流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度 4.  简化的一致性模型,一次写入,多次读取. 不适合: 5.  低延迟数据访问,和用户的实时交互,由于hadoop对高数据吞吐量进行了优化,而牺牲了数据的延迟,对于低延迟访问,可以考虑hbase或cassandra 1.1.1.       

Hadoop技术内幕HDFS-笔记5之动态代理

1.1.  java动态代理 java.lang.reflect包下的Proxy(创建代理对象)和InvocationHandler(调用转发)两个类 代理对象代表目标对象(target)执行相应的活动 静态代理:代理对象实现目标对象一致的接口,实现代理接口和调用转发 (不推荐使用) 在调用前后的附加逻辑,体现了代理对象的价值 代码示例: 1. java动态代理接口 package proxy; public interface BookDAO { //增加图书的实现 public void a

Hadoop技术内幕HDFS-笔记6之RPC

1.1.  hadoop远程过程调用 1.  远程接口调用(必须实现VersionedProtocol接口) 里面有一个方法,IPC通信时会比较客户端和服务端接口的版本号.必须一致才可以 package rpc; import org.apache.hadoop.ipc.VersionedProtocol; public interface MyBizable extends VersionedProtocol { //必须具有一个版本号 public static final long VER

Hadoop技术内幕HDFS-笔记4之远程调用

1.      hadoop远程过程调用 RPC:XML-RPC,JSON-RPC,CORBA,RMI(Remote Method Invocation),Haoop IPC(进程间通信) RPC原理:允许本地程序(客户端)调用其他机器(服务器)上的过程,客户端使用参数将信息传送给调用方,通过返回值得到消息. RPC的server在运行时会阻塞在接收消息的调用上,当接到客户端的请求后,会解包以获取请求参数:结束后返回值通过主程序打包发送给客户端. 1.1.  java RMI 依赖于java序列

Hadoop技术内幕HDFS-笔记4之压缩

1.1.  压缩 减少存储空间,加快传输速率 在hadoop中,压缩应用于文件存储.Map端到Reduce端的数据交换等情景. hadoop,主要考虑压缩速率和压缩文件的可分割性 压缩算法:时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低. hadoop提供了对压缩算法的编码和解码器类 编码和解码示例(采用gzip) package test; import java.io.File; import java.io.FileInputStream; import java.io.FileO