Hadoop技术内幕-第一章 阅读原代码前的准备

1.1 源代码学习环境

1.1.1 基础软件的下载

JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Ant-http://ant.apache.org/bindownload.cgi

Cygwin-http://www.cygwin.com/

Eclipse-http://www.eclipse.org/downloads/

1.1.2 Windows环境

D:\hadoop\ 包括apache-ant-1.9.6、cygwin、Java-jdk1.8.0_65

1.JDK安装

双击安装包将JDK安装到D:\hadoop\Java\下,配置环境变量JAVA_HOME、CLASSPATH、PATH

(1)环境变量

http://jingyan.baidu.com/article/d5a880eb6aca7213f047cc6c.html

(2)配置JAVA_HOME

(3)配置CLASSPATH

变量值:.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

(4)配置PATH

变量值:%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin

配置完后,cmd运行java -version,输出以下内容,说明成功。

2.Ant安装

双击安装包将其解压到D:\hadoop\ ,新添加环境变量ANT_HOME。

配置完后,在cmd命令方式下输入:ant -version

出现问题:Unable to locate tools.jar. Expected to find it in D:\hadoop\Java\lib

ANT_HOME环境变量已经配置;

解决途径:将“D:\hadoop\Java\jdk1.8.0_65\lib”目录下的tools.jar文件拷贝到“D:\hadoop\Java\lib”目录下,重新运行命令ant,运行正常,问题解决。

3.Cygwin安装(类Unix环境)

(1)安装Cygwin

(2)安装并启动sshd服务

Hadoop启动/停止脚本需要通过ssh发送命令启动相关守护进程,为此安装sshd服务。

以管理员身份打开,

输入:ssh-host-config    按提示安装。

安装后,输入 net start sshd

4.Eclipse安装

直接安装到D:\hadoop\。

1.1.3 Linux环境

安装目录结构:

ROOT/home/dong/eclipse

/usr/lib/apache-ant-1.9.6

/jvm/jdk1.8.0_65

1.JDK安装与配置

步骤1: 安装JDk

(1) 在/usr/lib/下新建java文件夹

sudo mkdir java

(2) 将桌面上 jdk-8u65-linux-x64.tar.gz 拷贝到java文件夹下

sudo scp jdk-8u25-linux-i586.tar.gz /usr/lib/java/

(3) 解压jdk-8u65-linux-x64.tar.gz

sudo tar xzvf jdk-8u65-linux-x64.tar.gz

步骤2:配置JDK

打开~/.bashrc文件:sudo gedit ~/.bashrc

输入:

export JAVA_HOME=/usr/lib/java/jdk1.8.0_25

export JRE_HOME=/usr/lib/java/jdk1.8.0_25/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

使~/.bashrc生效:source ~/.bashrc

检查java是否安装成功

输入:java -version

2.Ant以及Eclipse安装

(1)安装与配置Ant

步骤同JDK的操作

export Ant_HOME=/usr/lib/apache-ant-1.9.6

export PATH=$PATH:$ANT_HOME/bin

配置生效:source ~./bashrc

检查ant是否安装成功

输入:ant-version

(2)安装Eclipse

直接解压压缩包到/usr/lib/hadoop/

时间: 2024-12-25 16:54:14

Hadoop技术内幕-第一章 阅读原代码前的准备的相关文章

Hadoop技术内幕HDFS-笔记2

任何一个复杂的软件系统,为了提高其适应性和扩展性,一般都会有一个配置模块或者配置系统,作完成其扩展.定制的手段和方式. 1.1.  Windows的配置文件 (第一次知道这事啊): 采用的是ini后缀的文本文件,可通过动态链接库提供方法进行处理. 初始化文件或profile概要文件 1.2.  Java配置文件: Properties文件 Xml文件 工具:Apache Commons Configuration 用于对配置文件进行常用的操作. Hadoop configuration Hado

[深入理解Android卷一全文-第一章]阅读前的准备工作

由于<深入理解Android 卷一>和<深入理解Android卷二>不再出版,而知识的传播不应该因为纸质媒介的问题而中断,所以我将在CSDN博客中全文转发这两本书的全部内容. (出版社排版好的PDF版正在向出版社申请,到时候会通过CSDN下载资源发布) 第一章  阅读前的准备工作 本章主要内容 本章简单介绍Android系统架构.编译环境的搭建以及一些工具的使用. 1.1  系统架构 1.1.1  Android系统架构 Android是Google公司推出的一款手机开发平台.该平

Hadoop技术内幕HDFS-笔记5之动态代理

1.1.  java动态代理 java.lang.reflect包下的Proxy(创建代理对象)和InvocationHandler(调用转发)两个类 代理对象代表目标对象(target)执行相应的活动 静态代理:代理对象实现目标对象一致的接口,实现代理接口和调用转发 (不推荐使用) 在调用前后的附加逻辑,体现了代理对象的价值 代码示例: 1. java动态代理接口 package proxy; public interface BookDAO { //增加图书的实现 public void a

Hadoop技术内幕HDFS-笔记4之远程调用

1.      hadoop远程过程调用 RPC:XML-RPC,JSON-RPC,CORBA,RMI(Remote Method Invocation),Haoop IPC(进程间通信) RPC原理:允许本地程序(客户端)调用其他机器(服务器)上的过程,客户端使用参数将信息传送给调用方,通过返回值得到消息. RPC的server在运行时会阻塞在接收消息的调用上,当接到客户端的请求后,会解包以获取请求参数:结束后返回值通过主程序打包发送给客户端. 1.1.  java RMI 依赖于java序列

Hadoop技术内幕HDFS-笔记1

书籍学习——董西成<Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理> HDFS 高容错,高伸缩性 Lucene是引擎开发包,提供了一个纯java的高性能全文检索,可方便的嵌入到各种应用中实现全文搜索/索引功能. Nutch是以Lucene为基础实现的搜索引擎应用,Lucene为Nutch提供了文本搜索和索引的Api,Nutch不光有搜索功能,还有数据抓取的功能,却无法支持拥有数亿网页的网络(在网络抓取和索引过程中产生的大量文件存储需求). Hadoop优势

Hadoop技术内幕:深入解析YARN架构设计与实现原理pdf

下载地址:网盘下载 <Hadoop技术内幕:深入解析MapReduce架构设计与实现原理>内容简介:"Hadoop技术内幕"共两册,分别从源代码的角度对"Common+HDFS"和"MapReduce的架构设计和实现原理"进行了极为详细的分析.<Hadoop技术内幕:深入解析MapReduce架构设计与实现原理>由Hadoop领域资深的实践者亲自执笔,首先介绍了MapReduce的设计理念和编程模型,然后从源代码的角度深入

2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理

这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出版 2.<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理>蔡斌.陈湘萍 著  机械工业出版社2013年4月出版 百度网盘下载地址: http://pan.baidu.com/s/1sjNmkFj

hadoop技术内幕-序列化与压缩(一)

一.java内建序列化机制 java序列化机制将对象转换为连续的byte数据,这些数据可以在日后还原为原先的对象状态,还能自动处理不同操作系统上的差异,也不用担心字节排列次序. java的类实例可被序列化只要在类声明中加入implements Serializable即可.Serializable接口是一个标志,不具有任何成员函数. java的序列化会自动访问对象的父类,以保证对象内容的一致性.序列化的结果中包含了大量与类相关的信息(包括版本号.类描述信息.类的版本ID.父类等).在这个过程中序

Hadoop技术内幕——Hadoop配置信息处理

配置系统是复杂软件必不可少的一部分,org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用. windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准,被称为(Initialization File)或概要文件(profile):java中JDK提供了java.util.Properties类处理简单的配置文件.而Hadoop采用自己独有的配置文件管理系统. Hadoop的配置文件的根元素是configurat