Ubuntu下hadoop环境的搭建

Ubuntu下hadoop环境的搭建

一、必要资源的下载

1、Java jdk(jdk-8u25-linux-x64.tar.gz)的下载

具体链接为:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、Hadoop(我们在这里选用hadoop0.20.2.tar.gz)的下载

具体链接为:

http://vdisk.weibo.com/s/zNZl3

二、软件的安装(将下载好的文件放在home文件夹下)

1、Java的安装(解压)

在命令行下输入

sudo tar xzvf jdk-8u25-linux-x64.tar.gz

注意:可能会提示你输入用户密码

解压完毕,Java安装完成

2、hadoop的安装(解压)

在命令行输入

sudo tar xzvf hadoop0.20.2.tar.gz

注意:可能会提示你输入用户密码

解压完毕,hadoop0.20.2安装完成

3、ssh的安装

在系统联网的情况下,在命令行输入

sudo apt-get install ssh

4、rsync的安装

在系统联网的情况下,在命令行输入

sudo apt-get install rsync

三、环境的配置

1、ssh的配置

ssh需要配置成为免密码登录状态

在命令行输入两句话:

ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

配置完毕,验证ssh是否需要密码,在命令行输入:

ssh localhost

以下操作在hadoop-0.20.2文件夹中的conf下进行,在命令行输入 cd Hadoop-0.20.2/conf

2、修改hadoop-env.sh中的配置

将JAVA_HOME改成你安装Java JDK的绝对路径

Gedit hadoop-env.sh

3、修改hadoop核心配置文件core-site.xml

gedit core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

4、修改hadoop中HDFS的配置,修改replication

gedit hdfs-site.xml

<configuration>

<property>

<name>dfs.data.dir</name>

<value>/home/mrchor/hadoop-0.20.2/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

5、修改hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

gedit mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

四、hadoop的启动

以下操作在hadoop-0.20.2文件夹下进行,在命令行输入:cd hadoop-0.20.2

1、格式化hadoop中的文件系统HDFS

bin/hadoop namenode –format

2、启动hadoop环境

bin/start-all.sh

五、完结

至此,hadoop的环境搭建完毕。

时间: 2024-10-08 20:04:44

Ubuntu下hadoop环境的搭建的相关文章

Ubuntu下ruby环境的搭建

做为一个软件工程的学生,最近想学习一门脚本语言,经过了一些查询呢,了解到ruby和python都是蛮不错的选择,但可能个人更加倾向于多样化和自由化,因为python为了达到简单和高效,采用了一种哲学“用一种方法,最好是只有一种方法來做一件事”,当然这种哲学也相当不错,但我还是选择了先学习ruby,不过我相信日后我还会回来去学习python的,因为多学一种语言,可以降低自己被语言俘虏的程度,可以从更多的方面去思考. 好了,言归正传,现在来说说我在搭建Ruby环境的时候遇到的一些事情. 首先,如果你

ubuntu下hadoop环境配置

软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 选择hadoop-1.2.1.tar.gz这个 第一阶段:安装JDK 请参考上篇文章:http://www.cnblogs.com/ma

Ubuntu 12.04下PHP环境的搭建(LAMP)--非编译

1.首先打开命令行,切换到root身份,获得最新的软件包su root sudo apt-get install update 2.安装MySQL数据库sudo apt-get install mysql-server mysql-client下图为提示输入数据库密码,然后回车,之后还有提示,再重复输入一次,再回车 最后安装完后进数据库测试一下是否安装成功,看到欢迎信息就ok了mysql -uroot -p 3.安装Apache服务器sudo apt-get install apache2 安装

Ubuntu下用hadoop2.4搭建集群(伪分布式)

要真正的学习hadoop,就必须要使用集群,但是对于普通开发者来说,没有大规模的集群用来测试,所以只能使用伪分布式了.下面介绍如何搭建一个伪分布式集群. 为了节省时间和篇幅,前面一些步骤不再叙述.本文是在基于单机模式的前提下进行得搭建.若不会搭建单机模式,请看我的前一篇文章.Ubuntu下用hadoop2.4搭建集群(单机模式) 第一步 配置hdfs-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用,指定主机上作为

红帽6.5下Java环境的搭建

红帽6.5下Java环境的搭建 一.安装包 安装包的选择根据自己的需求以及其他软件环境需要的,比如某些软件版本还不到支持jdk1.7的程度,还有linx和windows下的安装包格式不一样,这些都是要考虑到的 这次是使用jdk1.7. 二.将安装包解压缩到某个目录下,并做一个软链接 1.将压缩包解压缩到/usr/local/目录下,注意后面的参数-C 2.在该目录下我们可以将长的jdk等做个软链接,其好处就是,在你做之后的操作时,可以不需要写大串的字符,比如环境变量的配置 3.下一步该配置jav

(转载)关于ubuntu下java环境配置及其运行

转载地址:http://blog.sina.com.cn/s/blog_6730a3aa0100vsiy.html 其实不需要怎么配置,直接到ubuntu软件中心里面搜jre就行了,安装上. 在终端输入:sudo apt-get install openjdk-6-jdk 再在ubuntu软件中心里面搜索eclipse下载安装即可. 不安装eclipse也行,不过运行什么的都要在终端了..... 下面就运行试试: 1.直接终端运行: 在桌面建立一个文本文档命名为test.java,使用其他编辑器

ubuntu 下 mysql数据库的搭建 及 数据迁移

1.mysql的安装 我是使用apt-get直接安装的 :sudo apt-get install mysql-server sudo apt-get install mysql-client 2.配置mysql管理员密码 sudo mysqladmin -u root 当前密码 新密码 安装的时候貌似也没遇到什么障碍 3.查看mysql的状态 sudo netstat -tap | grep mysql 4.启动/停止/重启mysql sudo  /etc/init.d/mysql start

Mac下PHP环境的搭建

目录 Mac下PHP环境的搭建(基于XAMPP) 下载XAMPP的Mac版 启动Apache Web Server先在命令行输入 sudo launchctl unload -w /System/Library/LaunchDaemons/org.apache.httpd.plist 启动MySQL Database先在命令行输入: sudo /Applications/XAMPP/xamppfiles/bin/mysql.server start PHP文件放置的地方 在XAMPP包下的htd

VS2010 + OpenNI2 + Kinect SDK1.8 在win8.1下开发环境的搭建

 VS2010 + OpenNI2 + Kinect SDK1.8 在win8.1下开发环境的搭建 1. 先安装kinect1.8,再安装openni2,默认路径就好. 2.配置VS2010建立的openni的project所需要的头文件和库文件,在项目的属性中配置. (1)Configuration Properties,C/C++,Gerenal,在Additiaonal Include Directories项中选择openni头文件的文件夹 默认路径为C:\Program Files