ubuntu12.04下hadoop1.04环境搭建

(1)我的电脑环境

(2)jdk1.6的安装

由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示:

表示jdk已经安装完成了。接下来是配置环境变量。

openjdk6的安装目录是在/usr/lib/jvm下

(3)设置环境变量

#set Java Environment

export  JAVA_HOME=/usr/lib/jvm/java-6-openjdk

export  CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH

export  PATH=$JAVA_HOME/bin:$PATH

保存并退出,这时在终端输入java -version,如果出现如下提示表示安装成功。

(4)配置SSH免密码登陆

我的ubuntu用户为wgc

1.sudo apt-get install ssh

2.查看当前用户下是否有.ssh的隐藏文件,如果没有就创建一个mkdir .ssh

3.输入ssh-keygen -t  dsa -P ‘ ‘ -f  -/.ssh/id_dsa(‘ ‘是两个单引号)

这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。

4.输入cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

5.验证SSH是否安装成功,以及是否可以免密码登陆本机

ssh  -version

如果显示如下,表示安装成功

输入ssh  localhost,提示是否链接,输入yes即可

(5)安装并运行hadoop

下载并将hadoop-1.0.4.tar.gz解压到当前用户目录下(/home/wgc)

采用为分布式hadoop配置

进入hadoop文件夹下的conf夹,修改配置文件。

1.指定jdk安装位置:

Hadoop-env.sh:

export  JAVA_HOME=/usr/lib/jvm/java-6-openjdk

2.hadoop核心配置文件,配置HDFS地址和段口号。

core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

3.hdfs-site.xml,默认的配置方式是3,在单机版的hadoop中,将其改为1

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4.配置MapReduce文件,配置JobTracker的地址和端口

mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

5.接下来,在启动hadoop前,需要格式化hadoop的HDFS。进入hadoop文件夹,

输入bin/hadoop namenode -format

格式化文件系统,接下来启动hadoop

输入命令,启动所有进程:

bin/start-all.sh

最后验证hadoop是否安装成功。

打开浏览器,分别输入网址:

localhost:50030(mapreduce的web页面)

localhost:50070(HDFS的web页面)

ubuntu12.04下hadoop1.04环境搭建

时间: 2024-10-13 16:06:23

ubuntu12.04下hadoop1.04环境搭建的相关文章

ubuntu12.04下安卓编译环境搭建总结

前言: 因为工作需要,经常要编译安卓下的动态库,公司有已经搭建好环境的服务器,但是第一自己想自己搭建一下了解一个整个过程,另外,公司的服务器也经常出现问 题,导致编译不了,所以就想自己搭建环境.开始是在公司自己的电脑上装了一个unbuntu的虚拟机,然后在网上找了一个攻略,开始搭建环境.但是一直卡 在源码下载那一块,每次源码下载都出错,如后面问题1所描述.断断续续,都是工作之余抽空弄一弄,但是始终下载不成功,我以为是公司网络的问题,网络不稳 定,所以下载老失败.本来想多试几次,想想总有一次会下载

ubuntu14.04下嵌入式工作环境搭建

昨天作死一不小心把小红帽home目录下的东西删光了.跟着国嵌的视频学了这么久,对linux也算是有些熟悉,就决定自己在ubuntu下搭建一个工作环境.整个过程还算比较顺利,不过也有些小波折.下面把这次环境搭建记录下来,方便自己以后查阅,如果能够帮助到大家那自然是最好. ———————————————————————————————————————————————————————————————————— 注意:还处在裸机阶段学习或者还想使用usb下载烧写程序的朋友们就不要看了!!! 原因:由于国

Ubuntu18.04下Python Web环境搭建

Python3的安装与卸载 pip, pip3的安装 Django2.x的安装 mysql的安装及命令行工具mycli的安装 virtualenv及virtualenvwrapper的安装 IPython的安装 openjdk的安装(PyCharm需要Java环境) 1. Python3的安装与卸载 首先需要注意的是:系统自带的python(2, 3)建议别删掉!!!系统对自带的python(2, 3)是有依赖的,删掉会崩,自己安装的可以删掉. 此处安装和卸载的都是笔者自己在官网下载的版本,笔者

ubuntu14.04下Qt开发环境搭建遇到的问题

在ubuntu14下安装了Qt的安装包:qt-opensource-linux-x86-5.5.1.run 以为 装完安装包后就能直接用了,结果总提示qmake未配置之类的错误,导致编译不了. 后来网上查查,发现还需要安装其它的一些开发环境: sudo apt-get install build-essential sudo apt-get install libgl1-mesa-dev 执行命令 没有下载, 由于更改了/etc/apt/sources.list,有些源不好使,后来又找源才成功安

Ubuntu16.04下的NetCore环境搭建

跨平台系列汇总:http://www.cnblogs.com/dunitian/p/4822808.html#linux VSCode安装:http://www.cnblogs.com/dunitian/p/6661644.html 搜狗拼音安装:http://www.cnblogs.com/dunitian/p/6662374.html 官方参考链接: 离线下载: https://www.microsoft.com/net/download/linux .NET Core 命令https://

Ubuntu 14.04下java开发环境的搭建--3--Tomcat及MySQL的安装

前面两篇文章,已经说明了JDK和Eclipse 的安装方法,下面简单说一下,Tomcat及MySQL的安装方法. Tomcat的安装. 在合适的地方解压apache-tomcat-6.0.39.tar.gz cd /opt/DevelopTools sudo mkdir server cd server sudo cp /home/home/下载/apache-tomcat-6.0.39.tar.gz /opt/DevelopTools/server sudo tar -zxvf apache-

Ubuntu14.04 Kylin下 GO语言环境搭建

sudo apt-get install golang gccgo安装 gcc -v 查看 --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,go,lto --enable-plugin 如果有一个go,说明你的gcc支持golang,那么就执行以下命令安装gcc-go(大家试一下这命令,我不敢确定): sudo apt-get install gccgo 设置系统环境变量 sudo gedit /etc/profile export

ubuntu13.04下ftp的简单搭建过程

本文主要介绍一下ubuntu13.04下ftp的简单搭建过程: 主要实现基本的功能: l 实现匿名用户访问 l 上传资料 l 实现对特定ip或ip段开放服务 l 等等... 下面介绍一下安装过程: Ubuntu自带的FTP服务器是vsftpd. 1.安装vsftpd 对于ubuntu下相对简单只需要一条 sudo apt-get install vsftpd 安装默认在/src下建立一个ftp目录. 应该可以看到一个空白内容的ftp 文件. 默认状态下是可以匿名下载,但不能写入或是上传 2.设置

Ubuntu14.04下配置Java环境

Java环境配置网上已经有很多资料了,不过大多不适合初学者,Linux菜鸟更是不知所措了...Ubuntu14.04下配置Java环境,具体方案如下: Oracle官网上下载"jdk-8-linux-i586.tar.gz"和"jre-8-linux-i586.tar.gz",放置于~/java目录下(主目录下新建个文件夹"java").或者从下述链接下载: http://yun.baidu.com/share/link?shareid=2693