ubuntu 下安装伪分布式 hadoop

安装准备:

(1)hadoop安装包:hadoop-1.2.1.tar.gz

(2)jdk安装包:jdk-7u60-linux-i586.gz

(3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包。

安装:

(1)能够选择一个新建用户安装 也能够使用眼下账户。

(2)规定 所属用户组:

(3) 给予用户hadoop权限:

sudo vim /etc/sudoers 改动加入:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

说到vim ubuntu本身自带的是vim tiny 不可用 须要使用的是vim full版本号 须要下载安装:

sudo apt-get  remove vim-common

sudo apt-get install vim

vim 本身的一些配置可依据自己的喜好进行设置。

(4) 安装 jdk:

依据自己须要选择安装路径、

sudo mkdir /usr/java

tar -zxvf jdk-7u60-linux-i586.gz

mv jdk-1.7.0 jdk(改动名字 能够不设置(最好))

删除安装包:

(5)  配置jdk环境:

sudo vim /etc/profile 加入

更新一下(必须):source /etc/profile

測试一下:

jdk 完毕。

(6) ssh 免password:

一般ssh-client 包括在ubuntu系统中,可是ssh-server并没有 安装,能够通过 ssh ip 測试下;

安装ssh-server: sudo apt-get install ssh

安装之后进行操作:



watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

生成:

ssh 能够登录。

(7) 安装hadoop

能够先创建一个hadoop到目录:

sudo mkdir /usr/hadoop

cd /usr/hadoop/

sudo tar -zxvf hadoop-1.2.1.tar.gz

sudo mv hadoop-1.2.1 hadoop

sudo chown -R hadoop:hadoop hadoop 将目录hadoop 读权限赋予hadoop用户

sudo rm -rf hadoop-1.2.1.tar.gz

安装之后须要进行配置:

配置 /etc/profile 加入:

sudo vim /etc/profile

配置hadoop-env.sh文件:

sudo vim /usr/hadoop/conf/hadoop-env.sh:



watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

建立一个目录:用于配置hadoop.tmp.dir參数:

sudo mkdir /usr/hadoop/tmp

配置核心文件:

core-site.xml:

hdfs-site.xml:

mapred-site.xml:

启动:因为前面配置 输入:

格式化节点:

hadoop namenode -format

启动:start-all.sh

jps 查看

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

停止:stop-all.sh

(8)安装eclipse

同上 先创建一个目录 解压安装....

进去启动eclipse 遇到个小问题:

eclipse找不到jdk 或是jre

解决:

cd /home/hadoop/eclipse (安装eclipse)

sudo ln -sf $JRE_HOME jre

就是这个:

进行eclipse 配置hadoop 将相关连的插件 拷贝到 eclipse下到plugins目录里面:

启动 eclipse:

window->perferences:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

hadoop的安装文件夹。

设置:

右键以下的空白区域:

出现:并配置



watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

点开左側小象:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGRfMTIy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

eclipse配置完毕。

以后能够在eclipse书写作业  然后到终端进行运行。

配置遇到的问题:

namenode datanode 没有起来:

解决例如以下:

(1)删除 /usr/hadoop/tmp

(2)在创建 : sudo mkdir /usr/hadoop/tmp

(3)删除 /tmp目录下 全部以hadoop开头的文件:

sudo rm -rf /tmp/hadoop*

(4)又一次格式化:

hadoop namenode -format

(5)启动

start-all.sh

时间: 2024-10-26 09:34:15

ubuntu 下安装伪分布式 hadoop的相关文章

Centos6下安装伪分布式Hadoop集群

Centos6下安装伪分布式hadoop集群,选取的hadoop版本是apache下的hadoop2.7.1,在一台linux服务器上安装hadoop后,同时拥有namenode,datanode和secondarynamenode等节点的功能,下面简单安装下. 前置准备 主要涉及防火墙关闭.jdk安装.主机名修改.ip映射.免密登录设置等. 关闭防火墙 有临时和永久,这里使用永久关闭的方式. # 临时关闭 [[email protected] ~]# service iptables stop

Ubuntu 13.10 下安装伪分布式hbase 0.99.0

HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 1 环境配置 2 安装说明 1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变量 sudo nano /etc/profile export JAVA_HOME=/usr/dev/jdk1.7.0_51 export HADOOP_HOME=/home/lcc/software/

[转]CentOS下安装伪分布式Hadoop-1.2.1

From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [[email protected] hadoop]# lsb_release -a   LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch  

Ubuntu 14.10 下安装伪分布式hive-0.14.0

本地独立模式,MySQL作为元数据库 1 安装环境准备 1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.2 安装hadoop,参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.3 安装MySQL数据库,参考http://www.cnblogs.com/liuchangchun/p/4099003.html 1.4 新建hi

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

mac下安装伪分布hadoop2.6.0和hbase1.0.1.1

1.安装JDK,我安装的是java1.7 2.创建管理员账户 3.安装ssh服务(如果已有跳过此步) 4.ssh无密码验证登陆 以上过程略,可参考ubuntu下安装hadoop一文. 5.下载并解压hadoop2.6.0安装包 tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop 6.配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml. hadoop-env.sh中加

Redis(三)-Ubuntu下安装

Ubuntu 下安装 在 Ubuntu 系统安装 Redi 可以使用以下命令: $sudo apt-get update $sudo apt-get install redis-server 启动 Redis $ redis-server 查看 redis 是否启动? $ redis-cli 以上命令将打开以下终端: redis 127.0.0.1:6379> 127.0.0.1 是本机 IP ,6379 是 redis 服务端口.现在我们输入 PING 命令. redis 127.0.0.1:

Ubuntu下安装JDK以及相关配置

1.查看系统位数,输入以下命令即可 getconf LONG_BIT 2.下载对应的JDK文件,我这里下载的是jdk-8u60-linux-64.tar.gz 3.创建目录作为JDK的安装目录,这里选择安装位置为:/usr/java/ sudo mkdir /usr/java 4.解压文件带/usr/java/目录下,文件下载的位置是在下载目录下的 cd 下载sudo tar zxvf jdk-8u60-linux-x64.tar.gz -C /usr/java/ 5.进入到/usr/java/

ubuntu下安装jdk

ubuntu下安装jdk 只需要三步: sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer 下完检查一下:java -version   查看jdk的版本