虚拟机Ubutnu安装hadoop

虚拟机及Ubuntu系统的安装地址

VMWare下载地址:http://www.itopdog.cn/utilities-operating-systems/virtual-machine/vmware-workstation.html

  ubuntu 下载:http://mirrors.163.com/ubuntu-releases/或者http://mirrors.sohu.com/ubuntu-releases/

系统安装完成之后,就开始准备hadoop环境了,具体需要的有(默认在Ubuntu中能链接网络): vim编辑器、java 环境、hadoop环境。

1、刚安装完成系统后,root用户默认是被锁定的,需要初始化root用户,否则在接下来的安装过程中有些操作没有权限

sudo passwd    Password: <--- 输入安装时那个用户的密码
    Enter new UNIX password:  <--- 新的Root用户密码
    Retype new UNIX password:  <--- 重复新的Root用户密码
    passwd:已成功更新密码

2、安装vim编辑器,vim编辑器系统可能会自带,先检查系统是否已安装,否则安装VIM

sudo apt-get install vim

3、安装JAVA环境,须选择jdk 1.6版本以上环境

在命令行中输入javac,系统会自动提示有哪些版本可供安装。

sudo apt-get install java-7-openjdk

等待系统自动下载安装,安装完成后,输入javac,有java的相关信息提示后,表示安装成功,但此时还需要配置java的环境变量(默认安装目录:/usr/lib/jvm):

~$ vi /etc/profile

打开配置文件后,在末尾处添加下述环境设置

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$PATH

可选操作:讲安装的jdk设置为系统默认的jdk

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config javasudo update-alternatives --config javac

输入~$ source /etc/profile 使更新的配置文件生效,输入javac -version进行验证.

4、安装hadoop

创建下hadoop目录:mkdir /opt/hadoop

下载hadoop安装文件包: $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解压hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz

进入/opt/hadoop/hadoop-1.2.1/conf,在该目录下有hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件需要进行配置

vi hadoop-env.sh  设置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk

vi /etc/profile  配置hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.0
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH

vi core-site.xml

<configuration>     
  <property>              
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
  </property>
</configuration>

?

vi hdfs-site.xml

<configuration>    
 <property>  
  <name>dfs.replication</name>  
  <value>1</value>    
 </property>
</configuration>

vi mapred-site.xml

<configuration>    
 <property>  
  <name>mapred.job.tracker</name>  
  <value>localhost:9001</value>    
 </property>
</configuration>

完成之后输入命令

安装sudo apt-get install ssh

  ssh localhost

  如果没有提示错误则安装成功(默认的.ssh文件夹在  /home/用户名/   这个路径下,它是隐藏文件,快捷键Ctrl+H可以显示隐藏文件),然后需要为ssh设置免密码登录和设置权限,依次输入下面几条命令:

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

  完成之后再输入ssh localhost如果不需要输入密码的话则配置ssh免密码登录成功。

进入Bin目录:

cd /opt/hadoop/hadoop-1.2.1/bin
bin/hadoop namenode -format
start-all.sh

上述操作完成后

输入jps查看进程,是否包含下述进程,如包含则安装成功

2184 SecondaryNameNode
2407 TaskTracker
2055 DataNode
2267 JobTracker
1933 NameNode
2468 Jps

输入:stop-all.sh 停止hadoop

时间: 2024-08-07 21:20:08

虚拟机Ubutnu安装hadoop的相关文章

VMware 虚拟机安装 hadoop 2.6.0 完全分布式集群

最近连着搭了两次hadoop的集群,搭建的时候也碰到了一些问题,因为之前对linux 不熟悉,经常遇到各种问题和命令忘记写,幸亏有度娘谷哥,这里做一个记录 下次使用的时候用的上 计算机的配置 计算机: G3440 3.3G 双核 8G内存 虚拟机: vmware workstation 12 pro 系统: centos6.5 节点: 192.168.133.33 master.hadoop 192.168.1.151 slave1.hadoop 192.168.1.151 slave2.had

1.如何在虚拟机ubuntu上安装hadoop多节点分布式集群

要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了. 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程.由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中,思想是一样的.也如果你有充裕的资金,自己不

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1(集群分布式模式)

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

一篇文章教你轻松安装hadoop(第2篇)

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装.     第三章 安装hadoop环境 由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境. 整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍. 安装Hadoop分布式环境: 1) 下载H

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

安装hadoop 2.2.0

安装环境为 CentOS 64位系统, 大概分下面几个步奏, 0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏, 0. 安装jdk 下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录 1. 配置SSH hadoop是master/slaver 结构,配置SSH使得从maste

伪分布模式安装hadoop

准备工具: 虚拟机:VMware Linux系统:CentOS hadoop-1.1.2.tar.gz jdk-7u75-linux-x64.gz CentOS的网络配置 1.设置主机中VMware Network Adapter VMnet1的IPv4协议如下: 2.修改虚拟机虚拟网络的VMnet1的ip 3.CentOS中网络配置: 3.重启网卡: net service restart 伪分布模式安装步骤 1.1 设置ip地址 执行命令 service network restart 验证

在windows下安装hadoop

本博文完全引用于http://blog.csdn.net/nazarite_wen/article/details/34409923.防止引用博文被删除,重新copy一遍. Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处是使用比较方便,安装过程也简单.在这里咱们就来看看第二种方案:如何再Windows下快速安装一个Hadoop环境,并结合Ecl

centos安装hadoop(伪分布式)

在本机上装的CentOS 5.5 虚拟机, 软件准备:jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gz ssh检查配置 Linux代码   [[email protected] ~]# ssh-keygen -t  rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root