在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)

1、安装Ubutun 14.04 Desktop LTS


  • 下载ISO文件,ubuntu-14.04.1-desktop-amd64.iso。
  • 在Virtualbox或者VmWare中新建虚拟机,将ISO文件设置为启动光盘。
  • 一路下一步,在需要输入用户的地方,输入用户名hduser,直到系统安装完成。
  • 重启虚拟机,使用hduser登录系统。设置root的密码,输入sudo passwd命令:
    • [email protected]:~$ sudo passwd
    • [sudo] password for hduser: (输入自己的密码)
    • 输入新的 UNIX 密码: (设置root密码)
    • 重新输入新的 UNIX 密码:(再次设置root密码)
    • passwd:已成功更新密码
  • 为了便于后面操作,在ubuntu内安装增强功能(virtualbox增强功能或者vmtools)
  • 添加用户到sudo组:
    • 命令:sudo adduser hduser sudo。如果用户已经在此组内会提示。
  • 添加组hadoop,并将hduser添加至组hadoop(groups命令可以查看用户所在的组):
    • su
    • addgroup hadoop
    • usermod -a -G hadoop hduser

2、配置ssh免密码登录


  • 安装ssh serversudo apt-get install openssh-server
  • cd ~/.ssh/                         # 若没有该目录,请先执行一次ssh localhost

    ssh-keygen -t rsa              # 会有提示,都按回车就可以

    cat id_rsa.pub >> authorized_keys  # 加入授权

  • 使用ssh localhost试试能否直接登录

3、配置JDK


  • 到Oracle官网下载JDK1.7,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。下载jdk-7u79-linux-x64.tar.gz。
  • 由于准备将JDK安装至/usr/lib/jvm下,所以先到/usr/lib/目录下建立jvm文件夹
    • cd /usr/lib/
    • sudo mkdir jvm
  • 解压下载的安装包至jvm文件夹(jdk1.7.0_79)
    • sudo tar zxvf /home/hduser/桌面/jdk-7u79-linux-x64.tar.gz -C /usr/lib/jvm 
  • 设置JAVA_HOME:
    • nano ~/.bashrc
    • 在第一行前面增加:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79,保存退出。
    • 使设置立即生效:source ~/.bashrc
  • 测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功:
    • echo $JAVA_HOME

4、安装Hadoop2.7.1


  • 下载文件,http://hadoop.apache.org/releases.html,选择2.7.1的binary格式下载。文件名为:hadoop-2.7.1.tar.gz。
  • 我们选择将 Hadoop 安装至/usr/local/
    • sudo tar -zxvf  /home/hduser/桌面/hadoop-2.7.1.tar.gz -C /usr/local
    • cd /usr/local/

      sudo mv ./hadoop-2.7.1/ ./hadoop              # 将文件夹名改为hadoop

      sudo chown -R hduser ./hadoop                   # 修改文件权限

      测试安装是否成功,如果出现命令帮助表示成功:/usr/local/hadoop/bin/hadoop

  • 配置环境变量
    • nano ~/.bashrc
    • 打开界面后,在之前配置的JAVA_HOME后面输入:
export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

    • 使设置立即生效:source ~/.bashrc
    • 检查是否安装成功,执行命令,如果出现命令帮助表示成功:hdfs

5、配置伪分布式


  • 切换至配置文件目录:  cd /usr/local/hadoop/etc/hadoop
  • 配置 core-site.xml,执行命令:nano core-site.xml。将文件中的<configuration></configuration>替换为:
    • <configuration>

      <property>

      <name>hadoop.tmp.dir</name>

      <value>file:/usr/local/hadoop/tmp</value>

      <description>Abase for other temporary directories.</description>

      </property>

      <property>

      <name>fs.defaultFS</name>

      <value>hdfs://localhost:9000</value>

      </property>

      </configuration>

  • 配置 hdfs-site.xml,执行命令:nano hdfs-site.xml,修改为:
    • <configuration>

      <property>

      <name>dfs.replication</name>

      <value>1</value>

      </property>

      <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/usr/local/hadoop/tmp/dfs/name</value>

      </property>

      <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/usr/local/hadoop/tmp/dfs/data</value>

      </property>

      </configuration>

关于Hadoop配置项的一点说明:

虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

  • 配置yarn-site.xml,执行命令:nano yarn-site.xml,修改为:
    • <configuration>

      <property>

      <name>yarn.nodemanager.aux-services</name>

      <value>mapreduce_shuffle</value>

      </property>

      <property>

      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

      <value>org.apache.hadoop.mapred.ShuffleHandler</value>

      </property>

      </configuration>

  • 配置mapred-site.xml
    • 从模板文件复制一个xml,执行命令:mv mapred-site.xml.template mapred-site.xml
    • 执行命令:nano mapred-site.xml
    • 将文件修改为
<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

  • 配置完成后,执行格式化:hdfs namenode -format。倒数第五行出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。
  • 启动hadoop所有的进程:

    start-all.sh

  • 查看各个进程是否正常启动,执行:jps。如果一切正常,将看到下列结果:

     

2583 DataNode

2970 ResourceManager

3461 Jps

3177 NodeManager

2361 NameNode

2840 SecondaryNam

  • 【注意】若执行jps后提示:

程序 ‘jps‘ 已包含在下列软件包中:

* default-jdk

* ecj

* gcj-4.6-jdk

* openjdk-6-jdk

* gcj-4.5-jdk

* openjdk-7-jdk

请尝试:sudo apt-get install <选定的软件包>

那么请执行下面命令,手动设置系统默认JDK:

sudo update-alternatives --install /usr/bin/jps jps /usr/lib/jvm/jdk1.7.0_79/bin/jps 1

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_79/bin/javac 300

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_79/bin/java 300

【参考文档】

1、Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04_厦大数据库实验室博客

http://dblab.xmu.edu.cn/blog/install-hadoop/

2、Installing Apache Hadoop 2.7.1 Pseudo Distributed Mode on Ubuntu Server 14.04.2 | Tech-AB | All Around Techniques and Technology

http://www.tech-ab.net/bigdata/hadoop/installing-apache-hadoop-2-7-1-pseudo-distributed-mode-on-ubuntu-server-14-04-2/

时间: 2024-11-05 22:53:39

在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)的相关文章

在Ubuntu 14.04.5 LTS上搭建WordPress环境

晚饭后闲着无聊,看着自己虚拟机里很久前安装的 Ubuntu 14.04.5 LTS ,突然想在上面搭建个网站,选来选去,决定使用WordPress环境,下面就来一步步搭建它. 1.下载WordPress程序包 wget https://cn.wordpress.org/wordpress-4.8.1-zh_CN.tar.gz 下载界面 2.安装Apache2.0 apt-get install apache2 由于我当前用户是root,如果是非root用户要在上面的命令中加上sudo 没有报错,

ubuntu 14.04.3 LTS 版本 通过 nginx + keepalived 配置 高可用 负载均衡集群演示

系统版本:ubuntu 14.04.3 LTS 服务器准备: lb01-> ifconfig 显示结果: 192.168.91.136 作用:安装keepalived 及 nginx lb02-> ifconfig 显示结果: 192.168.91.135 作用:安装keepalived 及 nginx web01-> ifconfig 显示结果: 192.168.91.134 作用:安装nginx 负责展示 index.html页面 web02-> ifconfig 显示结果:

Ubuntu 14.04.3 LTS 配置 DNS Server

我们目的是用一台局域网机器完成 192.168.1.113 <-->cloudshield.com的解析,指定A记录和CNAME; 0.关于Ubuntu 14.04.2 LTS 下载.安装.更新这里就直接跳过了; 1.下载安装工具 bind9 sudo apt-get install bind9 DNS 配置文件在/etc/bind 目录中.安装bind9后会生成如下三个配置文件: named.conf: named.conf.options: named.conf.local: 其中 nam

【DDD/CQRS/微服务架构案例】在Ubuntu 14.04.4 LTS中运行WeText项目的服务端

在<WeText项目:一个基于.NET实现的DDD.CQRS与微服务架构的演示案例>文章中,我介绍了自己用Visual Studio 2015(C# 6.0 with .NET Framework 4.6.1)开发的DDD/CQRS/微服务架构的案例项目:WeText.文章发出后反响很好,也很感谢大家的关注.在本文中我将介绍如何在Ubuntu 14.04.4 LTS中运行WeText项目的服务端. 为跨平台而生 从一开始的设计,我就把WeText的服务端跨平台纳入了实践目标,因此,所选择的框架

Ubuntu 14.04.4 LTS设置DNS

Ubuntu 14.04.4 LTS中DNS信息是由/etc/resolv.conf提供的,它是每次开机时,由/sbin/resolvconf生成的 /etc/resolv.conf是/run/resolvconf/resolv.conf的符号链接 #ls -al /etc/resolv.conf #lrwxrwxrwx 1 root root 29 Mar  4 18:57 /etc/resolv.conf -> ../run/resolvconf/resolv.conf 在文件/etc/re

linux设备驱动程序学习笔记一:在ubuntu 14.04.3 LTS下调试ldd的scull代码

操作系统版本 [email protected]:~/vm_disk_dpdk/study/drive/examples/scull# sudo lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description:    Ubuntu 14.04.3 LTSRelease:        14.04Codename:       trusty[email protected]:~/vm_disk_dpdk

Ubuntu Gnome 14.04.2 lts 折腾笔记

unity感觉不爽,于是来折腾gnome3 = = 首先去官网下载ubuntu gnome 14.04.2 lts的包(种子:http://cdimage.ubuntu.com/ubuntu-gnome/releases/14.04.2/release/ubuntu-gnome-14.04.2-desktop-amd64.iso.torrent) 然后是刻到U盘... 一开始我在ubuntu刻好像刻失败了QAQ,于是用win7的ultraiso来刻= = 分区的时候就是我原来怎么分就怎么分啦,窝

Ubuntu Server 14.04.2 LTS 配置 Nginx + uwsgi + Django

0.目的是在将小巧玲珑的Nginx和Django 通过uwsgi整合 1.预备环境 Python 2.7.8 @ ubuntu server 14.04.2版本 2.安装Django(这里使用的是pip,当然easy_install也是可以的) sudo pip install django==1.8 3.安装 Nginx sudo apt-get install nginx 4.安装 uwsgi sudo apt-get install uwsgi 5.创建个Django项目+app >>p

Ubuntu 14.04 64位上安装wps office软件(转http://m.blog.csdn.net/blog/yhc13429826359/24179933)

废话少说,只给出方法供各位参考!wps for Linux版本已经有两三年没有大的动作,当然其他平台,比如windows,Android,ios上的wps效果还是很赞的说. 下面是我成功安装的步骤: 1.去官网下载alpha版本,千万不要下载beta版本,否则安装上去但是无法打开: http://community.wps.cn/download/ 我选择安装成功的是a12p4_i386.deb 包,wps目前只有32位版本,没有64位版本. 2.安装ia-32libs安装包,目的就是在64位系