ubantu中搭建Hadoop环境20180908(全)

一. Ubuntu Java8 的安装

  添加ppa

    sudo add-apt-repository ppa:webupd8team/java

    sudo apt-get update

  安装oracle-java-installer

    sudo apt-get install oracle-java8-installer

  设置系统默认jdk

    sudo update-java-alternatives -s java-8-oracle

java安装测试

    java -version  

    javac -version

二、配置SSH

  1. 安装ssh服务

  进入shell命令,输入如下命令,查看是否已经安装好ssh服务,若没有,则使用如下命令进行安装:

    sudo apt-get install ssh openssh-server

  安装过程还是比较轻松加愉快的。

  2. 使用ssh进行无密码验证登录

  1.创建ssh-key,这里我们采用rsa方式,使用如下命令:

    ssh-keygen -t rsa -P ""

  2.出现一个图形,出现的图形就是密码,不用管它

    cat ~/.ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)

  3.然后即可无密码验证登录了,如下:

    ssh localhost

三、Hadoop的安装与配置

  1. 下载Hadoop安装包

  下载Hadoop安装也有两种方式

    1.直接上官网进行下载,http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

    2.使用shell进行下载,命令如下:

      wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

  貌似第二种的方法要快点,经过漫长的等待,终于下载完成。

  2. 解压缩Hadoop安装包

  使用如下命令解压缩Hadoop安装包

    tar -zxvf hadoop-2.7.7.tar.gz

  解压缩完成后出现hadoop2.7.7的文件夹

  3. 配置Hadoop中相应的文件

  需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop2.7.7/etc/hadoop下面,具体需要的配置如下:

  1.core-site.xml 配置如下:    

    <configuration>

      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/zjp/hadoop-2.7.7/tmp</value>
        <description>Abase for other temporary directories.</description>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>

    </configuration>

  其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

  2.mapred-site.xml.template配置如下:    

    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
      </property>
    </configuration>

  3.hdfs-site.xml配置如下:  

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
         </property>
         <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/zjp/hadoop-2.7.7/tmp/dfs/name</value>
         </property>
       <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/zjp/hadoop-2.7.7/tmp/dfs/data</value>
       </property>
</configuration>

  其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置,最好在hadoop.tmp.dir的目录下面。

  补充,如果运行Hadoop的时候发现找不到jdk,可以直接将jdk的路径放置在hadoop.env.sh里面,具体如下:

    export JAVA_HOME="/usr/lib/jvm/java-8-oracle"

4. 运行Hadoop(截图为2.7.1版本的hadoop仅供参考)

  在配置完成后,运行hadoop。

  1.初始化HDFS系统

    在hadop2.7.7目录下使用如下命令:

    bin/hdfs namenode -format

    截图如下:

     

    过程需要进行ssh验证,之前已经登录了,所以初始化过程之间键入y即可。

    成功的截图如下:

    

    表示已经初始化完成。

  2.开启NameNodeDataNode守护进程

    使用如下命令开启:

    sbin/start-dfs.sh,成功的截图如下:

    

  3.查看进程信息

    使用如下命令查看进程信息

    jps,截图如下:

    

    表示数据DataNode和NameNode都已经开启

  4.查看Web UI

    在浏览器中输入http://localhost:50070,即可查看相关信息,截图如下:

    

  至此,hadoop的环境就已经搭建好了。

四. 备注:

ubantu中查看java的安装路径

有时候,使用apt-get install 安装了某个软件之后,却不知道这个软件的安装路径在哪里。 那怎么样去找出这个软件的安装路径呢?

1. 首先 java -version , 输出信息显示确实已经安装了java

2. whereis java , 输出信息看出路径在哪里

3. ls -l /usr/bin/java 看看这是否是个软连接,找出这个软连接指向的路径即可

发现输出的信息,显示还是个软连接,继续找出, ls -l /etc/alternatives/java

发现输出的信息,显示还是个软连接,继续找出,ls  /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

这个就是实实在在的文件路径了,到此,就找到了java的路径地址。

----------------------------------------------------------------------------------

参考:http://www.blogjava.net/paulwong/archive/2014/05/04/413199.html

有时候不知道java安装在哪里了 通过whereis java命令不能知道java真是的安装路径 
可以通过 update-alternatives --config java 命令察看

[email protected] :~$ update-alternatives --config java
There is only one alternative in link group java: /usr/lib/jvm/java-7-oracle/jre/bin/java
Nothing to configure.
[email protected] :~$

或者这种方法也可以:
进入到相应的目录:cd /usr/bin

查看java链接到了哪里:ls -l java

原文地址:https://www.cnblogs.com/jingpeng77/p/9610641.html

时间: 2024-10-10 07:07:27

ubantu中搭建Hadoop环境20180908(全)的相关文章

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势.今天花时间在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.

基于CentOS与VmwareStation10搭建hadoop环境

基于CentOS与VmwareStation10搭建hadoop环境     目  录 1.         概述.... 1 1.1.     软件准备.... 1 1.2.     硬件准备.... 1 2.         安装与配置虚拟机.... 2 2.1.     创建虚拟机.... 2 2.1.1.     创建虚拟机节点1.. 2 2.1.2.     创建虚拟机节点2.. 4 2.1.3.     创建虚拟机节点3.. 4 2.2.     安装操作系统CentOS6.0..

linux搭建hadoop环境

linux搭建hadoop环境 1.安装JDK (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK sudo apt-get install sun-java6-jdk (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容 export JAVA_HOME = (Java安装目录) export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH" export PATH = "$JAVA_HOME

H01_Linux系统中搭建Hadoop和Spark集群

前言 1.操作系统为Centos7 2.所有操作都是使用root用户去操作.也可以使用其他用户,非root的话要注意操作的权限问题. 3.安装的Hadoop版本是2.6.5,Spark版本是2.2.0,Scala的版本是2.11.8.因为我安装的Spark要同Hadoop搭配工作,所以需要注意他们之间的版本依赖关系.可以从spark官网上查询到spark运行需要的环境,如下: 4.需要的安装包: 安装包下载地址: JDK: http://www.oracle.com/technetwork/ja

Docker搭建Hadoop环境

文章目录 Docker搭建Hadoop环境 Docker的安装与使用 拉取镜像 克隆配置脚本 创建网桥 执行脚本 Docker命令补充 更换镜像源 安装vim 启动Hadoop 测试Word Count 查看Web管理页面 Docker搭建Hadoop环境 Hadoop集群环境配置起来相当繁琐,并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置.因此在一台机器上配置Hadoop分布式集群时通常采用虚拟机来模拟多台设备,但虚拟机较为占用系统资源,开多个虚拟机(模拟Hadoop

CentOS6.5x64搭建Hadoop环境

首先总结一下之所以被搭建大数据环境支配的原因:浮躁. 总是坐不住,总是嫌视频太长,总是感觉命令太杂太多,所以就不愿去面对. 在抖音上听到一句话:“为什么人们不愿吃学习的苦而能吃社会的苦? 因为学习的苦需要主动去吃,所以没人愿意,到了社会上,社会的苦不得不吃.” 有些时候,有些坎坷,我们必须要亲身经历,就算你逃避,也终有一天会面对它.就像我,觉得教科书文字枯燥,不如看视频跟着敲直接.但是绕了一圈,终究我还是回归到了教科书. 我发现白彦峰老师编的这本<大数据技术基础实验教程>真是一本神书!只要,你

Hadoop之—— Linux搭建hadoop环境(简化篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45771619 1.安装JDK(此处以安装JDK1.6为例,具体安装JDK的版本不限) (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK      sudo apt-get install sun-java6-jdk (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容      export JAVA_HOME = (Java安装

docker中搭建jenkins环境

想在docker中搭建一个jenkins环境.开始的时候我想在先pull centos,然后在里面自己搭建环境,搭建后的环境可以运行,但是不知道挂载哪的数据,这也是我不熟悉jenkins的原因. 同事告诉我一个新的思路https://registry.hub.docker.com/_/jenkins/在官网中,寻找镜像,查看information(原来我也知道这个方法,但是由于都是英语,不想看,但看起来,发现没有想象中的那么枯燥). docker pull jenkins 下载镜像 docker