hadoop在ubuntu上的安装流程

第一部分 安装ssh服务

  1. 更新源列表

打开"终端窗口",输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。

  1. 安装openssh-server

在终端中输入: sudo apt-get install openssh-server

  1. 查看查看ssh服务是否启动

打开"终端窗口",输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动,如果没有启动,输入"sudo service ssh start"-->回车-->ssh服务就会启动。

没有找到ssh服务。

然后再输入上述命令,查询ssh服务。

第二部分,安装Hadoop

在linux打开火狐浏览器,输入地址http://hadoop.apache.org,打开hadoop的页面,在Getting Started的下面有个Downdoad链接,点击

选择2.9.0, 2.9.1或者2.8.3, 2.7.6几个2.X版本中的一个 binary链接,进入

点击第一个镜像链接,进入下载页面

3、进入下载安装包的目录

cd /home/wangbin/Downloads

4、执行解压命令

查看Downloads目录下的文件和目录,会看到多了一个目录hadoop-2.9.0,这是安装包解压后的目录

5、将hadoop-2.9.0目录转移到usr/local/hadoop

6、查看usr/local/hadoop目录下的结构

bin:Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop

etc:Hadoop配置文件所在目录,包括core-site.xml, hdfs-site.xml, mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件

include:对外提供的编程酷头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序

lib:该目录包含了Hadoop对外提供的的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息。

sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本

share:Hadoop各个模块编译后的jar包所在目录

7、设置Hadoop环境变量

  1. 编辑~/.bashrc

增加如下代码

让环境变量立刻生效

8、修改Hadoop配置设置文件

下面要配置Hadoop,包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml

8.1 编辑Hadoop-env.sh

将原文本文件中的JAVA_HOME的设置改成JDK真实的地址

8.2 设置core-site.xml

8.3 修改yarn-site.xml

8.4 修改mapred-site.xml

8.5 设置Hdfs-site.xml

用于设置HDFS分布式文件系统,

9、重启虚拟机

10、创建并格式化HDFS目录

10.1 创建NameNode数据存储目录

10.2 创建DataNode数据存储目录


10.3 将Hadoop目录的所有者更改

11、编辑网络配置文件设置固定IP

11.1 编辑interfaces网络配置文件

设置网卡eth0的地址

11.2设置hostname

设置主机名

11.3 设置hosts

设置节点的主机名和相对应的IP地址

11.4 增加masters文件

11.5 增加slaves文件



更多资深讲师相关课程资料、学习笔记请入群后向管理员免费获取,更有专业知识答疑解惑。入群即送价值499元在线课程一份。

QQ群号:560819979

敲门砖(验证信息):霸王别姬

原文地址:http://blog.51cto.com/13477015/2286770

时间: 2024-10-16 15:22:20

hadoop在ubuntu上的安装流程的相关文章

ubuntu 上已经安装libxml2还提示需要reinstall的解决方法

最近在ubuntu上配置环境,遇到一些奇怪的问题,已经安装了libxml2了,运行 apt-get install libxml2提示已经是最新版本了,可以在安装软件的时候还是提示没有libxml2,经过多方查询是缺少libxml2-dev包,其他的遇到了几个也类似这样解决了. 比如提示python.h不存在的情况下,也是 sudo apt-get install python-dev libz 的问题的时候, sudo apt-get install libz-dev bzip2 的问题稍有不

Ubuntu上snmp安装、配置、启动及远程测试完整过程

0.说明 关于一个完整的教程,还是那句话,国内的要么不完整,要么就太旧了,而且思路也不清晰,所以这里写一篇完整的给大家分享一下. 虽然对于Linux主机的监控可以通过执行特定的命令来完成,但是相比之后,通过snmp的方式来获取Linux主机的信息则会更轻松简单些,只不过在使用前的配置可能需要花多一点时间,不过这绝对值得!而且如果需要开发Linux主机的监控软件,那使用snmp肯定是首选,毕竟它可以获得的信息太多太多! 后面的内容就来分享一下在Ubuntu上安装.配置.启动snmp以及进行远程测试

ubuntu上的安装.netcore2.1

.net core 在ubuntu上安装比较容易,依次执行正面语句即可 sudo apt-get install curl curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg sudo mv microsoft.gpg /etc/apt/trusted.gpg.d/microsoft.gpg sudo sh -c 'echo "deb [arch=amd64] http

Ubuntu 上如何安装Docker

Docker 是一个开源项目,为开发者和系统管理员提供了一个开放的平台,在任何地方通过打包和运行应用程序作为一个轻量级的容器.Docker 在软件容器内自动部署应用程序.Docker 最开始由 Solomon Hykes 作为 dotCloud 一个内部开发项目,一个企业级的 PaaS (platform as a service 服务平台),该软件现在由 Docker 社区和 Docker 公司维护,更多 Docker 信息你可以访问:https://docs.docker.com/. 我们可

在Ubuntu上单机安装Hadoop

最近大数据比较火,所以也想学习一下,所以在虚拟机安装Ubuntu Server,然后安装Hadoop. 以下是安装步骤: 1. 安装Java 如果是新机器,默认没有安装java,运行java –version命名,看是否可以查看Java版本,如果未安装Java,这运行以下命名: # Update the source list $ sudo apt-get update # The OpenJDK project is the default version of Java # that is

在Windows7和Ubuntu上编译安装MICO

MICO是CORBA标准的一个实现.开源并且被广泛使用. 首先的首先,看用户手册,在页面"http://www.mico.org/docu.html"找到一本教材"MICO: An Open Source CORBA Implementation",去Google搜一下,有PDF下载 然后,选择一个正确的下载包 打开www.mico.org,点击"download" 可以看到下图所示 这里不要去选择第一项"Complete source

Linux Ubuntu上手动安装.NET Core SDK

今天重装了一台Linux服务器的Ubuntu 14.04系统,需要重新安装.NET Core 1.0. 按照官网上的文档用apt-get命令进行安装: sudo sh -c 'echo "deb [arch=amd64] https://apt-mo.trafficmanager.net/repos/dotnet-release/ trusty main" > /etc/apt/sources.list.d/dotnetdev.list' sudo apt-key adv --k

nginx在centos & ubuntu上的安装

安装Centos 添加当前账号加入sudoers,具备sudo功能 安装编辑器vim Yum install vim Su root Cd cp /etc/sudoers /etc/sudoers[date] Chmod 777 /etc/sudoers 编辑文本 Vim /etc/sudoers 添加 [当前账号]    All=(ALL)  ALL :wq 保存 Chmod 420 /etc/sudoers 安装nginx和stream模块 http://nginx.com/products

MySQL5.7在Ubuntu上的安装、配置与使用

前言 服务器上安装东西一直是很让我头疼的事情,缘由:Linux基础不好.. 安装MySQL踩了很多坑,绕了很多弯路,这次踩得是tar包安装的坑... 当然,与tar包无关... 环境: Ubuntu 14.04.5 LTS (GNU/Linux 4.2.0-27-generic x86_64) 待安装:MySQL5.7版本 一.安装 1.下载mysql-apt的配置包,并安装 wget https://dev.mysql.com/get/mysql-apt-config_0.8.1-1_all.