Linux下的Hadoop安装(本地模式)



系统为CentOS 6.9,Hadoop版本2.8.3,虚拟机VMware Workstation

主要介绍Linux虚拟机安装、环境配置和Hadoop本地模式的安装。伪分布式和Windows下的安装将另作补充。

网络上关于Hadoop安装的教程非常多,这里主要是归纳出安装过程的简要步骤和可能碰到的问题。

  • Linux环境安装
  • NAT
  • Linux
  • 设置网络
  • HOST
  • 其他环境设置
  • Java环境配置
  • Hadoop本地模式安装

Linux环境安装

  • NAT
  • Linux
  • 设置网络
  • HOST
  • 其他环境设置

NAT

  • 取消DHCP服务;
  • 设置子网网段,例如我自己用的是默认的192.168.126网段,之后各虚拟机IP就设为该网段;
  • 在NAT设置中修改DNS地址,指定为自己所处网络的DNS,网关地址默认为当前网段的.2地址。

Linux

在VMware上安装Linux并不困难,所以跳过虚拟机设置,直接列出安装过程中可能碰到的几个问题。

  • 我所安装的CentOS 6.9在安装开始时会出现media test界面。可能因为用的不是光盘,所以选择OK会出错;

  • 期间会碰到两次关于存储空间,可以直接选择全部忽略和全部占用;

  • 最后一步,Desktop


设置网络

由于之前关闭了DHCP自动分配IP的功能,所以需要自己进行网络参数的设置。

  • 右键网络,修改IPV4设置,地址只要是126就行;
  • 修改完成后,点击网络的eth0,就能成功连接了,这时可以ping它一ping。


HOST

  • 修改hostname以便识别,打开/etc/sysconfig/network,添加hostname(要先加NETWORKING=yes);
  • 打开/etc/hosts,添加IP地址和新设置的hostname。

其他环境设置

由于是为了学习,其实可以直接把Linux的防火墙和selinux关掉。

  • 防火墙:chkconfig iptables off
  • selinux:/etc/sysconfig/selinux,disabled一下

Java环境配置

  • CentOS一般自带OpenJDK,最好还是用Oracle的JDK,OpenJDK卸掉卸掉(这个或许我会多写一篇);
  • 安装:

    官网下载想要的版本(确认可与所用的Hadoop向配),然后选个目录解压(操作系统课自行学习)

  • 设置环境变量:

    很多教程会写到要添加classpath,但经我个人测试是不需要的,而且翻了Oracle的说明也没讲到Linux要配置这个。

    不过,有看到一些人说没添加会在一些情况下出错,所以。。等出错了就知道了。但windows下的确是不需要的。

    具体步骤为:修改配置文件/etc/profile,加上

export JAVA _ HOME="JDK地址"
export PATH=$JAVA_HOME/bin:$PATH

然后执行source /etc/profile


Hadoop本地模式安装

下载hadoop无需任何设置,默认就为本地模式。

  • 下载所需版本的hadoop,解压;
  • 确认JAVA_HOME环境变量配置正确:echo;
  • 可以试着运行一个测试文件:
    #test.input
    hadoop mapreduce hive
    hbase spark storm
    sqoop hadoop hive
    spark hadoop

    然后输入

    bin中hadoop的目录 jar share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount 输入文件目录 输出文件名

    在job ID中看到local字样即为本地模式

    在输出文件中看到SUCCESS字样即为运行成功



以上只是本地模式的安装,因而相当简略,伪分布式、完全分布和HA安装要麻烦得多,许多细节会在之后再详细描述。

原文地址:https://www.cnblogs.com/S031602240/p/8965589.html

时间: 2024-09-30 18:03:18

Linux下的Hadoop安装(本地模式)的相关文章

Linux下ORACLE客户端安装详解

1.首先去oracle官网下载以下安装包(http://www.oracle.com/technetwork/topics/linuxsoft-082809.html) instantclient-basic-linux.x64-11.2.0.3.0.zip instantclient-odbc-linux-11.2.0.3.0.zip instantclient-sdk-linux.x64-11.2.0.3.0.zip instantclient-sqlplus-linux.x64-11.2.

linux 下手动编译安装无线网卡驱动

//先参照 <本地yum源安装GCC >安装好gcc hp的笔记本上安装了CentOS6.3,没有安装无线网卡驱动,安装这个驱动,在Google上找了好多资料,最后终于解决了这个问题.在这里做点记录,希望也能帮到别人. 我的机子是32位,CentOS的内核版本是2.6.32-279.19.1.el6.i686,下载的无线网卡驱动是hybrid-portsrc_x86_32-v5_100_82_112.tar.gz 下面是具体的步骤 一:确定无线网卡的型号,驱动下载 第一步要确定机子的无线网卡型

Linux下nginx编译安装教程和编译参数详解

这篇文章主要介绍了Linux下nginx编译安装教程和编译参数详解,需要的朋友可以参考下 一.必要软件准备1.安装pcre 为了支持rewrite功能,我们需要安装pcre 复制代码代码如下: # yum install pcre* //如过你已经装了,请跳过这一步 2.安装openssl 需要ssl的支持,如果不需要ssl支持,请跳过这一步 复制代码代码如下: # yum install openssl* 3.gzip 类库安装 复制代码代码如下: yum install zlib zlib-

Linux下Zabbix_Server的安装-源码安装

Centos下Zabbix_Server/agent/proxy的安装配置 --------源码编译 完整版请查看附件 一.环境说明 a)软件环境 由于是源码安装,官方的zabbix源码包内已经包含了Server,Proxy, Agent, GUI所有组件和必要的执行脚本,截至本文正式版本限于2.2.3: LAMP环境 n操作系统使用Centos6.5 X86_64 最小化安装,并yum update到最新状态,内核版本为2.6.32-431.17.1.el6.x86_64: nMysql 使用

Linux下Jdk的安装和jdk环境变量的设置

我们在Linux下安装系统软件的时候,经常遇到一些系统环境变量配置的问题.什么是环境变量?如何定制环境变量?我将在下面做一些介绍. 一.什么是环境变量?Linux是一个多用户的操作系统.多用户意味着每个用户登录系统后,都有自己专用的运行环境.而这个环境是由一组变量所定义,这组变量被称为环境变量.用户可以对自己的环境变量进行修改以达到对环境的要求. 二.定制环境变量 环境变量是和Shell紧密相关的,它是通过Shell命令来设置的.环境变量又可以被所有当前用户所运行的程序所使用.对于bash来说,

Linux下批量部署安装--PXE

Linux操作系统如何安装? 以及如何自动(无人值守)安装? 以及如何批量自动安装? 下面我们会一一的来介绍. 以下操作以CentOS6系列为例,以 VMware 作为虚拟机管理器进行实验. 一.安装系统 1.个人 pc 如何安装一个Linux操作系统使用呢? Linux操作系统的安装过程大致如下: 以本地镜像为例,POST加点自检,加载镜像文件中的内核和临时根文件系统,最后会启动anaconda的安装程序,此程序是交互式的,帮助用户来选择安装前的一些操作,完成这一步操作之后,进入真正的安装包软

Linux下LAMP的安装

本文主要介绍了LAMP的安装. Linux+Apache+Mysql/MariaDB+Perl/PHP/Python一组常用来搭建动态网站或者服务器的开源软件,本身都是各自独立的程序,但是因为常被放在一起使用,拥有了越来越高的兼容度,共同组成了一个强大的Web应用程序平台 本文所用环境和安装包为CentOS6.5+httpd 2.4.6+mysql-5.5.33+php-5.4.19+xcache-3.0.3. 一.编译安装apache 1.解决依赖关系 httpd-2.4.6需要较新版本的ap

ORACLE 11G在Linux下的标准安装方法(下)

一.相关文件夹 ORACLE_BASE是oracle的根目录,ORACLE_HOME是oracle产品的目录.ORACLE_BASE下是admin和product. ORACLE_HOME下则是ORACLE的命令.连接库.安装助手.l监听等等一系列的东西.ORACLE_HOME比ORACLE_BASE目录要更深一些.也就是说:ORACLE_HOME=$ORACLE_BASE/product/oracle_version. RACLE_SID这个环境变量全称"Oracle System Ident

Linux下使用VirtualBox安装Windows系统

(文档比较长,只是写的详细,实际操作起来相对简单.) 由于一些特殊原因,我们并不能完全抛下Windows而使用Linux.VirtualBox 是一款虚拟机软件,支持多系统.在Linux下安装 VirtualBox 后,我们就可以安装Windows系统,并使用Windows下的软件了. 1.下载首先需要下载 VirtualBox,下载地址:http://www.virtualbox.org/wiki/Downloads点击 VirtualBox 3.2.8 for Linux hosts,跳转到