Hadoop Linux安装

Hadoop Linux安装

步骤流程
	1.硬件准备
	2.软件准备(推荐CDH)
	3.将Hadoop安装包分发到各个节点下
	4.安装JDK
	5.修改/etc/hosts配置文件
	6.设置SSH免密码登陆
	7.修改配置文件
	8.启动服务
	9.验证 

1.下载软件
	1.1 apache版本
	下载链接:http://www.apache.org/
	1.2 CDH
	下载链接:http://www.cloudera.com/
2.安装JDK、解压Hadoop安装包并分发到各个节点
3.修改/etc/hosts文件
4.设置SSH免密码登陆
5.目录介绍
	bin————Hadoop最基本的管理脚本和使用脚本所在目录
	etc————Hadoop配置文件所在目录
	include————对外提供的编程库头文件
	lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
	libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
	sbin————Hadoop各个模块编译后的jar包所在目录
6.配置文件(修改后使用scp命令分发到各个节点)
	1.env.sh
	2.mapred-site.xml
	3.core-site.xml
	4.yarn-site.xml
	5.hdfs-site.xml
	6.slave
7.启动服务
	1.格式化HDFS
		bin/hadoop namenode -format
	2.启动HDFS
		start-dfs.sh
	3.启动YARN
		start-yarn.sh
8.验证
	jps(显示五个服务进程)或者web访问
	http://主机名:端口(其中端口在xml配置文件中配置)
9.遇到问题
	1.虚拟机重启后Hadoop无法启动成功
		解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除

  

时间: 2024-10-24 14:48:59

Hadoop Linux安装的相关文章

[Linux] 安装JDK和Maven及hadoop相关环境

紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm     2. 安装,使用rz工具上传下载下来的jdk,解压至/usr/local

Hadoop的安装

原文:http://www.linuxidc.com/Linux/2016-07/133508.htm 1.下载Hadoop安装包,笔者学习使用的是Hadoop1.2.1.提供一下下载地址吧: http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz. 2.创建/usr/local目录,进入此目录,下载安装包后解压,解压后出出现一个hadoop-1.2.1的文件夹,修改目录名为hadoop,进入该文件夹,目录结构

hadoop配置安装

必备软件 这里以Hadoop 1.1.2为学习的版本. jdk-6u24-linux-i586.bin hadoop-1.1.2.tar hbase-0.94.7-security.tar hive-0.9.0.tar sqoop-1.4.3.bin__hadoop-1.0.0.tar zookeeper-3.4.5.tar 2. 安装步骤 linux系统环境配置,jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/

Hadoop单机版安装

前置条件: 1.ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) 2.jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 ?) 3.下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ ) ? ? ? ? 安装hadoop 1.首先将hadoop0.21.0.

Hadoop学习之第一章节:Hadoop配置安装

一.配置虚拟机三台 1.网络配置 虚拟化软件: Vmware Workstations  10.7z Linux系统:  Centos 6.5-x86_64 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 集群机器详细信息 1.虚拟化的网络配置方式:桥接网络 2.IP地址设置为固定IP地址 3.主机名配置,需要修改一下地方 (1)配置vi  /etc/hostname (2)配置vi /etc/sysconfig/network (3)配置vi /etc/hosts 4.关闭防火

Hadoop Hive安装,配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述. 1.下载Hive安装包 下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压: tar -zxvf apache-hive-1.0.1-bin.tar.gz 在apache的下载列表

01 Linux安装(转)

1.准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本.每个版本的 CentOS 都会获得七年的支持(通过安全更新方式).新版本的 CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件.这样,建立一个安全.低维护.稳定.高预测性.高重复性的 Linux 环境. CentOS(Community Enterprise Operati

Hadoop Yarn 安装

环境:Linux, 8G 内存,60G 硬盘 , Hadoop 2.2.0 为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤. 事前准备 1. 机器准备 三台主机,#后面说明了用途 192.168.1.1   #hadoop1 : master 192.168.1.2   #hadoop2 : datanode1 192.168.1.3   #hadoop3:  datanode2 在hadoop1上, vi /etc/sysconf

hadoop单机版安装及基本功能演示

本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载jdk,我下载的版本为jdk-8u151-linux-x64.tar.gz. 2.hadoop安装包 到ha