hadoop--安装1.2.1版本

第一步,选择要安装的hadoop版本的tar.gz的压缩文件,并解压到指定目录。

第二步、创建一个存放数据的文件夹,这个文件夹的名字可以自行命令,但是要包括三个子文件夹(这三个子文件夹,可以分开,不过一般我们将它们放到同一个文件夹中)

这三个文件夹中,其中data(datanode节点使用,保存数据内容)的权限为755,其他为777。

第三步、设置参数

设置hadoop-env.sh内容

设置core-site.xml内容

设置hdfs-site.xml文件内容

设置mapred-site.xml内容

设置masters文件内容

设置slaves文件内容

第四步、格式化hadoop namenode

执行./bin/hadoop namenode -format,执行过程中输入Y即可,看到success就表示成功。

第五步、启动hadoop集群

./bin/start-all.sh

启动后通过jps可以查看到,

其中看到DataNode、SecondaryNameNode、NameNode、TaskTracker、JobTracker五个。

还可以通过web页面来查看启动情况:

最后、关闭集群

stop-all.sh

时间: 2024-10-10 02:13:41

hadoop--安装1.2.1版本的相关文章

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,

eclipse安装Hadoop1.1.2版本开发插件

Hadoop1.1.2版本没有直接适合Eclipse的安装插件,需要手动打包jar文件. 我的系统配置: VMware Workstation10 CentOS-6.5-i386 hadoop-1.1.2 eclipse_SDK_3.7.2_win32 系统配置说明: 我的电脑是Win7 32位的,安装了VMware虚拟机. 在虚拟机中安装的是CentOS系统(Linux系统). 在Linux系统中配置的是Hadoop1.1.2的伪分布式集群环境. Eclipse安装在Window系统下. 实现

大数据时代之hadoop(一):hadoop安装

1.hadoop版本介绍 0.20.2版本以前(不含该版本)的配置文件都在default.xml中. 0.20.x以后的版本不含有eclipse插件的jar包,由于eclipse的版本不一,所以就需要自己编译源码生成对应的插件. 0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml. conf/hdfs-site.xml  和 conf/mapred-site.xml. 中. 0.23.x 版本有添加了yarn技术,配置文件集中在  conf/core-site.

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项 1. 保证Master和Slave能够ping通: 2. 配置/etc/hosts文件: 3. 能够ssh无密码切换各台主机: 4. 安装sun公司的jdk,在/etc/profile中设置好环境变量: 5. 下载Hadoop,安装.配置.搭建Hadoop集群: 1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(

hadoop安装 伪分布

伪分布hadoop 安装总结 准备,在配置中hadoop用的9000端口,如果有其它软件用着这个端口,建议更换后再进行下面配置,以避免出现错误.比如php-fpm经常使用9000端口. 一.下载jdk下载linux 64 8u73-64位版本tar zxvf jdk-8u74-linux-x64.tar.gz -C /usr/local/ 二.下载hadooptar zxvf hadoop-2.6.4.tar.gz -C /usr/local/ 配置项: vim /etc/profile.d/h

hadoop安装及注意事项

一.hadoop安装及注意事项1.安装hadoop的环境,必须在你的系统中有java的环境.2.必须安装ssh,有的系统默认就安装,如果没有安装需要手动安装.    可以用yum install -y ssh 或者 rpm -ivh ssh的rpm包进行安装 二.安装并配置java环境hadoop需要在java的环境中运行,需要安装JDK.1.在官网上下载jdk,网址:http://www.oracle.com/technetwork/java/javase/downloads/index-js

集群分布式 Hadoop安装详细步骤

集群分布式Hadoop系统安装及测试 本系统一共有三个节点,一个namenode,两个datanode,IP和主机名对应如下: 192.168.1.19           namenode 192.168.1.7             datanode1 192.168.1.20           datanode2 1.安装配置 1).安装配置JDK,在三个节点都需要安装,下面操作在三个节点上都需要执行: a.下载jdk-6u45-linux-x64.bin文件,将下载的文件放到/usr

Hadoop安装配置及问题总结

学习了一下慕课网上的hadoop教程,看着很简单,但是做起来碰到的问题确实不少.搞了一个下午,总算是搞定了,本博文主要记录一下我在配置hadoop过程碰到的一些问题.对于hadoop的鼎鼎大名,想必大家都略知一二,我也是入个门,嘎嘎! http://hadoop.apache.org/ (hadoop 官网).这里介绍的比较详细. hadoop可以在这里下载,按照现在的版本已经更新到2.7了,1.x的版本和2.x的版本听说差距挺大,且学且感受吧. 1.首先将hadoop解压到 /opt $sud