ubuntu安装hadoop2.x（伪分布式）

1.x和2.x在安装上差异不大，就是程序目录不大一样。

hadoop1.x和2.x部分对应关系


	1.x	2.x
core-site.xml	${HADOOP_HOME}/conf/core-site.xml	${HADOOP_HOME}/etc/hadoop/core-site.xml
hdfs-site.xml	${HADOOP_HOME}/conf/hdfs-site.xml	${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
namenode format	${HADOOP_HOME}/bin/hadoop namenode -format	${HADOOP_HOME}/bin/hdfs namenode -format
start-dfs.sh	${HADOOP_HOME}/bin/start-dfs.sh	${HADOOP_HOME}/sbin/start-dfs.sh
stop-dfs.sh	${HADOOP_HOME}/bin/stop-dfs.sh	${HADOOP_HOME}/sbin/star-dfs.sh
example.jar	${HADOOP_HOME}/hadoop-examples-1.x.x.jar	${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar
wordcount	$ cd ${HADOOP_HOME} $ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output	$ cd ${HADOOP_HOME} $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar org.apache.hadoop.examples.WordCount input output
mapreduce	待补充	待补充
其他	待补充	待补充

备注

2.x 在安装完成后，执行dfs命令是会报一个WARN

15/04/24 15:35:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这个不影响。网上也有具体的解决办法。

时间： 2024-10-11 07:07:48

ubuntu安装hadoop2.x（伪分布式）的相关文章

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

CDH版本hadoop2.6伪分布式安装

CDH版本hadoop的一个重要分支,使用hadoop-2.6.0-cdh5.9.0在单台CentOS配置hadoop伪分布式环境: 1.基础环境配置主机名 IP地址角色 Hadoop用户 localhost 192.168.30.139 NameNode.ResourceManager.SecondaryNameNode.DataNode.NodeManager hadoop 1.1.关闭防火墙和SELinux 1.1.1.关闭防火墙 $ systemctl stop firewalld

Hadoop2.x伪分布式环境搭建(一)

1.安装hadoop环境,以hadoop-2.5.0版本为例,搭建伪分布式环境,所需要工具包提供网盘下载:http://pan.baidu.com/s/1o8HR0Qu 2.上传所需要的工具包到linux相对就应的目录中 3.接上篇(Linux基础环境的各项配置(三)中最后一部分,需卸载系统自带的jdk,以免后续安装的jdk产生冲突),卸载jdk完成后,安装jdk-7u67-linux-x64.tar.gz版本,上述工具包可下载 (1).解压JDK tar -zxf jdk-7u67-linux

Mac环境下安装配置Hadoop伪分布式

伪分布式需要修改5个配置文件(hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop) 第一个:hadoop-env.sh #vim hadoop-env.sh #第25行,由于新的Mac系统不需要配置java环境变量,所以这里要写入具体路径 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home 第二个:core-site.xml <!-- 制定HDFS的老大(Nam

ubuntu安装hadoop2.6

一:单机版 1.sudo gedit ~/.bashrc 加入JDK路径 #HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 export HADOOP_INSTALL=/home/sendi/hadoop-2.6.0 export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HAD

Ubuntu 安装 Hadoop（伪分布模式）

在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息. 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的<configuration></configuration>之间增加如下内容: <property&g

Hadoop2的伪分布式的安装

准备linux环境[java.ip.hostname.hosts.iptables.chkconfig.ssh] 下载稳定版2.2.0 修改etc/hadoop目录下的配置文件core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml 启动验证文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value&

ZooKeeper：win7上安装单机及伪分布式安装

zookeeper是一个为分布式应用所设计的分布式的.开源的调度服务,它主要用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用,协调及其管理的难度,提高性能的分布式服务. 本章的目的:如何安装zookeeper(在win7环境下),zookeeper下载https://mirrors.cnnic.cn/apache/zookeeper/.这里下载的版本是3.4.8. zoomkeeper本身是可以单节点模式安装运行,不过一般为了确保zookeeper的稳定性和可用性,都会采用分布式部

Hadoop2.6伪分布式环境的一些注意事项

Hadoop版本:2.6.0 虚拟机VMware11 操作系统ubuntu14.04-x64 相关的教程可见http://blog.csdn.net/ggz631047367/article/details/42426391 此处仅分享在配置过程中遇到的问题. 问题1. 针对使用sudo su的问题在以前操作ubuntu的时候我习惯使用sudo su进行需要root权限的操作,但是在配置环境的时候遇到了两个问题.问题都在利用sudo su之后,重启命令行或者虚拟机以后出现,主要原因是用户账户更