Hadoop2.6.0单机模式搭建

1、下载安装jdk

下载jdk1.6.0_39_x64.bin

./jdk1.6.0_39_x64.bin 执行文件

2、配置环境变量

vim /etc/profile

追加：

export JAVA_HOME=/root/hadoop/jdk1.6.0_39
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

让环境变量生效

source /etc/profile

java -version 查看jdk版本

3、下载hadoop安装包

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.6.0.tar.gz

解压：

tar -zxvf hadoop-2.6.0.tar.gz

4、 mkdir input 在/root/hadoop下创建input目录

新建文本文件

5、在/root/hadoop/hadoop-2.6.0目录下执行

bin

[[email protected] hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /root/hadoop/input /root/hadoop/output

/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /root/hadoop/input /root/hadoop/output



[[email protected] hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /root/hadoop/input /root/hadoop/output



[[email protected] hadoop-2.6.0]# cat ../input/*
hello
hello
lou
lou
lou
nihao
nihao
loulou
[[email protected] hadoop-2.6.0]# cat ../output/*
hello   2
lou     3
loulou  1
nihao   2


6、单机模式搭建成功
				


				
时间： 2024-10-29 05:03:38 

		


		


	

	
	

		


		
Hadoop2.6.0单机模式搭建的相关文章


								

		

			

                【Hadoop基础教程】2、Hadoop之单机模式搭建
			

		

		

									

				单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml.mapred-site.xml.hdfs-site.xml配置文件均为空.默认情况下,官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式.当配置文件为空时,Hadoop完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,该模式主要用于开发调试MapReduce应用程序的逻辑,不与任何守护进程交互进而避免复杂性.以hadoop用户远程登录K-Master			

		

	

				

		

			

                Ubuntu14.04下Hadoop2.2.0集群搭建
			

		

		

									

				系统版本: master: Ubuntu 14.04  salve1: Ubuntu 14.04 hadoop: hadoop 2.2.0 1.系统配置以及安装SSH无密码登陆环境(master&slaves): 修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件 sudo gedit /etc/hostname (修改后需重启才能生效) 修改host文件(映射各个节点IP): sudo gedit /etc/hosts 在后面添加内容为: 172.22.			

		

	

				

		

			

                hadoop2.0单机模式部署
			

		

		

									

				ssh免密码登陆配置 ssh localhost ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 修改/etc/hosts文件(vi或gedit都可以,需要sudo) 添加YARN001这一行 解压jdk和Hadoop文件(目录为/home/llh/hadoop/) 添加可执行权限 tar -zxvf jdk-7u75-linux-i586.tar.gz tar -			

		

	

				

		

			

                hadoop2.2.0伪分布式搭建
			

		

		

									

				一.准备linux环境 1.更改VMware适配器设置 由于是在单机环境下进行学习的,因此选择适配器模式是host-only模式,如果想要联网,可以选择桥接模式,配置的方式差不多. 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.85.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络			

		

	

				

		

			

                Hadoop2.6.0单机/伪分布式安装
			

		

		

									

				本文地址:http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html,转载请注明源地址. 基本环境配置 可以使用命令uname -a 查看linux的版本: [email protected]:~$ uname -a Linux ubuntu 3.13.0-24-generic #46-Ubuntu SMP Thu Apr 10 19:11:08 UTC 2014 x86_64 x			

		

	

				

		

			

                Hadoop2.2.0伪分布式搭建简述
			

		

		

									

				简述了自己搭建Hadoop伪分布式的过程,方便以后查看参考. 环境:Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7 Hadoop模式: 本地模式:只能其一个reduce和一个map,用于调试 伪分布式模式:通过一台机器模拟分布式,在学习时使用.验证逻辑是否正确 集群模式:工作的模式,有几百上千台机器. linux环境配 关闭防火墙 若是对外网提供的服务是绝对不能关闭防火墙的.而Hadoop一般是公司内部使用,有多台节点,且之间需要通信,此时若防火前将通信的端口屏蔽则无			

		

	

				

		

			

                hbase0.96.0单机模式安装(win7 无需cygwin)
			

		

		

									

				之前折腾了几天,想让hbase的单机模式在cygwin上跑起来,都不成功.正当我气馁之时,我无意中发现hbase0.96.0的bin和conf目录下有一些扩展名为cmd的文件.这难道是给windows用的?难道现在hbase可以直接在windows上运行了?抱着这样的想法,我尝试了不用cygwin的方法运行hbase,还真成功了.特此记录下来,给需要的人做一个参考. 1. 环境: Win7 64bit JDK1.6.0_43 64bit hbase-0.96.0-hadoop1 没错,不需要cy			

		

	

				

		

			

                CentOS下Hive2.0.0单机模式安装详解
			

		

		

									

				本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 1. 所需要的环境 Hive 2.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1.8) Hadoop 2.X 2. 下载.解压Hive安装包 Hive官网地址: http://hive.apache.org/ 例如: wget "http://mirrors.cnnic.cn/apache/hive/hive-2.0.0/apac			

		

	

				

		

			

                Ubuntu14.04安装Hadoop2.5.2(单机模式)
			

		

		

									

				一.Hadoop的运行模式 单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布模式(Pseudo-Distributed Mode) 伪分布模式在"