ubuntn14.04 32位安装hadoop2.7.2

1. 创建用户一枚,
	sudo addgroup hadoop
	sudo adduser -ingroup hadoop hadoop_lcc
2. 为新创建的用户添加sudo权限
	sudo gedit /etc/sudoers--> hadoop_lcc ALL=(ALL:ALL) ALL
3. 安装ssh
	在 hadoop_lcc 用户下sudo apt-get install openssh-server
	重启ssh服务 sudo /etc/init.d/ssh restart
4. 生成ssh公钥与私钥
	ssh-keygen -t rsa -P ""
	cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 自动登陆不用输入密码了
详见[网址](http://www.cnblogs.com/kinglau/p/3794433.html)
5. 安装java jdk。
	下载jdk 1.8
	在/usr/lib/jvm copy jdk1.8的内容
	设置 vim /etc/profile 中四个export 变量 :
		export JAVA_HOME=/usr/lib/jvm/jdk1.8
		export JAVA_JRE=${JAVA_HOME}/jre
		export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_JRE}/lib
		export PATH=${JAVA_HOME}/bin:$PATH
	source /etc/profile
	接着替换原有的java 版本:
		sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8/bin/java 300
		sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8/bin/javac 300
6. 安装hadoop
	这一步其实还是比较简单的,安装官网所说的,下载hadoop 安装包,然后解压。建立input目录,配置,执行命令。
	这里要说的有:
		* {JAVA_HOME} 的问题 这个我是source 了/etc/profile之后才生效的
		* 我将hadoop粘贴到了/usr/local/hadoop下,所有有一个写权限的问题
			sudo chmod 777 hadoop
			其实这样做有风险的,先这么做吧,待会查一下给文件夹加权限的问题。
7. 无法加载本地lib的解决之道,环境变量如下:

export JAVA_HOME=/usr/lib/jvm/jdk1.8
export JAVA_JRE=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_JRE}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

还有可能就是 libhadoop.so 这个软连过期了,重新连一下。
感谢这篇[博客](http://blog.csdn.net/xichenguan/article/details/38797331)
如果上述做法都不行,或者你的操作系统是32位,现在的hadoop的包是64位,那么恭喜你你得自己重新编译hadoop的源码。我忘了具体编译源码的指导网址了,这个[网址](http://blog.csdn.net/ggz631047367/article/details/42460589)貌似也差不多。
安装完成后,就可以按照官网所说的那些步骤运行简单一个例子看看结果了。有一个,命令是jps,来查看hadoop的节点运行状态,我的查看结果如下:
![Alt text](1462193654216.png)

运行自己的第一个MapReduce程序,参考[网址](http://blog.csdn.net/segen_jaa/article/details/47817219)。
基本的命令顺序如下:
* javac -classpath /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.2.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar -d . WordCount.java
* jar -cvf wc.jar .
* bin/hdfs dfs -mkdir /user
* bin/hdfs dfs -mkdir /user/hadoop_lcc
* bin/hdfs dfs -mkdir /user/hadoop_lcc/input
* bin/hdfs dfs -put wctest/wcfile.txt  /user/hadoop_lcc/input
时间: 2024-10-10 22:20:04

ubuntn14.04 32位安装hadoop2.7.2的相关文章

Ubuntu14.04 32位安装Youcompleteme

前一段时间在ubuntu16.04 64位上安装了vim插件Youcompleteme,花了两三天才弄好.今天在ubuntu14.04 32位上安装同样的插件,才知道之前所做的安装原来是多么的简单.今天的安装才让我明白什么是史上最难安装的vim插件. 我直接把ubuntu16.04上的bundle文件夹复制过来,运行./install.py --clang-completer的时候,它告诉我所下载的clang5.0无法使用,需要自己编译.可参考链接http://www.jianshu.com/p

[转]Ubuntu 12.04(32位)安装Oracle 11g(32位)全过程以及几乎所有问题的解决办法

转自:http://blog.csdn.net/idber/article/details/9039857 这两天在Ubuntu上安装Oracle把人折腾毁了,即使照着网上的教程来,还是出了很多问题.好在最后终于搞定了.写出来总结一下,免得以后忘了. 标题注明32位是因为网上教程几乎全是以64位安装为例的,32位系统下照着做是绝对会安装失败的. 出现的问题主要有两方面,一个是安装过程中出现的,另一个是安装完成后出现的. 安装过程(主要过程就直接copy别人的教程了)及问题: 1.将系统更新到最新

Ubuntu12.04 32位 安装oracle11g 图文教程

最近在ubuntu上安装oracle,google了不少资料,安装的方法很多,但适合自己的很少,所以在这分享一下自己的安装经验,以后方便自己参考. 大体安装思路:先安装oralce的依赖包----->创建oracle的用户组(以后使用起来会很方便)------>配置系统变量(配置多个地方)------->安装oracle软件包 1> 安装依赖项: $  sudo apt-get install gcc make binutils lesstif2 libc6 libc6-dev r

Ubuntu 12.04(32位)安装Oracle 11g(32位)

安装过程(主要过程就直接copy别人的教程了)及问题: 1.将系统更新到最新: sudo apt-get updatesudo apt-get dist-upgrade 2. 如果使用的Ubuntu不是桌面版(如Ubuntu server),由于Oracle安装需要用到图形界面,所以需要安装桌面程序: sudo apt-get install gnome-core 相信很多都是使用的桌面版,那么这个步骤就不需要了. 3. 安装缺少的包 1).sudo apt-get install gcc ma

Qt简介、安装及在Ubuntu14.04 32位上简单使用举例

Qt是一个跨平台的C++图形用户界面应用程序开发框架.它既可以开发GUI程序,也可用于开发非GUI程序.Qt是面向对象的框架,很容易扩展.Qt是一个C++工具包,它由几百个C++类构成,你在程序中可以使用这些类.Qt具有OOP的所有优点. 跨平台的Qt包含了大约15个模块,所有的模块都依赖于QtCore. Qt的编译工具包括:Configure.Qmake.Moc.Uic and Rcc. Qt开发工具包括:QT  Creator.Qt Designer.Qt Assistant.Qt Ling

ubuntu14.04 64位安装WPS(成功解决没有ia32-libs的问题)

前几天,就把自己的系统换成了ubuntu14.04 64位的.然后就是安装WPS了(戳这里进入官网下载).由于官网提供的WPS是32位的操作系统,所以64位的操作系统不能用.因此我们还要安装32位操作系统的库文件.官网提供的方法为: 但是发现ubuntu14.04根本就没有这个.在网上找了大半天,试了好多办法都没有用,今天又来谷歌,终于找到一个可行的办法.下面是我的一些操作: [email protected]:~$ sudo passwd root [sudo] password for zh

windows7 32位安装easy_intall

前提条件安装完python(我安装的是2.7版本) 安装完python后,把目录加入到环境变量 set PATH=%PATH%;C:\Python27 https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py 打开这个页面后复制全部内容到本地目录,保存为easy_instll.py文件 进行easy_install模块的安装 安装完成后把easy_install加入环境变量 set PATH=%PATH%;C:\Python2

ubuntu12.04 64位 安装w3af以及相关问题的解决

ubuntu12.04 64位下安装w3af: sudo apt-get install w3af 解决安装之后w3af_console不能运行的问题: 运行w3af_console会提示如下错误: /usr/bin/w3af_console: 3: /usr/bin/w3af_console: /usr/bin/python2.5: not found这是由于ubuntu12.04自带的python已经升级成2.7所致 修改/usr/bin/w3af_console sudo gedit /u

centos6.5(32位)安装laravel5.0

centos6.5(32位)安装laravel5.0: 首次安装使用,参考了中文文档,文档有些地方不仔细看很容易踩到坑,记录下我安装的过程: 一.环境:PHP 5.5.31.centos6.5(32位) 二.安装php,安装就不必多说,贴下命令方便自己记录 1.rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm 2.yum install php55w  php55w-bcmath php55w-cli php55w-common  ph