ubuntu14.04下安装hadoop2.7.1教程

http://blog.csdn.net/ycisacat/article/details/53313833

主要是根据这位前辈的教程来的，其中有一些改动

主从机之间ssh无密码登陆

因为hadoop运行过程中需要主从机很频繁地用ssh登陆，如果没有无密码登陆会需要一直输入密码，（rp如我输多了还可能挂）

（1）现在所有新用户文件夹下都是空的，至少要生成.ssh文件夹。所以在所有机下生成公钥/私钥对。

$ssh-keygen -t rsa

它在/home/hadoop下生成.ssh目录，.ssh下有id_rsa和id_rsa.pub。

然后用ssh-copy-id os-2将id开头的文件复制到其他服务器上

时间： 2024-12-23 14:16:50

ubuntu14.04下安装hadoop2.7.1教程的相关文章

一、Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后会重新提示输入密码,即密码不能为空. 最后确认信息是否正确,如果没问题,输入 Y,回车即可. 3.为ha

二、Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式）

在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置 一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息. 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的<configuration></configuration>之间增加如下内容: <property&g

Ubuntu14.04下安装Hadoop2.5.1 （单机模式）

本文地址:http://www.cnblogs.com/archimedes/p/hadoop-standalone-mode.html,转载请注明源地址. 一.在Ubuntu下创建hadoop组和hadoop用户 1.创建hadoop用户组 sudo addgroup hadoop 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可.如果不输入密码,回车后会重新提示输入

Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可. 如果不输入密码,回车后会重新提示输入密码,即密码不能为空. 最后确认信息是否正确,如果没问题,输入 Y,回车即可. 3.为ha

Ubuntu14.04下安装ZendStudio10.6.1+SVN出现Failed to load JavaHL Library

Subclipse不能正常工作,打开后报错: Failed to load JavaHL Library. These are the errors that were encountered: no libsvnjavahl-1 in java.library.path no svnjavahl-1 in java.library.path no svnjavahl in java.library.path 原来是缺少一些关联文件,去subclipse的Wiki看了看,说需要安装libsvn-

ubuntu14.04下安装lec10.1过程记录

0.lec为Candence公司推出的形式验证工具,由于要学习IC后端的知识,打算在ubuntu14.04下安装一套后端工具,建立后端环境,通过练习完成后端知识的入门,安装过程记录下来,留作以后查看,如果对您有一些帮助,倍感欣慰! 1.安装源文件 >lec10.1:http://pan.baidu.com/s/1o6wqu5G 3.安装与破解 >解压lec_10.1.tgz到安装目录 >设置环境如下: #add for lec export LEC_HOME=/usr/cad/lec_1

Ubuntu14.04下安装Titan X显卡驱动b

现在deep learning这么火,早就想学习学习,最近实验室买了块Titan X显卡,但是目前木有购买相应的服务器,一盘的台式机上带不动这块显卡,而且实验室配置的台式机相当陈旧,配置早已跟不上时代,装上也跑不动. 但是实验室有太工控机,配置还算可以,i7-3770T处理器,所以寻思着把显卡装这台机子上,当然,自带的电源适配器也是带不动的,所以特意买了个1000w的电源,插上显卡总算可以带动. OK,装上Ubuntu14.04,然后参考网上某个教程安装Nvidia官网下载的驱动,跑个网上的de

ubuntu14.04下安装爬虫工具scrapy

scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下: ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装: sudo apt-get install python sudo apt-get install python-setuptools 然后安装Twisted: sudo apt-get install python-twisted 然后是Scrapy: sudo apt-get install pyt

ubuntu14.04下安装cudnn5.1.3,opencv3.0,编译caffe及matlab和python接口过程记录

已有条件: ubuntu14.04+cuda7.5+anaconda2(即python2.7)+matlabR2014a 上述已经装好了,开始搭建caffe环境. 1. 装cudnn5.1.3,参照:2015.08.17 Ubuntu 14.04+cuda 7.5+caffe安装配置 详情:先下载好cudnn-7.5-linux-x64-v5.1-rc.tgz安装包(貌似需要官网申请) 解压: tar -zxvf cudnn-7.5-linux-x64-v5.1-rc.tgz cd cuda s