Hadoop 1、在虚拟机上进行 HDFS 安装

一、准备条件:

1.四台Linux虚拟机(1台NameNode节点,1台Secondary节点(Secondary和其中1台DataNode共用),外加2台DataNode)

2.下载Hadoop版本,本例使用Hadoop-2.5.2版本

二、安装Java  JDK

最好安装,JDK 1.7 因为JDK 1.7的兼容性最好

#安装JDK
rpm -ivh jdk-7u79-linux-x64.rpm

#配置环境变量
vi /root/.bash_profile

JAVA_HOME=/usr/java/jdk1.7.0_79
PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.5.1
PATH=$PATH:$HADOOP_HOME/bin#HADOOP_HOME  是后面要用到的,为了方便提前写进来

配置完成以后,通过  java -version可以查看是否安装成功

三、配置hosts文件

vi /etc/hosts
#在该文件中建入
192.168.171.15 node5
192.168.171.16 node6
192.168.171.17 node7
192.168.171.18 node8

四、安装SSH 设置免密码登录

#创建密钥(一定要在NameNode节点上):
ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
#将密钥添加到公钥:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
时间: 2024-11-03 22:33:18

Hadoop 1、在虚拟机上进行 HDFS 安装的相关文章

Windows下的Eclipse连接不上虚拟机上的hdfs,一直显示Listing folder content的解决方案

Eclipse连接不上虚拟机上的hdfs,一直显示Listing folder content,如下图所示: 要做到以下三点: 1. 本身就还没创建输入和输出目录,此时要在hdfs上建个文件夹 . #bin/hdfs dfs -mkdir –p /user/hadoop/input #bin/hdfs dfs -mkdir -p  /user/hadoop/output 2. core-site.xml这个配置文件中要写虚拟机的ip地址,不能写localhost 3. 一定要关闭防火墙 syst

虚拟机上的windows安装cwRsyncServer后服务界面找不到服务的解决方案

如果在虚拟机上安装了windows server 2008 R2的话,而且要在虚拟机上做实验的话,那就要安装上虚拟机的工具了,打开虚拟机界面,选择MV(虚拟机)-->Reinstall MVware Tools 然后在弹出的对话框中选择"运行setup64.exe 由MVware, Inc.发布"就可以安装上了. 这样安装好了之后再安装上cwRsyncServer这个服务,这样安装好了之后在服务界面就可以找到RsyncServer这个服务了.如果不安装上的话是即使安装上了这个服务

Linux(CentOS)在虚拟机上最小化安装和网络配置及其与主机的连接

基于虚拟机Linux系统的最小化安装和配置 [安装] VMWare 12 版本(所有图片看不清可点击打开) 打开VMWare,选择文件菜单中-新建虚拟机,或直接使用快捷键Ctrl+N,选择自定义,然后下一步,如下图: 选择兼容性,默认即可(如需要支持低版本的VMWare,请修改兼容性的版本为相应版本),选择下一步,如下图: 选择操作系统安装方式,选择稍后安装操作系统,然后下一步,如下图: 选择操作系统版本,选择Linux及CentOS 64位,然后下一步,如下图: 选择虚拟机名称及安装位置,名称

我的第一篇博客---虚拟机上的cnetos安装

一.linux系统的安装 linux有很多的可用系统,学习的话一般都是用是centos,作为reshat的copy版, 免费是很多人选择它的重要原因之一!和redhat一样好用.要安装centos 有几种主要的方法.可以光盘镜像安装,也可以U盘镜像安装.也可以网络安装这里就用VMWareWorkstation 虚拟机来安装虚拟机可以在百度上下载破解版的,安装上之后创建虚拟机 点击创建之后就可以按照步骤来创建了 在安装到选择操作系统时,如果是通过光盘或者U盘安装,就可以直接在选项重选择镜像的路径,

Azure虚拟机上配置FTP服务器FileZilla

1.在Azure虚拟机上下载并安装FileZilla server,全部默认设置 2. 连接File Server 3. FileZilla Server主界面 4. 添加用户组(Edit->Groups) 5. 选择共享目录跟权限(Edit->Groups) 6. 添加用户(Edit->Users) 7.设置密码(Edit->Users) 8. 设置Passive Model (Edit ->Settings) 9. 设置FTP Over TLS Generate Cert

hadoop学习;大数据集在HDFS中存为单个文件;安装linux下eclipse出错解决;查看.class文件插件

sudo apt-get install eclipse 安装后打开eclipse,提示出错 An error has occurred. See the log file /home/pengeorge/.eclipse/org.eclipse.platform_3.7.0_155965261/configuration/1342406790169.log. 查看错误日志然后解决 打开log文件,看到以下的错误 !SESSION 2012-07-16 10:46:29.992 --------

VMware虚拟机上安装linux和克隆

虚拟机上安装好一台linux 系统后,为了快速搭建hadoop集群,需要再安装几个linux系统,比较笨的办法可以重新用ios 镜像文件进行安装,但是重新安装需要重新配置一些信息而且安装时间比较长(一般在半个小时左右).所以建议使用VMWare 特用的克隆功能快速的安装linux系统(克隆时间在5分钟左右). 具体步骤如下: 第一步: 选择我们需要克隆的操作系统,右击鼠标,然后选择"管理"-"克隆",如下图: 第二步:直接点击"下一步",如下图:

虚拟机上安装Linux操作系统

很久之前就知道虚拟机这个东西,也都在虚拟机上安装过Windows的操作系统和Linux的操作系统,但是一直都没有去做笔记. 最近还是比较有时间,就移除了前两天刚刚安装的Linux系统,重新安装一次,做一个记录. 至于虚拟机的安装就没有做详细的记录,这个跟安装其他的什么软件没什么区别. 好了.接下来就开始图文并茂的去记录一下安装Linux的操作系统的过程. 1.那么第一步肯定是要下载Linux的镜像文件,至于下载也早就下载好了.是rhel-server-6.6的,一个ISO的压缩包. 2.打开虚拟

【入门】在虚拟机上安装一个linux系统

根据计划,需要在虚拟机上安装一个linux系统,用作web架构学习的服务器. 公司项目的服务器用的是linux系统,具体版本未知.虽然我们开发不用关注最后的部署,但多少也接触了一些,算是有一定的了解,而java web通常也是部署在linux上,所以还是选择了linux.至于具体的版本,最终选择了centos. 虚拟机的选择,主要是VMware和VirtualBox了.由于VMware要收费,于是下载了VirtualBox.没想到创建系统时,没有linux64的选项.网上一查,需要打开bios的