0.1_hadoop安装(伪分布式)

因为打算学习简单的Hadoop相关知识所以,打算尝试安装伪分布式模式,在有一定了解之后再打算学习完全分布式的相关知识。

首先 在vmware虚拟机中 安装了Linux操作系统(CentOS 64位)

安装过程为以下几个步骤:

  一、配置host文件

  二、建立hadoop运行账号

  三、配置ssh免秘钥登录

  四、下载并解压hadoop安装包

  五、配置namenode,修改site文件

  六、配置hadoop-env.sh文件

  七、修改master和slaves文件

  八、格式化hadoop

  九、启动hadoop

  十、用jps检验后台进程是否全部启动

  十一、通过网站查看集群情况

于是就开始了安装--------------------------

一、配置host文件

-su root             //进入root用户 获得权限

-vim /etc/hosts          // 修改 hosts文件,确定节点ip

//在vim编辑中添加自己的ip 与用户名

192.168.1.132 cloud    //添加 自己的用户名 和 ip

  顺便把静态ip 也一同配置了

$ vim /etc/sysconfig/network-scripts/ifcfg-eno16777736   //最后这个网卡名根据自己情况修改 一般是 eht0
//在打开的 vim中 修改或添加4个地方
BOOTPROTO=static
IPADDR=192.168.1.132
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

保存后重启网卡

$ service network restart

如果不能ping通 域名 可以在/etc/resolv.conf 下添加 namserver 114.114.114.114

时间: 2024-10-24 21:15:41

0.1_hadoop安装(伪分布式)的相关文章

Centos6下安装伪分布式Hadoop集群

Centos6下安装伪分布式hadoop集群,选取的hadoop版本是apache下的hadoop2.7.1,在一台linux服务器上安装hadoop后,同时拥有namenode,datanode和secondarynamenode等节点的功能,下面简单安装下. 前置准备 主要涉及防火墙关闭.jdk安装.主机名修改.ip映射.免密登录设置等. 关闭防火墙 有临时和永久,这里使用永久关闭的方式. # 临时关闭 [[email protected] ~]# service iptables stop

Ubuntu 13.10 下安装伪分布式hbase 0.99.0

HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 1 环境配置 2 安装说明 1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变量 sudo nano /etc/profile export JAVA_HOME=/usr/dev/jdk1.7.0_51 export HADOOP_HOME=/home/lcc/software/

spark1.2.0版本搭建伪分布式环境

1.下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2.安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profile 第三步 source 使配置环境变量生效: 第四步 验证scala: 3.下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html 4.安装和配置spark: 第

[转]CentOS下安装伪分布式Hadoop-1.2.1

From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [[email protected] hadoop]# lsb_release -a   LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch  

Hbase安装 - 伪分布式模式

网站: http://hbase.apache.org/ 版本对应关系: 通过lib目录下的hadoop-core- ...jar可以看出适配的hadoop版本 hbase-0.98.6-hadoop2    => hadoop 2.2 hbase-0.96.2-hadoop2    => hadoop 2.2 hbase-0.98.6-hadoop1    => hadoop 1.2.1 hbase-0.96.2-hadoop1    => hadoop 1.2.1 Hbase安

Tachyon 0.7.1伪分布式集群安装与测试

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样.通过利用信息继承,内存侵入,Tachyon获得了高性能.Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件.因此,Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数. 源码下载 源码地址:https://github.com/amplab/tachyon git clone http

安装伪分布式hbase 0.99.0

查看是否启动成功,输入jps,看到有HMaster和HQuorumPeer,浏览器输入http://localhost:16030/master-status,能打开说明成功 hbase(main):001:0> [email protected]:~$ jps 28522 NodeManager 817 Jps 27997 DataNode 28206 SecondaryNameNode 386 HMaster 28380 ResourceManager 27823 NameNode 300

Ubuntu 14.10 下安装伪分布式hive-0.14.0

本地独立模式,MySQL作为元数据库 1 安装环境准备 1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.2 安装hadoop,参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.3 安装MySQL数据库,参考http://www.cnblogs.com/liuchangchun/p/4099003.html 1.4 新建hi

ubuntu 下安装伪分布式 hadoop

安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclipse安装包 和eclipse和hadoop相关连的jar包. 安装: (1)能够选择一个新建用户安装 也能够使用眼下账户. (2)规定 所属用户组: (3) 给予用户hadoop权限: sudo vim /etc/sudoers 改动加入: watermark/2/text/aHR0cDovL2Jsb