Hadoop1 伪分布式安装实验

1：配置静态IP地址

重启网卡命令：service network restart

验证：ifconfig

2：修改主机名称

2.1、修改当前会话中的主机名命令：hostname hadoop

2.2、修改配置文件中的主机名：vi /etc/sysconfig/network

验证：重启机器后查看主机名

3：hostname与IP绑定

命令：vi /etc/hosts 增加一行内容：192.168.147.100 hadoop

验证：ping hadoop

4：关闭防火墙

命令：service iptables stop

验证：service iptables status

5：关闭防火墙的自动运行

命令：chkconfig iptables off

验证：chkconfig --list | grep iptables

6：SSH配置

具体步骤见SSH无密码验证登录的实现

7：安装JDK

7.1、执行命令 chmod u+x jdk-6u24-linux-i586.bin，赋予执行权限

7.2、执行命令 ./jdk-6u24-linux-i586.bin 解压缩

7.3、执行命令 mv jdk1.6.0_24 jdk 重新命名

7.4、执行命令 vi /etc/profile 增加两行内容

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

7.5、执行命令 source /etc/profile 使配置立即生效

验证：执行命令 java -version

8：安装hadoop（在hadoop用户下）

8.1、执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压

8.2、执行命令 mv hadoop-1.1.2 hadoop 重命名

8.3、执行命令 sudo vi /etc/profile 配置环境变量

export HADOOP_HOME=/home/hadoop/app/hadoop

export PATH=.:$HADOOP_HOME:$JAVA_HOME/bin:$PATH

执行命令 source /etc/profile 使配置立即生效

8.4、修改4个配置文件：

1、修改$HADOOP_HOME/conf/hadoop-env.sh 增加JAVA_HOME=/usr/local/jdk

2、修改$HADOOP_HOME/conf/core-site.xml 增加内容：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>change your own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

</configuration>

3、修改$HADOOP_HOME/conf/hdfs-site.xml 增加内容：

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4、修改$HADOOP_HOME/conf/mapred-site.xml 增加内容：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>change your own hostname</description>

</property>

</configuration>

9：hadoop 格式化文件系统

9.1、执行命令：hadoop namenode -format 格式化

9.2、执行命令：start-all.sh 启动

9.3、执行命令：jps 验证5个java进程

27036 NameNode

27158 DataNode

27519 TaskTracker

27283 SecondaryNameNode

27360 JobTracker

9.4、浏览器查看

http://hadoop:50070/dfshealth.jsp

http://hadoop:50030/jobtracker.jsp

9.5、远程查看修改远程客户机hosts文件

C:\Windows\System32\drivers\etc\hosts 增加内容

192.168.147.100 hadoop

时间： 2024-10-18 23:42:19

Hadoop1 伪分布式安装实验的相关文章

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装准备与配置安装环境安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop日记Day3---Hadoop的伪分布式安装

导录比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

Zookeeper 初体验之——伪分布式安装（转）

原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程

HBase基础和伪分布式安装配置

一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 列族(column family),列的集合. 一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的. HBase表中的数据存储在本地磁盘上的时候,每个列族单独一个作为文件存储. 上图表

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境操作系统 Oracle VM VirtualBox-rhel-6.4_64 本机名称 yanduanduan 本机IP 192.168.1.102 JDK 1.7.0_79 hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

(转)Zookeeper 初体验之——伪分布式安装

Zookeeper 初体验之——伪分布式安装简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程难于处理的同步和一致性问题上,你可以使用 Zookeeper 提供的现成(of

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/