hadoop伪分布式搭建

1.搭建伪分布式集群使用root用户登录

第一步:设置ip,为虚拟机设置一个ip地址:

设置完成后要检测:service network restart 重启生效,然后ping命令测试该ip是不是能ping通。

2.更改主机名:

执行命令:vi  /etc/sysconfig/network

更改之后再重新启动就会更改用户名,通过命令hostname即可查看

3.设置hosts中ip与主机名的绑定

执行命令 vi  /etc/hosts

在里面添加选项设置你的主机名与ip的对应关系

Ping一下这个主机名看是不是能ping通

注意这里在windows 里面由于没有设置应该是ping不通过的,设置c盘下windows文件夹下面system32这个文件夹里面drivers下etc下的hosts文件进行更改,添加对应你的主机名与ip地址

但是更改hosts时可能会因为权限问题被阻止更改,注意一下更改你对这个文件的权限

4.关闭防火墙

第一行的命令即可查看防火墙的状态,关闭的命令:

Service iptables stop

进行验证:

Chkconfig 这个命令下面是服务的一些配置,查看会不会有重启的可能

执行命令 chkconfig --list

存在on的就是可能在某些条件下重启的

查找防火墙的重启的相关项 :

Chkconfig --list |grep iptables

关闭:chkconfig iptables off

6 ssh-->secure shell

传输的数据是加过密的比较安全.

执行命令产生密钥:ssh-keygen  -t  rsa  位于当前用户下的~/.ssh这个文件夹中

查看目录下面有木有东西:

继续执行下面新的命令

ssh的免密码登录就搞定了

7.安装jdk

使用winSCP传输hadoop和jdk的压缩包放入linux系统,放在root/downloads里面

安装到usr/local里面,删除之前存在的文件

cp  /root/Downloads/*  .

执行jdk但是这里遇到了权限的问题,接下来要更改权限

颜色已经变了,原来显示的是白色的,现在是绿色了,应该就能运行了

执行原先的命令./jdk-6u24-linux-i586.bin

等待安装完成即可

安装完了,还得配置环境变量的;

安装完成了。

8.安装hadoop

执行命令 tar  -zxvf  hadoop-1.1.2.tar.gz

修改hadoop的配置文件

位于$HADOOP_HOME/conf目录下的修改四个配置文件:hadoop-env.sh、core-site.xml

hdfs-site.xml 、mapred-site.xml

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop0:9000</value>

<description>change your own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3.hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4.mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop0:9001</value>

<description>change your own hostname</description>

</property>

</configuration>

进行格式化:

但是hadoop这里有警告

去掉启动过程中的警告

在/etc/profile里面添加一行

export  HADOOP_HOME_WARN_SUPPRESS=1或者其他的什么值只要不是空即可

这样配置就完成了一个单机的配置

按照这几个步骤,在建立好的其他的虚拟机里面进行同样的配置。

时间: 2024-11-06 09:40:37

hadoop伪分布式搭建的相关文章

Hadoop - Hadoop伪分布式搭建

进行Hadoop伪分布式搭建时,需要有一定的Linux命令基础, 因为Hadoop是搭建在Linux环境上的开源框架, Hadoop的框架最核心的设计就是:HDFS和MapReduce. 本文也主要讲述HDFS和MapReduce环境的搭建. 搭建环境: 虚拟机: VMware10 操作系统:CentOS-6.5 JDK版本:jdk-8u171-linux-x64 Hadoop版本:hadoop-2.7.3 使用工具:Xshell 6,Xftp 6,Notepad++ 虚拟机ip地址:192.1

Hadoop伪分布式搭建步骤

说明: 搭建环境是VMware10下用的是Linux CENTOS 32位,Hadoop:hadoop-2.4.1  JAVA :jdk7 32位:本文是本人在网络上收集的HADOOP系列视频所附带的课堂笔记(这里直接抄过来的,望原谅,我不是坏人),记录备忘. 开始前让我们简单修改下LINUX系统的JDK:一般情况下,我们都要将linux自带的OPENJDK卸载掉,然后安装SUN的JDK(下面的代码来源网络,请注意真实自己环境) <1> 查看已经安装的JAVA版本信息 # java -vers

hadoop 伪分布式搭建

1.准备Linux环境    1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok        回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置wi

Hadoop伪分布式搭建CentOS

所需软件及版本: jdk-7u80-linux-x64.tar.gz hadoop-2.6.0.tar.gz 1.安装JDK Hadoop 在需在JDK下运行,注意JDK最好使用Oracle的否则可能出bug 2.创建用户 [[email protected] ~]# groupadd hadoop [[email protected] ~]# useradd -g hadoop hadoop [[email protected] ~]# passwd hadoop 3.配置SSH 确认SSH的

虚拟机hadoop伪分布式搭建

虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤 1.安装虚拟机 配置和网络 (1)IPADDR (2)NETMASK (3)GATEWAY (4)DNS1 远程连接 Xshell 关闭防火墙 (1)service iptables stop (2)chkconfig iptables off 2.安装jdk,配置环境变量 上传jdk压缩包 解压 jdk放到/usr/local路径下 (1)tar -zxvf  解压 (2)ln -s xxxx.jdk jdk 建立软连接 配置环境变

hadoop2.2.0伪分布式搭建

一.准备linux环境 1.更改VMware适配器设置 由于是在单机环境下进行学习的,因此选择适配器模式是host-only模式,如果想要联网,可以选择桥接模式,配置的方式差不多. 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.85.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络

Hadoop初体验:快速搭建Hadoop伪分布式环境

0.前言 本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境. 对使用的系统环境作如下说明: 操作系统:CentOS 6.5 64位 主机IP地址:10.0.0.131/24 主机名:leaf 用户名:root hadoop版本:2.6.5 jdk版本:1.7 可以看到,这里直接使用root用户,而不是按照大多数的教程创建一个hadoop用户来进行操作,就是为了达到快速搭建Had

Hadoop简单入门之伪分布式搭建

前面两章主要讲解了完全分布式的搭建,这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置,启动,以及简单测试.我的机器:阿里云服务器,64位,Java64,Hadoop2.4.1(64) ? 所有软件下载百度云 密码:uup8 讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装 写文章不易,欢迎大家采我的文章,以及给出有用的评论,当然大家也可以关注一下我的github:多谢: 1,Hadoop简单介绍: Apache Hadoop是一款支持数据密集型分布式应用,并以A

Hadoop伪分布式集群搭建总结

Hadoop伪分布式集群搭建总结 一.所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二.安装注意:对文件进行编辑:输入a,表示对该文件进行编辑,最后保存该文件,操作为:点击键盘上的Esc按钮,然后输入英文的:字符,再输入wq,点击回车,完成文件的保存.1.关闭防火墙和禁用SELINUX(1).永久关闭防火墙,重启Linux系统(2) .禁用SELINUX:修改文件参数 重启Linux使其生效(3).检查防火墙是否运行,显示下图即为关闭2.配置hostname与IP