Hadoop伪分布式部署

一、Hadoop组件依赖关系:

步骤

1)关闭防火墙和禁用SELinux

切换到root用户

关闭防火墙:service iptables stop

禁用SELinux

vim /etc/sysconfig/selinux 设置SELinux=disabled

2)设置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

3)修改主机名(hostname)

vim /etc/sysconfig/network

4)IP与hostname绑定

作用:可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程

vim /etc/hosts

内容显示如下

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.217.150 linux.chaofn.org linux

然后在window下的C:\Windows\System32\drivers\etc目录下有一个hosts文件,打开写入

192.168.217.150 linux.chaofn.org linux

5)设置SSH自动登录(所有守护进程通过SSH协议进行通信)

免秘钥设置,方便namenode向datanode的访问

切换到普通用户

输入命令 ssh-keygen -t rsa

默认是在~/.ssh/目录下

drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700,要改为644

进入.ssh目录,有两个文件id_rsa  id_rsa.pub,一个是私钥,一个是公钥

然后复制一份id_rsa.pub,命令:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)

测试.命令 ssh localhost

ssh linux.chaofn.org

6)Hadoop环境变量配置:

vim /etc/profile   添加如下内容:

#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

7)修改conf目录下的配置文件

配置core-site.xml

配置hdfs-site.xml

配置mapred-site.xml、masters、slaves

8)格式化namenode

命令:hadoop namenode -format

注意格式化过程中出现的错误提示,仔细检查

9)启动Hadoop

命令:start-all.sh(启动方式有很多种)

通过jps命令查看五个进程是否全部启动

通过window的网页界面查看

输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动

注意一定要关闭linux下的防火墙,不然window无法访问

时间: 2024-08-06 07:55:03

Hadoop伪分布式部署的相关文章

大数据之---hadoop伪分布式部署(HDFS)全网终极篇

1.软件环境RHEL6 jdk-8u45 hadoop-2.8.1.tar.gz ssh xx.xx.xx.xx ip地址 hadoop1 xx.xx.xx.xx ip地址 hadoop2 xx.xx.xx.xx ip地址 hadoop3 xx.xx.xx.xx ip地址 hadoop4 xx.xx.xx.xx ip地址 hadoop5 本次部署只涉及伪分布式部署只是要主机hadoop1 2.伪分布式部署伪分布式部署文档参考官方网站hadoopApache > Hadoop > Apache

windows下hadoop的单机伪分布式部署(3)

下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件 在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hadoop-eclipse-pligin-1.2.1.jar; 而是提供了源代码文件,需要我们自行重新编译成jar包文件:这里方便,大家可以从这里下载: hadoop-eclipse-plugin-1.2.1.jar.pdf 由于博客上传文件的类型限制,故添加了pdf后缀,下载之后重命名,去掉".pdf&

windows下hadoop的单机伪分布式部署(1)

hadoop的运行环境应该是在linux环境.如果想在windows环境下安装和运行hadoop,一般有两种方式:一种是VM的方式linux操作系统,这样可以实现全linux环境的hadoop运行:另一种方式安装cygwin模拟linux环境,该方法相对比较简单方便. 本文采取cywin的方式.下面将介绍下cygwin的安装与配置: (1)cygwin的安装 下载cygwin安装文件:http://cygwin.com; 我用的是64位版:操作系统为win7: 下载的setup文件实际上只是一个

windows下hadoop的单机伪分布式部署(2)

下面开始hadoop的安装与配置: (1)安装jdk 我安装的是JDK1.7.0_40,windows x64版的 下载完之后,直接点击安装, 我的安装路径为默认路径:C:\Program Files\Java\jdk1.7.0_40: 安装完毕后,设置环境变量: JAVA_HOME指向JDk安装目录 PATH指向JDK的bin目录 设置完成之后,在cmd中 输入java命令,如果出现一下画面,即为安装成功: (2)安装hadoop 下载hadoop,http://hadoop.apache.o

Hadoop伪分布式的部署

一.部署前的准备 (1)软件 一个空白的CentOS映像文件 Xshell(用于传输文件) (2)虚拟机配置 网络配置:网络适配器选择桥接 ip地址.子网掩码.网关.DNS服务器地址 =>可以在安装时的图形界面完成配置 =>也可以 vim /etc/sysconfig/network-script/ifcfg-ens33 修改 具体如下: IPADDR="192.168.124.x" (和网关在同一网段) NETMASK="255.255.255.0"

hadoop2.5.1伪分布式部署

可参阅官方文档 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 文件下载: http://mirrors.hust.edu.cn/apache/hadoop/common/ 注:可直接使用2.5.2或2.6.0版本   都解决了2.5.1中不稳定bug 1       伪分布式部署 以测试通过的为例 Linux version 2.6.32-431.el6.x86

Hadoop1 Centos伪分布式部署

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功.       2.自己打包hadoop在eclipse

Hadoop2 伪分布式部署

一.简介 二.安装部署 三.运行hadoop例子并测试部署环境 四.注意的地方 一.简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)

大数据之伪分布式部署之终极篇

------------------------------软件版本-------------------------------------- RHEL6.8 hadoop2.8.1 apache-maven-3.3.9 ? ? ? findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45 ------------------------------软件版本--------------------------------------- 1.Hadoop宏观: