hadoop全分布式安装

1、统一安装jdk

这里准备4台虚拟机,给其他三台都安装jdk

分别更改hostname为slave1、slave2、slave3.

vim /etc/sysconfig/network

hostname slave1

统一更改hosts文件vim /etc/hosts

IP master
IP slave1
IP slave2
IP slave3

vim /etc/sysconfig/selinux

配置

关闭防火墙

/etc/init.d/iptables stop

setenforce 0

getenforce

完成ssh免密登陆配置:将master公钥拷贝到3个节点~/.ssh文件夹下

scp authorized_keys slave1:~/.ssh

备份为分布式

cp -r hadoop/ hadoop_pseudo

2配置hadoop环境变量

vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-2.6.5/full</value>
  </property>
</configuration>

full:全分布式文件存放文件夹

vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave1:50090</value>
  </property>
</configuration>

副本数:2(存2个块)看2个块再3个节点副本搭配

slave1: secondarynode节点

vim slaves 配置hadoop从节点

slave1

slave2

slave3

分发hadoop包

scp -r hadoop slave1:/usr/local/src

hdfs namenode -format

start-dfs.sh

jps检查

观察错误,看日志

谁没起来区那个目录找日志 tail -100 hadoop-root-datanode-slave1.log

50070浏览器节点

分享一下hadoop官方文档地址:https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/ClusterSetup.html

原文地址:https://www.cnblogs.com/kb666666/p/11783050.html

时间: 2024-10-05 05:50:00

hadoop全分布式安装的相关文章

Hadoop完全分布式安装教程

软件版本 Hadoop版本号:hadoop-2.6.0-cdh5.7.0: VMWare版本号:VMware 9或10 Linux系统:CentOS 6.4-6.5 或Ubuntu版本号:ubuntu-14.04.1-desktop-i386 Jdk版本号:Jdk1.7.0._79 后三项对版本要求不严格,如果使用Hbase1.0.0版本,需要JDK1.8以上版本 安装教程 1.VMWare安装教程 VMWare虚拟机是个软件,安装后可用来创建虚拟机,在虚拟机上再安装系统,在这个虚拟系统上再安装

吴超老师课程---hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode            从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker    1.2 各节点重新产生ssh加密文件    1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息    1.4 两两节点之间的SSH免密码登陆            ss

hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode     从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息 1.4 两两节点之间的SSH免密码登陆   ssh-copy-id -i  hadoop1   s

Hadoop全分布式集群环境配置

Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS

hadoop完全分布式安装

1.安装环境是vmware workstation10.0模拟出三个虚拟节点,每一个节点安装Ubuntu12.04 LTS操作系统,主机名分别是hadoop1.hadoop2以及hadoop3.同时在每一个节点安装好java.安装方法同之前介绍的伪分布式安装方法一样. 2.接着是对三个节点的hosts文件进行配置,先用ifconfig命令查看三个节点的ip地址,然后用sudo vim /etc/hosts命令打开hosts文件,统一编辑如下: 3.配置完hosts文件之后,设置ssh无密码互联.

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境 1.1所需软件包 a.CentOS-6.5-i386-LiveDVD.iso 32位centos系统 b.jdk-7u71-linux-i586.rpm 32位jdk-Linux rpm文件 c.hadoop-2.2.0.tar.gz  hadoop安装包 d.zookeeper-3.4.6.tar.gz  zookeeper安装包 1.2运行环境 a.VMware9.0及以上版本虚拟机工具 b.创建三个虚拟机节点 c.网卡模式设置为桥接模式 1.3节点信息 Hadoop1 192.

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

Hadoop全分布式集群搭建(详细)

一.准备物理集群.1.物理集群搭建方式.采用搭建3台虚拟机的方式来部署3个节点的物理集群.2.虚拟机准备.准备一个已近建好的虚拟机进行克隆.(建议为没进行过任何操作的)在要选择克隆的虚拟机上右击鼠标,管理,克隆.在弹出对话框中进行以下操作.(1).下一步.(2).选择虚拟机中的当前状态,下一步. (3).选择创建完整克隆,下一步.(4).输入虚拟机名称,下一步.(5).克隆完成.(6).按照上述步骤再创建一个虚拟机名称为slave02的.3.虚拟机网络配置.由于slave01和slave02虚拟