Hadoop1.x 安装

目前hadoop1的稳定版本是1.2.1,我们以版本1.2.1为例详细的介绍hadoop1的安装,此过程包括OS安装与配置,JDK的安装,用户和组的配置,这些过程在hadoop2也有可能用到. Hadoop 版本:1.2.1 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 namenode, datanode, secondNameNode jobtracker, tasktracer H

1.      配置主机的名称 master,slave1,slave2 2.      安装JDK: 3.      配置IP与主机名称的映射: 192.168.0.100 master 192.168.0.101 slave1 192.168.0.103 slave2 4.      配置ssh免密码登陆: Ssh-keygen –t rsa 5.      解压hadoop的安装文件 6.      修改hadoop-env.sh, core-site.xml, hdfs-site.xml

1.在安装Hadoop之前,需要先安装JDK和SSH. Hadoop采用Java语言开发,MapReduce的运行和Hadoop的编译都依赖于JDK.因此必须先安装JDK1.6或更高版本(在实际生产环境下一般采用JDK1.6,因为Hadoop的部分组件不支持JDK1.7及以上版本).Hadoop利用SSH来启动Slave机器上的守护进程,对于在单机上运行的伪分布式,Hadoop采用了与集群相同的处理方式.所以SSH也是必须安装的. JDK1.6的安装配置步骤: (1)从网上下载JDK1.6的安装

一.需求 公司线上运行有hadoop1.0和hadoop2.0,由于hadoop1.0没有处理jobtracker失败机制,它是一个单点故障,但业务还是以1.0为主,会慢慢过渡到2.0.以下我将以公司目前环境把写1.0部署步聚写出来 二.知识点储备 1.hadoop中NameNode.DataNode.Secondary.NameNode.JobTracker TaskTracker介绍 http://zouqingyun.blog.51cto.com/782246/1656353 2.Hado

1.安装环境是vmware workstation10.0模拟出三个虚拟节点,每一个节点安装Ubuntu12.04 LTS操作系统,主机名分别是hadoop1.hadoop2以及hadoop3.同时在每一个节点安装好java.安装方法同之前介绍的伪分布式安装方法一样. 2.接着是对三个节点的hosts文件进行配置,先用ifconfig命令查看三个节点的ip地址,然后用sudo vim /etc/hosts命令打开hosts文件,统一编辑如下: 3.配置完hosts文件之后,设置ssh无密码互联.

---恢复内容开始--- 前面花了很多时间来介绍hadoop1的安装,随着hadoop的发展,hadoop2的应用也越来越普及,hadoop2解决了hadoop1中的很多问题,比如单点故障,namenode容量小的问题. 我们先来安装最简单的版本 Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 NameNode, DataNode, SecondaryNam

最近尝试了一下mysql的读写分离和高可用的搭建.搭好之后体验了一下,效果还不错.这里跟大家分享一下. 1.首先介绍一下mysql-mmm这个工具是干嘛使的? 众所周知,mysql自身提供了AB复制.我们也可以很轻松的实现master-master双向复制,同时再为其中的一个master节点搭建一个slave库.这样就实现了master1与master2之间的双向复制,同时master1与slave1之间主从复制这样的架构.这样整个体系中就存在两个master,正常情况下只有一个master对外

全篇主要依赖下面2篇文章 http://quenlang.blog.51cto.com/4813803/1571635 http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html#!comments 一 资源下载 ganglia-3.6.0.tar.gz ganglia-web-3.6.2.tar.gz nagios : http://sourceforge.net/projects/nagios/files/nagios-4.x/

异常描述 在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: Java代码 [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG