Hadoop伪分布安装

1.hadoop的伪分布安装
1.1 设置ip地址
    执行命令    service network restart
    验证:    ifconfig
1.2 关闭防火墙
    执行命令    service iptables stop
    验证:        service iptables status
1.3    关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候)
    执行命令    chkconfig iptables off
    验证:        chkconfig --list | grep iptables
1.4 设置主机名
    执行命令    (1)hostname chaoren
                (2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
    执行命令    vi /etc/hosts
    验证:        ping chaoren
1.6 设置ssh免密码登陆
    执行命令    (1)ssh-keygen -t rsa
                (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:        ssh chaoren
1.7 安装jdk
    执行命令    (1)cd /usr/local
                (2)chmod u+x jdk-6u24-linux-i586.bin
                (3)./jdk-6u24-linux-i586.bin
                (4)mv jdk-1.6.0_24  jdk
                (5)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export PATH=.:$JAVA_HOME/bin:$PATH
                (6)source /etc/profile
    验证:    java -version
1.8 安装hadoop
    执行命令    (1)tar -zxvf hadoop-1.1.2.tar.gz
                (2)mv hadoop-1.1.2 hadoop
                (3)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export HADOOP_HOME=/usr/local/hadoop
                                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
                (4)source /etc/profile
                (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
                (6)hadoop namenode -format
                (7)start-all.sh
    验证:    (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
            (2)在浏览器查看,http://chaoren:50070  http://chaoren:50030
1.9 启动时没有NameNode的可能原因:
    (1)没有格式化
    (2)环境变量设置错误
    (3)ip与hostname绑定失败
时间: 2024-10-25 04:27:57

Hadoop伪分布安装的相关文章

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪

hadoop伪分布安装步骤

2.hadoop的伪分布的安装步骤: 1.1设置静态IP 在centos桌面右上角图标,右键修改 重启网卡,执行命令service network restart 验证:ifconfig 1.2 修改主机名 <1> 修改当前会话中的主机名,执行命令hostname hadoop <2> 修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network 验证:重启机器 1.3 把hostname和ip绑定 执行命令 vi /etc/hosts 增加一行192.16

转载 hadoop 伪分布安装

一. 概要        经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式.Hadoop 本身是无法区分伪分布式和分布式的,两种配置也很相似,唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均是一个机器.虽然Hadoop的 安装步骤并不复杂,但是我在安装期间还是遇到了很多琐碎的问题,现

Hadoop伪分布安装详解(二)

目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ********************  1.修改主机名和用户名 修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME= 为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行 vi /etc/host

linux配置Hadoop伪分布安装模式

1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SELinux: 查看SELinux状态: 1./usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态 SELinux status:                 enabled 2.getenforce              

2015.07.12hadoop伪分布安装

hadoop伪分布安装 ? Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168.1.99重启网卡,网关192.168.1.1是物理机下面的默认网关, 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0 ? 修改内容: TYPE="Ethernet" BOOTPROTO="static" ONBOOT=&

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

hadoop伪分布下的sqoop基本安装配置

1.环境工具版本介绍 centos6.4(Final) jdk-7u60-linux-i586.gz hadoop-1.1.2.tar.gz sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz mysql-5.6.11.tar.gz 2.安装centos 参照网上Ultra的使用制作了U盘启动,直接格式化安装系统,具体做法网上资料很多,但注意最好不要在安装时改主机名称,也最好不要利用图形化界面添加用户,因为我出过问题重做了系统,这些terminal中都能完成的 3.安装jd

Hadoop伪分布环境搭建——Linux环境配置

hadoop最近可以说是相当火,也勾起了我的兴趣,所以打算学习一下.想要学习hadoop肯定要先学会在自己的电脑上搭建一个hadoop伪分布环境.伪分布模式安装步骤的第一步就是要配置Linux环境.我自己的Linux是Ubuntu系统,不过只要是Linux系统,都大同小异,配置步骤基本没啥区别. 首先,需要进行本地网络配置.我们需要在linux系统下新增一个网络连接,自己设定好ip(ipv4)地址,子网掩码和网官.下图是我的设置: 接下来,还需要在window本地连接上也设置windows下的i