hadoop伪分布式系统安装部署

1.软件下载:
    wget http://apache.dataguru.cn/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
    wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

2.配置安装java:
    tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/local
    cd /usr/local
    chown -R root. /usr/local/jdk1.7.0_79
    ln -s jdk1.7.0_79 jdk
    echo ‘export PATH=/usr/local/java/bin:$PATH;‘ >/etc/profile.d/java.sh
    echo ‘export JAVA_HOME=/usr/local/java‘ >>/etc/profile
    source /etc/profile.d/java.sh
    source /etc/profile
    java -version

3.安装hadoop:
    useradd hadoop
    passwd hadoop
    tar -zxvf hadoop-2.7.0.tar.gz -C /usr/local
    chown -R hadoop:hadoop /usr/local/hadoop-2.7.0
    echo ‘export PATH=/usr/local/hadoop/bin:/usr/local/hadoop/sbin:$PATH;‘>/etc/profile.d/hadoop.sh
    source /etc/profile.d/hadoop.sh    
    hadoop -version
    echo ‘127.0.0.1 myhost3‘ >/etc/hosts
    修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh的JAVA_HOME为绝对路径:
    export JAVA_HOME=/usr/local/java
4.配置hadoop:
    su - hadoop
    cd /usr/local/hadoop/etc/hadoop;
    mkdir -p /home/hadoop/temp

4.1配置core-site.xml
    <configuration>  
    <property>
    <name>fs.default.name</name>
    <value>hdfs://myhost3:9000/</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/temp</value>
    </property>
    </configuration>

4.2配置mapred-site.xml
    <configuration>    
    <property>    
    <name>mapred.job.tracker</name>    
    <value>myhost3:9001</value>    
    </property>    
    </configuration>
    
    4.3配置hdfs-site.xml
    <configuration>    
    <property>    
    <name>dfs.replication</name>    
    <value>1</value>    
    </property>    
    </configuration>
    
    4.4配置ssh互信:
    ssh-keygen -t rsa
    ssh-copy-id -i ~/.ssh/id_rsa.pub  myhost3
    ssh myhost3 "date"
    4.5格式化HDFS系统
    /usr/local/hadoop/bin/hadoop namenode -format
5.启动hadoop:
    start-all.sh

6.检查验证:
    [[email protected] ~]$ jps
    7365 NodeManager
    7662 Jps
    6800 NameNode
    6902 DataNode
    7250 ResourceManager
    7039 SecondaryNameNode

时间: 2024-08-10 15:05:07

hadoop伪分布式系统安装部署的相关文章

Hadoop伪分布式的部署

一.部署前的准备 (1)软件 一个空白的CentOS映像文件 Xshell(用于传输文件) (2)虚拟机配置 网络配置:网络适配器选择桥接 ip地址.子网掩码.网关.DNS服务器地址 =>可以在安装时的图形界面完成配置 =>也可以 vim /etc/sysconfig/network-script/ifcfg-ens33 修改 具体如下: IPADDR="192.168.124.x" (和网关在同一网段) NETMASK="255.255.255.0"

Hadoop伪分布式模式部署(接单机模式)

一.相关配置文件修改 ①修改core-site.xml: $ su -l hadoop $ cd /usr/local/hadoop/ $ sudo vi etc/hadoop/core-site.xml <configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     &l

Hadoop伪分布模式配置部署

二.Hadoop伪分布式模式配置 本实验需要按照上一节单机模式部署后继续进行操作 1. 配置core-site.xml, hdfs-site.xml,mapred-site.xml及yarn-site.xml 1).修改core-site.xml: $ sudo gvim /usr/local/hadoop/etc/core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl"

3-2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 hadoop2.7.6 CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有hadoop基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

阿里云服务器centos7.3下搭建hadoop伪分布式环境

一.软硬件环境 CentOS 7.2 64位 OpenJDK-1.8.0 Hadoop-2.7 二.安装SSH客户端 安装ssh: yum install openssh-clients openssh-server 安装完成后,使用以下命令测试: ssh localhost输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题. 配置SSH免key登陆 hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本

Hadoop伪分布式的搭建

实验平台: Virtual Box 4.3.24 CentOS7 JDK 1.8.0_60 Hadoop 2.6.0 Hadoop基本安装配置主要包括以下几个步骤: 1)创建Hadoop用户 2)安装Java 3)设置SSH登陆权限 4)单机安装配置 5)伪分布式安装配置 1.1 创建Hadoop用户 linux创建用户的命令是useradd,设置密码的命令是passwd 在CentOS下,首先我们通过useradd命令创建一个Hadoop用户组,它的密码也是Hadoop: useradd ha

Hadoop伪分布式环境配置

Step1:关闭防火墙   service iptables stop[status]  service iptables status  chkconfig --list |grep iptables  chkconfig iptables offStep2:修改IP   (重启网卡:service network restart)Step3:修改hostname  /etc/hostsStep4:SSH免密码登陆  产生密钥(~/.ssh中)ssh-keygen -t rsa   cd ~/

Hadoop初体验:快速搭建Hadoop伪分布式环境

0.前言 本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境. 对使用的系统环境作如下说明: 操作系统:CentOS 6.5 64位 主机IP地址:10.0.0.131/24 主机名:leaf 用户名:root hadoop版本:2.6.5 jdk版本:1.7 可以看到,这里直接使用root用户,而不是按照大多数的教程创建一个hadoop用户来进行操作,就是为了达到快速搭建Had

构建Hadoop伪分布式环境

构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简单的作业 可能遇到的问题及解决办法 配置伪分布式环境 本文中的内容基于Hadoop2,即MapReduce作业运行在Yarn平台之上. 打通SSH,实现无密码登陆 由于Hadoop控制脚本需要登陆到集群中的Slave节点执行操作(比如,启动守护进程),如果每一次登录都输入密码,显然不是个好办法.集群