Ubuntu 安装hadoop 伪分布式

一、安装JDK  ： http://www.cnblogs.com/E-star/p/4437788.html

二、配置SSH免密码登录
1、安装所需软件
        sudo apt-get install install ssh
2、配置ssh免密码登录
        ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
        ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器
2、解压
        tar -xvf hadoop-1.0.4.tar
3、配置Hadoop
        以下四个配置文件均在Hadoop解压文件夹的conf/目录下
        （1）、配置hadoop-env.sh
        修改JAVA_HOME：
        export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_35
        （2）、配置core-site.xml
        修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号
        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
        （3）、配置hdfs-site.xml
        修改Hadoop中HDFS的配置，配置的备份方式默认为3，因为安装的是单机版，所以需要改为1
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
        （4）、配置mapred-site.xml
        修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
          </configuration>
4、初始化HDFS
        bin/hadoop namenode -format
5、启动所有Hadoop服务
        bin/start-all.sh
6、验证是否安装成功
        打开浏览器，分别输入以下网址：
        http://localhost:50030 (MapReduce的Web页面)
        http://localhost:50070 (HDfS的web页面)
        如果能成功访问，则说明Hadoop安装成功

时间： 2024-11-05 22:32:48

Ubuntu 安装hadoop 伪分布式的相关文章

centos安装hadoop(伪分布式)

在本机上装的CentOS 5.5 虚拟机, 软件准备:jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gz ssh检查配置 Linux代码   [[email protected] ~]# ssh-keygen -t  rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root

安装Hadoop伪分布式踩过的坑

折腾了好几天的问题,终于解决了.虽然这次遇到的问题没在网络上找到答案,不过,解决问题的过程或多或少受到了网上一些答案的启发.下面我将分享自己遇到的问题,并提供解决方法. (一).相关资料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html #官网指导 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html #shell命令 https://blog.csdn.net/jsutdoi

安装hadoop伪分布式

修改hosts cat /etc/hosts 127.0.0.1 mo.don.com 创建用户 useradd hadoop passwd hadoop sudo授权 visudo hadoop ALL=(ALL) NOPASSWD: ALL 切换用户 su - hadoop 下载解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz tar xf hadoop-3.1.2.t

Window 10 WSL 下hadoop 伪分布式安装

Window 10 下的WSL子系统的安装可以参考之前的文章:window10 WSL子系统上设置redis开发环境 有时候,为了在window系统上进行hadoop开发和测试,可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04,所以下面的安装以此为参考 下面是具体的配置步骤: 1:JDK的安装配置:这是必不可少的步骤 2:ssh的安装配置:Ubuntu SSH安装及配置免密码登录,安装完后可以用 ssh localhost来验证是否成功 3:hadoop伪

Hadoop伪分布式的搭建

实验平台: Virtual Box 4.3.24 CentOS7 JDK 1.8.0_60 Hadoop 2.6.0 Hadoop基本安装配置主要包括以下几个步骤: 1)创建Hadoop用户 2)安装Java 3)设置SSH登陆权限 4)单机安装配置 5)伪分布式安装配置 1.1 创建Hadoop用户 linux创建用户的命令是useradd,设置密码的命令是passwd 在CentOS下,首先我们通过useradd命令创建一个Hadoop用户组,它的密码也是Hadoop: useradd ha

Hadoop伪分布式环境配置

Step1:关闭防火墙   service iptables stop[status]  service iptables status  chkconfig --list |grep iptables  chkconfig iptables offStep2:修改IP   (重启网卡:service network restart)Step3:修改hostname  /etc/hostsStep4:SSH免密码登陆  产生密钥(~/.ssh中)ssh-keygen -t rsa   cd ~/

Hadoop初体验：快速搭建Hadoop伪分布式环境

0.前言 本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境. 对使用的系统环境作如下说明: 操作系统:CentOS 6.5 64位 主机IP地址:10.0.0.131/24 主机名:leaf 用户名:root hadoop版本:2.6.5 jdk版本:1.7 可以看到,这里直接使用root用户,而不是按照大多数的教程创建一个hadoop用户来进行操作,就是为了达到快速搭建Had

构建Hadoop伪分布式环境

构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简单的作业 可能遇到的问题及解决办法 配置伪分布式环境 本文中的内容基于Hadoop2,即MapReduce作业运行在Yarn平台之上. 打通SSH,实现无密码登陆 由于Hadoop控制脚本需要登陆到集群中的Slave节点执行操作(比如,启动守护进程),如果每一次登录都输入密码,显然不是个好办法.集群

Hadoop伪分布式搭建步骤

说明: 搭建环境是VMware10下用的是Linux CENTOS 32位,Hadoop:hadoop-2.4.1  JAVA :jdk7 32位:本文是本人在网络上收集的HADOOP系列视频所附带的课堂笔记(这里直接抄过来的,望原谅,我不是坏人),记录备忘. 开始前让我们简单修改下LINUX系统的JDK:一般情况下,我们都要将linux自带的OPENJDK卸载掉,然后安装SUN的JDK(下面的代码来源网络,请注意真实自己环境) <1> 查看已经安装的JAVA版本信息 # java -vers