Hadoop学习------Hadoop安装方式之(一):单机部署

Hadoop 默认模式为单机(非分布式模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。

1、创建用户

1.1创建hadoop用户组和用户

一般我们不会经常使用root用户运行hadoop,所以需要创建一个平常运行和管理hadoop的用户;

有2种方式,选择任意一种即可

方法1:先创建hadoop用户组 (不同Linux系统命令不同)

sudo groupadd(或者addgroup) hadoop

再创建hadoop用户

sudo useradd(或者 adduser)  –g  hadoop hadoop

前一个hadoop是用户组,后一个hadoop是用户

修改 hadoop用户的密码

passwd hadoop

方法2:先创建hadoop 用户

sudo useradd(或者 adduser)

passwd hadoop

在创建hadoop用户的同时也创建了hadoop用户组,下面我们把hadoop用户加入到hadoop用户组输入

sudo usermod -a -G hadoop hadoop

1.2给hadoop用户赋予root权限

vi /etc/sudoers

在文件中找到一行文字如下:

# User privilege specification

root ALL=(ALL) ALL

在root下面加上一行

hadoop ALL=(ALL) ALL

然后 保存退出,这样hadoop用户就有了root权限。

2 安装JDK并配置好环境变量

这里不再过多说明,详情见 Linux系统上安装、卸载JAVA、TOMCAT的方法

3 修改机器名

进入/etc/sysconfig/network (ubuntu系统修要修改/etc/hostname)

vi /etc/sysconfig/network   修改主机名为master

4.安装SSH 服务,建立SSH无密码登录本机

4.1 如果本机没有安装SSH

sudo apt-get install ssh

4.2设置本机无密码登录

  

具体步骤如下:

第一步:产生密钥

$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

第二部:导入authorized_keys

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

第二部导入的目的是为了无密码等,这样输入如下命令:

ssh localhost     无需密码直接进入

5安装Hadoop

5.1从官网下载Hadoop最新版2.7.0

进入到 /usr/loca         cd /usr/local

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

然后解压缩    tar zxvf /root/hadoop-2.7.0.tar.gz

然后将解压后的文件重命名为hadoop     mv hadoop-2.7.0 hadoop

5.2设置环境变量

vi /etc/profile

找到PATH  在最后面添加   :/usr/local/hadoop/bin      或者

export PATH=/usr/local/hadoop-2.7.0/bin:$PATH

使配置生效   source /etc/profile

设置Hadoop的JAVA_HOME

cd  /usr/local/hadoop

vi etc/hadoop/hadoop-env.sh

找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径

5.3测试是否安装成功 单机模式

cd /usr/local/hadoop

./bin/hadoop version  可以查看hadoop版本信息

现在我们可以执行一些例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoo/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

cd /usr/local/hadoop

mkdir ./input   创建目录

cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+‘

然后我们可以查看运行结果      cat ./output/*

执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词 dfsadmin 出现了1次

    注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。  rm -r ./output

cd /usr/local/hadoop     jps

执行 hadoop fs –ls

至此  单机模式已经部署完成。

时间: 2024-11-09 16:15:49

Hadoop学习------Hadoop安装方式之(一):单机部署的相关文章

hadoop学习;安装jdk,workstation虚拟机v2v迁移;虚拟机之间和跨物理机之间ping网络通信

JDK 在Ubuntu下的安装 与 环境变量的配置 前期准备工作: 找到  JDK 和 配置TXT文件  并复制到桌面下  不是文件夹 而是文件复制到桌面下 下面的命令部分就直接复制粘贴就可以了 1.配置root用户 使用快捷键 Ctrl + Alt + T  打开终端 输入命令:sudo passwd root 在需要输入密码的地方 输入 123456  (注意 需要输入3次 每次输入的时候在屏幕上是不显示出来的) 2.启用root用户 在终端输入命令:su root 输入密码:123456

Hadoop学习------Hadoop安装方式之(三):分布式部署

这里为了方便直接将单机部署过的虚拟机直接克隆,当然也可以不这样做,一个个手工部署. 创建完整克隆-->下一步-->安装位置.等待一段时间即可. 我这边用了三台虚拟机,分别起名master,slave1.slave2 1.修改主机名.ip 1.1关闭防火墙 CentOS系统默认开启了防火墙,在开启 Hadoop 集群之前,需要关闭集群中每个节点的防火墙.有防火墙会导致 ping 得通但 telnet 端口不通,从而导致 DataNode 启动了,但 Live datanodes 为 0 的情况.

Hadoop学习笔记——安装Hadoop

sudo mv /home/common/下载/hadoop-2.7.2.tar.gz /usr/local sudo tar -xzvf hadoop-2.7.2.tar.gz sudo mv hadoop-2.7.2 hadoop #改个名 在etc/profile文件中添加 export HADOOP_HOME=/usr/local/hadoop export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin  1.修改/usr/local/hado

Hadoop学习-hdfs安装及其一些操作

hdfs:分布式文件系统 有目录结构,顶层目录是:  /,存的是文件,把文件存入hdfs后,会把这个文件进行切块并且进行备份,切块大小和备份的数量有客户决定. 存文件的叫datanode,记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 配置域名映射 vim /etc/hosts 主机名:hdp-01  对应的ip地址:192.168.33.61 主机名:hdp-02  对应的ip地址:192.168.33.62 主机名:hdp-0

hadoop学习笔记——基础知识及安装

1.核心 HDFS  分布式文件系统    主从结构,一个namenoe和多个datanode, 分别对应独立的物理机器 1) NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作.NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责数据块到具体DataNode的映射 2)集群中的DataNode管理存储的数据.负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建删除和复制工作. 3)NameNode是所有

Hadoop:Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在docker中配置的hadoop单机伪分布式[Hadoop:Hadoop单机伪分布式的安装和配置 ],并且在docker只有root用户,所有没有权限问题存在. 这里直接在linux下配置,主要是为了能用netbeans ide调试hadoop程序,并且使用的用户就是开机时登录的用户pika. 本教程配置

hadoop学习---2.cygwin及sshd安装配置

cygwin是一个在windows平台上运行的unix模拟环境,是cygnus solutions公司开发的自由软件(该公司开发了很多好东西,著名的还有eCos,不过现已被Redhat收购).它对于学习unix/linux操作环境,或者从unix到windows的应用程序移植,或者进行某些特殊的开发工作,尤其是使用gnu工具集在windows上进行嵌入式系统开发,非常有用. 在进行hadoop的windows安装后,第二步就是cygwin的安装,虽然很多人建议在linux环境下来进行hadoop

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop学习笔记_8_实施Hadoop集群 --分布式安装Hadoop

实施Hadoop集群 --分布式安装Hadoop 说明: 以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为: 192.168.139.129 master #NameNode/JobTrackerr结点 192.168.139.132 slave01 #DataNode/TaskTracker结点 192.168.139.137 slave02 #DataNode/TaskTracker结点 一.配置ssh实现Hadoop节点间用户的无密