centos7搭建hadoop2.10完全分布式

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode)

IP hostname 进程
192.168.30.141 s141 nn(namenode)
192.168.30.142 s142 dn(datanode)
192.168.30.143 s143 dn(datanode)
192.168.30.144 s144 dn(datanode)


由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克隆,克隆出剩余机器,并修改hostname和IP,这样每台机器配置就都统一了每台机器配置 添加hdfs用户及用户组,配置jdk环境,安装hadoop   见 :centos7搭建hadoop2.10伪分布模式

下面是安装完全分布式的一些步骤和细节:

1.设置每台机器的hostname 和 hosts

设置hostname,这里用s+ip最后一组数字(如:192.168.30.141为s141),修改一下文件

vim /etc/hostname

修改hosts文件,hosts设置有后可以使用hostname访问机器,这样比较方便,修改如下:

127.0.0.1 locahost
192.168.30.141 s141
192.168.30.142 s142
192.168.30.143 s143
192.168.30.144 s144

2.配置无密登录,即ssh无密登录

我们将s141设置为nn,就需要s141能够通过ssh无密登录到其他机器,这样就需要在s141机器hdfs用户下生成密钥对,并将s141公钥发送到其他机器放到~/.ssh/authorized_keys文件中

在s141机器上生成密钥对:

ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa

执行命令后

说明成功了,查看 ~/.ssh下是否生成密钥对:

将id_rsa.pub文件内容追加到s141-s144机器的/home/centos/.ssh/authorized_keys中,现在其他机器暂时没有authorized_keys文件,我们就将id_rsa.pub更名为authorized_keys即可,如果其他机器已存在authorized_keys文件可以将id_rsa.pub内容追加到该文件后,远程复制可以使用scp命令:

scp id_rsa.pub [email protected]:/home/hdfs/.ssh/authorized_keys
scp id_rsa.pub [email protected]:/home/hdfs/.ssh/authorized_keys
scp id_rsa.pub [email protected]:/home/hdfs/.ssh/authorized_keys
scp id_rsa.pub [email protected]:/home/hdfs/.ssh/authorized_keys

s141机器可以使用cat生成authorized_keys文件

cat id_rsa.pub >> authorized_keys

此时authorized_keys文件权限需要改为644(注意,经常会因为这个权限问题导致ssh无密登录失败)

chmod 644 authorized_keys

3.配置hadoop配置文件(${hadoop_home}/etc/hadoop/)

core-sit.xml:

        <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://s141/</value>
                </property>
        </configuration>        

hdfs-site.xml:

     <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                        <name>dfs.replication</name>
                        <value>3</value>
                </property>
        </configuration>

mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
</configuration>

yarn-site.xml:

<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>s141</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves(指定数据节点):

s142
s143
s144

hadoop-env.sh(配置jdk环境变量):

export JAVA_HOME=/opt/soft/jdk

4.将s141中hadoop配置文件分发大其他机器上,使用scp

scp -r hadoop [email protected]:/opt/soft/hadoop/etc/
scp -r hadoop [email protected]:/opt/soft/hadoop/etc/
scp -r hadoop [email protected]:/opt/soft/hadoop/etc/

5.格式化hdfs

首先删除/tmp/下相关hadoop文件,可以直接清空,删除${hadoop_home}/logs 下日志文件

格式化文件系统

hadoop namenode -format

6.启动hadoop

start-all.sh

7.验证启动是否成功

使用jps查看进程

nn:

dn:

页面访问:http://192.168.30.141:50070

说明启动成功

原文地址:https://www.cnblogs.com/qixing/p/12239340.html

时间: 2024-10-07 15:54:35

centos7搭建hadoop2.10完全分布式的相关文章

centos7搭建hadoop2.10伪分布模式

1.准备一台Vmware虚拟机,添加hdfs用户及用户组,配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户,并设置密码: adduser hdfs passwd hdfs 将hdfs用户添加到hdfs用户组中 usermod -a -G hdfs hdfs 前面一个hdfs是组名,后面一个hdfs是用户名 验证用户和用户组: cat /etc/group 会看到   hdfs:x:1001:hdfs 将h

Docker中自动化搭建Hadoop2.6完全分布式集群

这一节将在<Dockerfile完成Hadoop2.6的伪分布式搭建>的基础上搭建一个完全分布式的Hadoop集群. 1. 搭建集群中需要用到的文件 [[email protected] hadoop-cluster]# ll total 340648# 用自动化构建集群的脚本 -rwxr-xr-x. 1 root root 2518 Aug 13 01:20 build-cluster.sh# 使用scp 来下载的文件的脚本 -rwxr-xr-x. 1 root root 314 Aug 1

CentOS7搭建FastDFS V5.11分布式文件系统-第二篇

1.CentOS7 FastDFS搭建 前面已下载好了要用到的工具集,下面就可以开始安装了: 如果安装过程中出现问题,可以下载我提供的,当前测试可以通过的工具包: 点这里点这里 1.1 安装libfastcommon 安装成功后解压libfastcommon-master.zip unzip libfastcommon-master.zip [[email protected] libfastcommon-1.0.36]# ll drwxr-xr-x. 2 root root 4096 4月 5

CentOS7搭建FastDFS V5.11分布式文件系统(一)

1.绪论 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的过程中遇到过很多的问题,为了能帮忙到以后搭建FastDFS的同学,少走弯路,与大家分享一下.FastDFS的作者淘宝资深架构余庆,这个优秀的轻量及的分布式文件系统的开源没多久,立马就火了.由于篇幅较大,本博文共四篇,第一篇主要介绍FastDFS,下载相关软件包,为搭建做好准备.第二篇会讲到在CentOS下搭建FastDFS的详细过程.第三篇,会讲到整合nginx详细内容.第四篇主要讲FastDFS在怎么用fastdfs

CentOS7搭建FastDFS V5.11分布式文件系统(二)

1.CentOS7 FastDFS搭建 前面已下载好了要用到的工具集,下面就可以开始安装了: 如果安装过程中出现问题,可以下载我提供的,当前测试可以通过的工具包: 点这里点这里 1.1 安装libfastcommon 安装成功后解压libfastcommon-master.zip unzip libfastcommon-master.zip [[email protected] libfastcommon-1.0.36]# ll drwxr-xr-x. 2 root root 4096 4月 5

CentOS7搭建hadoop2.6.4+HBase1.1.6

环境: CentOS7 hadoop2.6.4两个节点:master.slave1 HBase1.1.6 过程: hadoop安装目录:/usr/hadoop-2.6.4 master节点,hadoop用户登录.在hadoop目录下新建thirdparty目录: $ mkdir thirdparty 目录结构: 把hbase1.1.6解压到thirdparty目录下: $ cp ~/hbase-1.1.6-bin.tar.gz thirdparty $ cd thirdparty $ tar z

CentOS7搭建FastDFS V5.11分布式文件系统-第三篇

1.测试 前面两篇博文已对FastDFS的安装和配置,做了比较详细的讲解.FastDFS的基础模块都搭好了,现在开始测试下载. 1.1 配置客户端 同样的,需要修改客户端的配置文件: /etc/fdfs/client.conf base_path=/opt/fastdfs_tracker #tracker服务器文件路径 tracker_server=172.20.132.57:22122 #tracker服务器IP地址和端口号 http.tracker_server_port=8080 # tr

Centos7 搭建hadoop2.6 HA

用户配置: User :root Password:toor 2.创建新用户 student Pwd: student 3.安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用. 但hadoop应该是可以在openjdk中使用的. 卸载openjdk,下载安装oracle jdk. for i in $(rpm -qa | grep openjdk | grep -v grep) do echo "Deleting rpm ->

hadoop-2.10.0安装hive-2.3.6

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac