Hadoop集群搭建（自己电脑）

学习搭建方法，搭建3台机器

使用安装包：

将上一篇Linux搭建的虚拟机作为主节点

1.将主节点挂起/关闭，找到主节点所在目录

2.复制2个主节点文件夹并改名slave1和slave2

3.在虚拟机中加载新建的两个文件夹作为新的虚拟机并运行和重命名

4.slave1 → su → cd /etc/sysconfig/network-scripts/ → ls → vim ifcfg-eth0 修改IP地址

5.重启网卡： /etc/init.d/network restart

Linux解决Device eth0 does not seem to be present,delaying initialization问题:

https://www.linuxidc.com/Linux/2018-08/153408.htm
6.网络适配器 → 设置 → 移除网络适配器

7.添加网络适配器

8.查看是否能上网： curl www.baidu.com

解决centos 错误curl: (6) Couldn’t resolve host：

https://www.jianshu.com/p/c57027fa159a
9.slave2同上

使用SecureCRT连接

1.复制上次配置的终端并重命名

2.右键进一步设置

3.打开三个连接，分别检查IP地址

4.分别查看是否能上网
curl www.baidu.com
ping www.baidu.com

Hadoop集群安装

安装Java

1.将安装包拷贝到三台机器上
（1）点击虚拟机master右键设置 → 选项 → 共享文件夹 → 总是启用 → 添加 →

（2）使用SecureCRT查看是否共享成功：cd /mnt/hgfs/

原文地址：https://www.cnblogs.com/siguateng/p/11140983.html

时间： 2024-08-11 05:02:17

Hadoop集群搭建（自己电脑）的相关文章

三节点Hadoop集群搭建

1. 基础环境搭建新建3个CentOS6.5操作系统的虚拟机,命名(可自定)为masternode.slavenode1和slavenode2.该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建(以下操作中三个节点相同的地方就只给出主节点的截图,不同的才给出所有节点的截图) 2.1 系统时间同步使用date命令查看当前系统时间系统时间同步 [[email protected] ~]# cd /usr/share/zoneinfo/ [[email protec

hadoop 集群搭建-suse linux 11

好久都没写了啊.感觉自己都不像是一个搞技术都了.来个存货吧! hadoop 集群搭建 3台机器 suse 系统规划 IP 主机名 hostname hadoop角色10.96.91.93 namenode93 NameNode.SecondaryNameNode .ResourceManage. DataNode .NodeManager10.96.91.129 datanode129 DataNode NodeManager10.96.91.130 datanode130 DataNode

Hadoop集群搭建文档

环境: Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exe Linux系统Ubuntu12.0.4 JDK jdk-7u17-linux-i586.tar.gz 搭建步骤: 首先在win系统装虚拟机,执行VMware-workstation-full-9.0.0-812388.exe: 其次需要在虚拟机上装Ubuntu12.0.4: 安装完成Ubuntu12.0.4之后,需要安装JDK,(注意:安装JDK需

完全分布式Hadoop集群搭建

学习了这么久hadoop,都没有搭过集群,是不合格的.这次搭建完,细扣具体的Job运行情况,日志信息,对Hadoop了解更深了.后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目. 搭建步骤虚拟机环境准备(IP地址.主机名.新用户.防火墙.SSH免密访问) 安装jdk 安装hadoop 配置hadoop文件虚拟机环境准备用VMware配置三台Ubuntu 18.04虚拟机.配置如下: 内存4GB 处理器4 硬盘20GB VMware Tool

Hadoop学习之Hadoop集群搭建

1.检查网络状况 Dos命令:ping ip地址,同时,在Linux下通过命令:ifconfig可以查看ip信息2.修改虚拟机的ip地址打开linux网络连接,在桌面右上角,然后编辑ip地址,修改ip地址后,重启网络服务:service network restart,如果网络重启失败,可以在虚拟机网络设置中心删除网络连接,然后重新启动Linux,接着在网络设置中心重新设置ip地址,最后重启Linux3.修改从节点主机名 vi /etc/sysconfig/network 修改主机

Hadoop集群搭建步骤

实验性操作是在虚拟机里进行的,除了搭建hadoop本身的操作之外,遇到的其它问题总结如下: 1. 虚拟机挂载windows磁盘: 添加硬件,要保证该硬件此时没有被读写访问等,因为挂载后,该磁盘在宿主机上就不能用了.启动虚拟机linux,执行 fdisk –l 查看windows磁盘的分区,如/dev/sdb2,然后执行挂载命令: mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目录下访问磁盘上的内容了 2. hadoop启动时如果报错,提示JAVA_HOME is

Hadoop集群搭建配置文件汇总

核心内容: 1.Hadoop1.1.2伪分布(或集群)搭建核心配置文件 2.Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件 3.Hadoop2.4.1 + HA 集群搭建核心配置文件 1.Hadoop1.1.2伪分布(或集群)搭建核心配置文件 hadoop1.1.2伪分布(集群)搭建前期准备(略) 安装hadoop1.1.2 1.解压缩 2.修改配置文件 ----------------------core-site.xml--------------------- <prope

Hadoop集群搭建详细步骤（2.6.0）

本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决.默认使用root账号操作,实际中建议使用专用的hadoop用户账号. 1. 环境机器: 物理机3台,ip分别为192.168.1.130.192.168.1.132.192.168.1.134 操作系统: CentOS 6.6 Java: 1.7 Hadoop: 2.6.0 请确保JDK已安装,使用java -version确认. hosts配置配置主机hosts文件: vim /etc/hosts 192.168

Hadoop学习之路（四）Hadoop集群搭建和简单应用

概念了解主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构. 主从结构分类: 1.一主多从 2.多主多从 Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式: 1.主节点从节点 2.master slave 3.管理者工作者 4.leader follower Hadoop集群中各个角色的名称: 服务主节点从节点 HDFS NameNode DataNode YARN Resource