云帆大数据学院Hadoop 集群 ——机器信息分布表

1、分布式环境搭建
采用4 台安装Linux 环境的机器来构建一个小规模的分布式集群。

其中有一台机器是Master 节点,即名称节点,另外三台是Slaver 节点,即数据
节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都
可以通过路由器访问Internet,实验网页文档的采集。
2、集群机器详细信息
2.1 Master 服务器
名称详细信息
机器名称Master.Hadoop
机器IP 地址192.168.1.2
最高用户名称(Name) root
最用用户密码(PWD) hadoop(全小写)
一般用户名称(Name) hadoop(全小写)
一般用户密码(PWD) hadoop(全小写)
更多内容http://www.yfteach.com
企业真实项目实时在线授课1
2.2 Slave1 服务器
名称详细信息
机器名称Slave1.Hadoop
机器IP 地址192.168.1.3
最高用户名称(Name) root
最用用户密码(PWD) hadoop(全小写)
一般用户名称(Name) hadoop(全小写)
一般用户密码(PWD) hadoop(全小写)
2.3 Slave2 服务器
名称详细信息
机器名称Slave2.Hadoop
机器IP 地址192.168.1.4
最高用户名称(Name) root
最用用户密码(PWD) hadoop(全小写)
一般用户名称(Name) hadoop(全小写)
一般用户密码(PWD) hadoop(全小写)
2.4 Slave3 服务器
名称详细信息
机器名称Slave3.Hadoop
机器IP 地址192.168.1.5
最高用户名称(Name) root
最用用户密码(PWD) hadoop(全小写)
一般用户名称(Name) hadoop(全小写)
一般用户密码(PWD) hadoop(全小写)
备注:
添加新用户命令:useradd;修改新用户密码:passwd 用户名
退出当前用户:exit; 登录root 用户:su –

3.1 Hadoop 工作集群
该Hadoop 集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop 平台以及
运行着一些实际程序。
图3.1-1 Hadoop 工作集群部署图(1)
图3.1-2 Hadoop 工作集群部署图(2)
上面从两个角度来分别观察Hadoop 集群部署,作为Hadoop 集群的Master 节点,用的
更多内容http://www.yfteach.com
企业真实项目实时在线授课3
是机器较为不错的新Dell,而三台Slave 机器则是实验室淘汰的旧Lenovo,用一个小路
由器他们组成了一个局域网。
图3.1-3 路由器特写
3.2 Hadoop 实验集群
为了方便新成员练习Hadoop 技术,又防止在实际Hadoop 集群上破坏已运行的程序,
故另外弄了两台旧Lenovo 电脑组成:一个“主——TMaster”;一个“辅——TSlave”。
图3.2-1 Hadoop 实验集群部署
上面就是实验室Hadoop 集群的样子,虽然很简陋,但足够学习用了。

时间: 2024-10-16 17:25:32

云帆大数据学院Hadoop 集群 ——机器信息分布表的相关文章

Hadoop(2)_机器信息分布表

1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集. 2.集群机器详细信息 2.1 Master服务器 名称 详细信息 机器名称 Master.Hadoop 机器IP地址 192.168.1.2 最高用户名称(Name) root 最用用户

Hadoop集群(第2期)_机器信息分布表

1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集. 2.集群机器详细信息 2.1 Master服务器 名称 详细信息 机器名称 Master.Hadoop 机器IP地址 192.168.1.2 最高用户名称(Name) root 最用用户

Hadoop集群(第3期)机器信息分布表

1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集. 2.集群机器详细信息 2.1 Master服务器 名称 详细信息 机器名称 Master.Hadoop 机器IP地址 192.168.1.21 最高用户名称(Name) root 最用用

大数据高可用集群环境安装与配置(06)——安装Hadoop高可用集群

下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase.Spark等相关组件的兼容,不要安装了不匹配的版本,而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/

大数据(hdfs集群及其集群的高级管理)

#### 大数据课程第二天 伪分布式hadoop的启动停止脚本[使用] sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager ? shell脚本 xxx.sh ls mkdir hadoop-start.sh sbin/hadoop-daemon

大数据高可用集群环境安装与配置(07)——安装HBase高可用集群

1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/hbase-2.1.8-bin.tar.gz tar -zxvf hbase-2.1.8-bin.tar.gz mv hbase-2.1.8 /usr/local/hbase/ 3

Laxcus大数据管理系统单机集群版

Laxcus大数据管理系统是我们Laxcus大数据实验室历时5年,全体系全功能设计研发的大数据产品,目前的最新版本是2.1版本.从三年前的1.0版本开始,Laxcus大数据系统投入到多个大数据和云计算项目中使用.2.0版本的Laxcus大数据管理系统,已经从紧耦合架构转为松耦合架构,整合了最新的大数据和关系数据库的技术,实现了一站式数据处理,大幅度提高了并行处理能力,同时兼具易操作.易维护.运行稳定的特点,节点数和数据存储计算规模已经达到百万台级和EB量级.目前已经覆盖的技术包括:行列混合存储.

大数据高可用集群环境安装与配置(03)——设置SSH免密登录

Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录每台机器,需要将所有机器配置为NameNode可以免密登录 由于是双master,所以需要在master与master_backup服务器上都生成ssh密钥,都可以免密登录其他服务器 生成SSH公钥和私钥 在master与master_backup服务器输入命令 ssh-keygen -t rsa 按四次回车键,即可生

大数据高可用集群环境安装与配置(09)——安装Spark高可用集群

1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz mv spark-2.4.4