Hadoop(2)_机器信息分布表

1、分布式环境搭建

  采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

图1 集群的架构

  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。

2、集群机器详细信息

2.1 Master服务器


名称


详细信息


机器名称


Master.Hadoop


机器IP地址


192.168.1.2


最高用户名称(Name)


root


最用用户密码(PWD)


hadoop(全小写)


一般用户名称(Name)


hadoop(全小写)


一般用户密码(PWD)


hadoop(全小写)

2.2 Slave1服务器


名称


详细信息


机器名称


Slave1.Hadoop


机器IP地址


192.168.1.3


最高用户名称(Name)


root


最用用户密码(PWD)


hadoop(全小写)


一般用户名称(Name)


hadoop(全小写)


一般用户密码(PWD)


hadoop(全小写)

2.3 Slave2服务器


名称


详细信息


机器名称


Slave2.Hadoop


机器IP地址


192.168.1.4


最高用户名称(Name)


root


最用用户密码(PWD)


hadoop(全小写)


一般用户名称(Name)


hadoop(全小写)


一般用户密码(PWD)


hadoop(全小写)

2.4 Slave3服务器


名称


详细信息


机器名称


Slave3.Hadoop


机器IP地址


192.168.1.5


最高用户名称(Name)


root


最用用户密码(PWD)


hadoop(全小写)


一般用户名称(Name)


hadoop(全小写)


一般用户密码(PWD)


hadoop(全小写)

  备注:

  添加新用户命令:useradd;修改新用户密码:passwd 用户名

  退出当前用户:exit;         登录root用户:su –

3、集群机器实际布局

  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

3.1 Hadoop工作集群

  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

图3.1-1 Hadoop工作集群部署图(1)

图3.1-2 Hadoop工作集群部署图(2)

  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的Dell,而三台Slave机器则是实验室淘汰的Lenovo,用一个小路由器他们组成了一个局域网。

图3.1-3 路由器特写

3.2 Hadoop实验集群

  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

图3.2-1 Hadoop实验集群部署

  上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。

时间: 2024-12-25 08:36:36

Hadoop(2)_机器信息分布表的相关文章

Hadoop集群(第2期)_机器信息分布表

1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集. 2.集群机器详细信息 2.1 Master服务器 名称 详细信息 机器名称 Master.Hadoop 机器IP地址 192.168.1.2 最高用户名称(Name) root 最用用户

云帆大数据学院Hadoop 集群 ——机器信息分布表

1.分布式环境搭建采用4 台安装Linux 环境的机器来构建一个小规模的分布式集群. 其中有一台机器是Master 节点,即名称节点,另外三台是Slaver 节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集.2.集群机器详细信息2.1 Master 服务器名称详细信息机器名称Master.Hadoop机器IP 地址192.168.1.2最高用户名称(Name) root最用用户密码(PWD) hadoop

Hadoop集群(第3期)机器信息分布表

1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输.它们都可以通过路由器访问Internet,实验网页文档的采集. 2.集群机器详细信息 2.1 Master服务器 名称 详细信息 机器名称 Master.Hadoop 机器IP地址 192.168.1.21 最高用户名称(Name) root 最用用

Environment类,获取程序所在机器信息

一.属性 CommandLine  获取该进程的命令行.CurrentDirectory 获取或设置当前工作目录的完全限定路径.ExitCode 获取或设置进程的退出代码.HasShutdownStarted 获取一个值,该值指示公共语言运行时 (CLR) 是否正在关闭.Is64BitOperatingSystem  确定当前操作系统是否为 64 位操作系统.Is64BitProcess 确定当前进程是否为 64 位进程.MachineName  获取此本地计算机的 NetBIOS 名称.New

【Query处理学习笔记】搜索引擎查询推荐技术综述_中文信息学报2010_王斌

主要内容:对通用搜索引擎的查询推荐技术的方法.评价进行了总结 具体内容: "查询推荐"的不同英文叫法:Query Suggestion.Term Suggestion.Query Recommendation.Query Substitution.Query Rewriting 查询推荐的任务:找出和用户查询相似的query,以便更好地表达用户查询意图,供用户便捷输入 三种技术方法: 1. 基于文档的方法:通过处理query搜索出来的文档,以此作为反馈,进一步理解用户意图,扩充quer

Hadoop的Reduce Join+BloomFilter实现表链接

适用于场景 连接的列数据量很大,在分布式缓存中无法存储时,Bloom Filter 可解决这个问题,用很小的内存可有MAP端过滤掉不需要JOIN的数据,这样传到REDUCE的数据量减少,减少了网络传及磁盘IO. 缺点 Bloom Filter 会有一定的错误率,但是错误率很低,用空间换取了时间.并且,最终的JOIN在REDUCE端还要进行比对,所以对最终结果无影响. 下面我们先来简单了解下什么是布隆过滤器? Bloom Filter的中文翻译叫做布隆过滤器,是1970年由布隆提出的.它实际上是一

光驱错误:由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备

现象:Windows 无法启动这个硬件设备,卸载后重新扫描还是显示叹号.设备管理器光驱驱动右键属性,提示错误信息:由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备. (代码 19) 解决方法: 1. 点开"开始"-运行regedit.exe,进入注册表编辑器,到左边的项目栏里找到HKEY_LOCAL_MACHINE\SYSTEM \CurrentControlSet\Control\Class\{4D36E965-E325-11C E-BFC1-0800

usb由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备(代码 19)

今天解决了一晚上,USB驱动的问题: 在设备管理器的usb设备的属性中,显示提示“由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备”.注册表坏了.经过查询,解决方法如下: 方法:打开注册表编辑器(开始-->运行-->regedit),依次展开HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/Class/在这下面有很多用“{}”括起来的项,一个一个的点开,看右面空口有没有“通用串行总线控制器”这些文字,在右面窗

【原创】C#搭建足球赛事资料库与预测平台(4) 比赛信息数据表设计

        本博客所有文章分类的总目录:http://www.cnblogs.com/asxinyu/p/4288836.html 开源C#彩票数据资料库系列文章总目录:http://www.cnblogs.com/asxinyu/p/4329642.html 本篇文章开始将逐步介绍使用C#搭建足球赛事资料库与预测平台的相关细节.还是先从数据库开始,从本文开始将逐步对每个核心实体类和数据库设计相关的内容进行讲解,并公布源代码,至于能不能跑起来,看的看个人努力.由于没有时间将所有相关业务都简述