Apache Hadoop* 软件的英特尔® 分发版环境搭建

21世纪毋庸置疑是属于云的时代,各种云应运而生(云物联、云计算、云游戏、云存储....) 而hadoop正是云时代的产物,Hadoop是一个能够对大量数据进行分布式处理的软件框架, Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理.

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1. 高可靠性:Hadoop按位存储和处理数据的能力值得人们信赖。
  2. 高扩展性:Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
  3. 高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
  4. 高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
  5. 低成本:与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

下面我们来以Apache Hadoop* 软件的英特尔 分发版为例为大家介绍hadoop

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

下面来搭建hadoop环境

一、安装hadoop

准备:

centos6.2

Esxi5.5

Intelhadoop.tar.gz

FileZillaPortable(用于向centos中传送文件)

地址分配:

三台服务器各自安装esxi,在esxi上在架构centos

Esxi1  192.168.0.201

Esxi1  192.168.0.202

Esxi1  192.168.0.203

Hadoop1 192.168.0.101

Hadoop2 192.168.0.102

Hadoop3 192.168.0.103

每个hadoop节点硬盘大小160G,内存大小8G

Centos安装注意事项:

创建用户

hadoop1 密码[email protected]

Hadoop2 密码[email protected]

Hadoop3 密码[email protected]

安装系统:

系统安装完成后

把Intelhadoop.tar.gz传到/usr/hadoop中

然后解压

修改/etc/hosts文件

一路选yes,直到出现如下图所示的一步

安装Apache Hadoop*英特尔发布版和进行集群管理需要一个Linux系统的软件包资源库,这里可以选择在本地主机上创建一个资源库,或使用一个存在的资源库。如果选择在本地创建,则需要一个Linux系统的安装DVD光盘或则ISO文件来创建资源库。如果使用一个存在的资源库,须输入已存在的Linux系统资源库的URL。

这里选择通过加载系统镜像创建软件包资源库

在centos系统中加载镜像

由于不需要第二个镜像中的内容,在下面选择no(这里一定要注意)

其他两个节点的操作也像hadoop1节点的一样

二、web界面配置

Hadoop1、hadoop2和hadoop3节点安装完Apache hadoop* intel后,接下来进入webGUI界面进行节点配置,在web浏览器中输入https://hadoop1:9443,用户名和密码都是admin。

这里选择除了最后一项以外的所有内容

逐个添加节点

至此hadoop的环境就搭建完成了,我在搭建的过程中也产生一些错误,我会在以后的博客中去给大家做一些错误的实例以及解决办法。

时间: 2024-10-14 02:45:44

Apache Hadoop* 软件的英特尔® 分发版环境搭建的相关文章

Hadoop集群之 ZooKeeper和Hbase环境搭建

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境 所有软件下载百度云 密码:uup8 讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装 1.ZooKeeper和Hbase的简答介绍: ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包

[精华]Hadoop,HBase分布式集群和solr环境搭建

1. 机器准备 1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1NH-33GH7 1.3. 创建虚拟机CentOS-6.5-x86_64-bin-

端到端的全栈实力,英特尔正在用人工智能成就未来

2017年5月27日,英特尔参加了由机器之心SYNCED主办的2017全球机器智能峰会(GMIS 2017),此次大会以"机器智能时代"为主题,全面聚焦人工智能,包括英特尔在内的众多国内外顶级专家汇聚于此,围绕人工智能展开精彩的演讲和激烈的讨论. 会议期间,英特尔AIPG数据科学部主任刘茵茵博士,发表了主题为<演变中的人工智能,与模型俱进>的精彩演讲,她表示,深度学习推动着人工智能领域的进展,每个AI模型都是理论与实践的突破,以模型为起点,通过收集数据,进行训练,基于人工智

Apache Spark1.1.0部署与开发环境搭建

Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的内存计算(in-memory computing)模型,使得用户可以通过编程将数据读取到集群的内存当中,并且可以方便用户快速地重复查询,非常适合用于实现机器学习算法.本文将介绍Apache Spark1.1.0的部署与开发环境搭建. 0. 准备 出于学习目的,本文将Spa

Hadoop+Spark:集群环境搭建

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h

ubuntu(乌班图) web开发环境搭建,常用软件安装,配置LAMP(nginx,php,mysql),常用软件 (ftp,redis)等安装

最近更换开发环境至ubuntu,整理开发环境和常用软件的安装配置一.LAMP环境搭建基于最新的Ubuntu 14.04(2014年9月)搭建nginx.php.mysql环境, 以下全部命令行操作: 1,由于需要大量的权限操作,方便起见临时提升权限,使用root账号 sudo su 2,安装apt源管理工具.添加nginx和php的安装源 apt-get install python-software-properties add-apt-repository ppa:nginx/stable

《SPARK/TACHYON:基于内存的分布式存储系统》-史鸣飞(英特尔亚太研发有限公司大数据软件部工程师)

史鸣飞:大家好,我是叫史鸣飞,来自英特尔公司,接下来我向大家介绍一下Tachyon.我事先想了解一下大家有没有听说过Tachyon,或者是对Tachyon有没有一些了解?对Spark呢? 首先做一个介绍,我来自英特尔的大数据团队,我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应用,我所在的团队主要负责Spark及其软件栈的开发和推广.我们是国内最早参加Spark开发和推广的团队,我们在2012年就加入了Spark社区.在Spark和相关的项目中间投入了大量的人力,长期以来我

传智播客与英特尔结成合作伙伴,共同推动软件技术进步

?? 目前CPU已经进入四核,八核,十六核时代.传智播客作为中国最有影响力的IT教育培训机构,其新技术推广力度深受Oracle.英特尔等公司的认可.为了进一步推广英特尔公司的超线程计算技术.GPU计算技术.多核并行计算技术和云计算技术,传智播客正式与英特尔结成合作伙伴关系,英特尔于2013年9月向传智播客开放其内部软件技术资料.传智播客计划在2014年把英特尔的最新技术融入到C/C++课程中. 引领技术潮流是传智播客师资团队一贯的追求,让我们的学员永远走在别人的最前面,让别人永远跟在我们屁股后面

杂项-公司:英特尔

ylbtech-杂项-公司:英特尔 英特尔 是美国一家主要以研制CPU处理器的公司,是全球最大的个人计算机零件和CPU制造商,它成立于1968年,具有50年产品创新和市场领导的历史. 1971年,英特尔推出了全球第一个微处理器.微处理器所带来的计算机和互联网革命,改变了整个世界.在2016年世界五百强中排在第51位.2014年2月19日,英特尔推出处理器至强E7 v2系列采用了多达15个处理器核心,成为英特尔核心数最多的处理器.2014年3月5日,Intel收购智能手表Basis Health