CentOS6安装大数据软件Apache版本 第一章：各个软件版本介绍

1. 软件的版本选择

在大数据领域，我们使用的版本一般有2个选择，一个是官方发布的版本，大多数为Apache发布的版本（一般为免费的），另一个是由其他公司对官方版本进行集成的版本（一般是要收费的）；收费版本一般选择CDH的版本，它对软件做了一些兼容性处理。如果使用CDH版本，请保证CDH版本一致，才能解决兼容性问题；如下图：

apache版本:https://archive.apache.org/dist/

CDH版本:http://archive-primary.cloudera.com/cdh5/cdh/5/

2. 各软件的具体版本

JDK版本：jdk-8u144-linux-x64.tar.gz

Zookeeper版本：zookeeper-3.4.5.tar.gz

Hadoop版本：hadoop-2.7.4.tar.gz

Kafka版本：kafka_2.11-0.10.0.0.tgz

HBase版本：hbase-0.98.6-cdh5.3.0.tar.gz

Flume版本：官方版本的Flume1.7.0

Hive版本：apache-hive-0.13.1-bin.tar.gz

3. 各应用软件的web界面显示

（因为是使用VMware安装，所以配置的是自己的host）

http://node01.ouyang.com:50070：HDFS的web页面显示

http://node01.ouyang.com:8088：Yarm的web页面显示

http://node01.ouyang.com:19000/：Kafka的web页面显示，需安装Kafka-Manage

http://node01.ouyang.com:60010：HBase的web页面显示

http://node01.ouyang.com:8888：Hue的web页面显示

http://node01.ouyang.com:8080：Spark的web页面显示

原文地址：https://www.cnblogs.com/yangshibiao/p/10613983.html

时间： 2024-11-10 01:17:43

CentOS6安装大数据软件Apache版本 第一章：各个软件版本介绍的相关文章

[大数据性能调优] 第一章：性能调优的本质、Spark资源使用原理和调优要点分析

本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 Spark 更高性能的算子 引言 我们谈大数据性能调优,到底在谈什么,它的本质是什么,以及 Spark 在性能调优部份的要点,这两点让直式进入性能调优都是一个至关重要的问题,它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从什么本源上进行调优.希望这篇文章能为读者带出以下的启发: 了解大数据性能调优的本质 了解 Spark 性能调优要点分析 了解 Spark 在资

计算机网络管理基础服务安装+大数据时代的网络运维

使用yum方式完成服务安装 ___By Nemo(仅供参考) Notice:Apache 安装好之后,我又改回桥接模式用rpm安装了. 首先,让你的虚拟机上个网,所以需要把网卡设置成nat模式,在宿主机上先拨个号,设好后重启linux系统. 重启后,打开firefox,看是不是能上网.Ok,但nat模式默认的ip是动态分配的,咱们得按照老师的要求把设成你静态的学生牌号.所以咱们得这么设一下!应该通过vmware虚拟机中-->Edit(编 缉)-->Virtual Net Editor(虚拟网络

大数据和云计算的鞍马情-【软件和信息服务】2014.08

自从VMware在2013年的全球用户大会上推出vSphere Big Data Extention(BDE)以来,大数据这匹骏马越来越受到大家的追捧.当然BDE主要针对是Hadoop的大数据应用,其实大数据不仅仅是Hadoop,即使只算Hadoop也还有不同的发布版本.但是无论Hadoop的哪个版本或者哪个大数据平台,都蜂拥开始追随云计算,就像好马配好鞍一样重要,那怎样的云计算平台才是大数据的好鞍呢? 运行环境平台:多租户.资源供应和管理 在过去几个月的客户沟通中,我听到了运行大数据的多种不同

第一章 SAS软件入门

目录 第一章 SAS软件入门 1.1 语言特点 1.2 数据集 1.3 DATA步和PROC步 1.4 DATA步的内置循环 1.5 SAS窗口环境 1.6 阅读SAS日志 1.7 逻辑库 1.8 VIEWTABLE窗口 1.9 数据集属性 1.10 系统选项 第一章 SAS软件入门 1.1 语言特点 SAS程序 SAS程序就是一系列「有序 」的SAS语句,编程过程中需要遵循一些规则: 后续语句都围绕第一句展开 每一条SAS语句都以分号结尾 SAS程序布局 SAS是一种非常灵活的语言,甚至可以说

Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步

本节主要内容 Linux简史 Linux特点 Ubuntu Linux安装 Linux使用初步 1. Linux简史 要讲述大名鼎鼎的Linux,必然要先从UNIX系统谈起,下面这幅图给出了Unix系统的进化图: 图片来源:http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEmGRDUwqsQMIV4jCKHvdkSPr3Lq 从进化图中可以看到,目前所有的主流操作

王家林亲传《DT大数据梦工厂》第一讲Scala开发环境搭建和Hellworld解析

土豆视频:http://www.tudou.com/programs/view/99sazBunsHg/ 你想了解大数据,你想成为年薪百万吗?那你还等着什么,快点来吧!跟着王家林老师学习spark大数据 这一讲,王老师主讲了Scala环境的搭建 1.安装Java(建议安装java8),安装好后,设置环境变量(java_home.path.classpath这个环境变量) 2.安装Scala,下载地址:spark.apache.org(建议安装2.10.x以上版本),设置环境变量(scala_ho

玩转大数据之Apache Pig如何与Apache Lucene集成

在文章开始之前,我们还是简单来回顾下Pig的的前尘往事: 1,Pig是什么? Pig最早是雅虎公司的一个基于Hadoop的并行处理架构,后来Yahoo将Pig捐献给Apache(一个开源软件的基金组织)的一个项目,由Apache来负责维护,Pig是一个基于 Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算.Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口,这一

大数据就是这么任性第一季数据结构和算法（一线经验、权威资料、知识新鲜、实践性强、全程源码）

这门课程是针对大数据工程师和云计算工程师的基础课程,同时也是所有计算机专业人士必须掌握的一门课程. 如果不掌握数据结构和算法,你将难以掌握高效.专业的数据处理手段,更难以从容应对复杂的大数据处理场景. 请思考以下问题: 1.社交网站(如微博.facebook)中,人与人的关系是海量数据,你如何研究和处理此问题? 2.数据库的索引作用是什么?为什么利用哈希.B+树和堆表等数据结构来组织索引? 3.为什么Linux的虚拟内存管理模块,使用红黑树来处理VMA的查找? 4.为什么搜索引擎可以在毫秒级返回

[大数据性能调优] 第二章：彻底解密Spark的HashShuffle

本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark HashShuffle 是它以前的版本,现在1.6x 版本默应是Sort-Based Shuffle,那为什么要讲 HashShuffle 呢,因为有分布式就一定会有 Shuffle,而且 HashShu