hadoop,spark,Zookeeper,,, 这些名字都是怎么来的呢?

Apache

首先我们要明白,Apache 是一个 http 服务器,而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。

关于其名字,流传最广的解释是(也是最显而易见的):这个名字来自于一个事实:当Apache在1995年初开发的时候,它是由当时最流行的HTTP服务器NCSA HTTPd 1.3的代码修改而成的,因此是“一个修补的(a patchy)”服务器。

然而,在Apache服务器官方网站的FAQ中是这么解释的:“Apache这个名字是为了纪念名为Apache的美洲原住民印第安人的一支,众所周知他们拥有高超的作战策略和无穷的耐性。”贝伦多夫说:“我选择阿帕奇这个名字是取其积极含义。阿帕奇族是最后一个屈服于美国政府的民族。当时我们担心大公司迟早会参与竞争并‘教化’这块最早的网络之地,所以在我看来,阿帕奇是个很好的名称,也有人说这个词一语双关-因为正如Apache(与"a patchy"谐音)的名字所表明的那样,他们确实是在给服务器打补丁。”

Hadoop

说起 hadoop ,可能现在许多人都不会陌生,但读就不一定读的对了。

Hadoop的发音是 [h?du:p]。

Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求,简短,容易拼写和发音,毫无意义,不会在别处使用。于是 Hadoop 就诞生了。

spark

Apache Spark的故事始于2009年,当时加州大学伯克利分校中一个名为的Matei Zaharia班级项目,项目名为Mesos。 当时的想法是构建一个可以支持各种集群系统的集群管理框架,类似 Yarn 。 在构建了 Mesos 后,开发人员需要一个基于 Mesos 架构的实际产品。 这,这就是Spark的诞生方式。

Spark有火花,鼓舞的意思,称之为Spark的原因是,他们希望这款产品能够激发基于Mesos的几款创新产品。

但是,正如我们现在所知,Spark现在已成为自己的项目,并且比大数据生态系统中的任何其他产品都具有更大的吸引力。

所谓无心插柳,莫过于此。

Kafka

如果你记性比较好,你应该会记得一篇高中的语文课文《变形记》。它的作者也叫kafka,全名是“Franz Kafka”。

那么apache kafka和Franz Kafka的名字相同只是巧合吗。这还真不是!

根据作者原话,因为apache kafka是一个用来优化读写的系统,所以用一个作家的名字来命名并不奇怪。而且作者在大学时非常喜欢Franz Kafka。此外,这个名字对于开源来说听起来很酷(emm...有点道理啊)。

Zookeeper

关于“ZooKeeper”这个项目的名字,其实也有一段趣闻。在立项初期,考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说:“在这样下去,我们这儿就变成动物园了!”此话一出,大家纷纷表示就叫动物园管理员吧一一一因为各个以动物命名的分布式组件放在一起,雅虎的整个分布式系统看上去就像一个大型的动物园了,而Zookeeper正好要用来进行分布式环境的协调一一于是,Zookeeper的名字也就由此诞生了。

如果你也知道哪些有意思的名字由来,不妨在评论里分享吧~~

原文地址:https://www.cnblogs.com/listenfwind/p/9800783.html

时间: 2024-11-10 09:03:45

hadoop,spark,Zookeeper,,, 这些名字都是怎么来的呢?的相关文章

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘

java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102export JRE_HOME=/usr/java/jdk1.8.0_102/jreexport CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME

谈hadoop/spark里为什么都有,YARN呢?

在Hadoop集群里,有三种模式: 1.本地模式 2.伪分布模式 3.全分布模式 在Spark集群里,有四种模式: 1.local单机模式 结果xshell可见: ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100 这里写local,就是local[1] 2.standalone集群模式 需要的配置

Hadoop Spark 集群简便安装总结

本人实际安装经验,目的是为以后快速安装,仅供自己参考. 一.Hadoop 1.操作系统一如既往:①setup关掉防火墙.②vi /etc/sysconfig/selinux,改SELINUX=disabled .(3)同时应该卸载掉OpenJdk.④并在每台机器上建立用户,如:useradd hadoop -p 123456 (还可 -d 指定目录) . 2.ssh.①让集群有相同的/etc/hosts文件.②在每台机器上用hadoop用户执行 ssh-keygen.在其中一台上用户目录下的.s

【微信分享】王团结:如何用Hadoop/Spark构建七牛数据平台

摘要:7月30日,七牛数据平台工程师王团结就七牛内部使用的数据平台,深入分享了该团队在Flume.Kafka.Spark以及Streaming上的实践经验,并讲解了各个工具使用的注意点. 继" YARN or Mesos?Spark痛点探讨"." Mesos资源调度与管理的深入分享与交流".及" 主流SQL on Hadoop框架选择"之后,CSDN Spark微信用户群邀请了王团结为大家分享Hadoop/Spark在七牛数据平台的实战. 王团结

Hadoop加zookeeper搭建高可靠集群

前期准备 1.修改Linux主机名,每台都得配置 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-server1 2.修改IP /etc/sysconfig/network-scripts/ifcfg-eth0 3.修改主机名和IP的映射关系 vim /etc/hosts 192.168.146.181 hadoop-server1 192.168.146.182 hadoop-server2 192.168.146.183 h

Hadoop加zookeeper构建高可靠集群

事前准备 1.更改Linux主机名,每个人都有配置 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-server1 2.改动IP /etc/sysconfig/network-scripts/ifcfg-eth0 3.改动主机名和IP的映射关系 vim /etc/hosts 192.168.146.181 hadoop-server1 192.168.146.182 hadoop-server2 192.168.146.183

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,