一个小白的进击之路——Hadoop开篇

写给自己的话

  我虽然是个计算机专业的工科男,但技术是真的不咋地(我自己觉得),越是要离开学校温暖的被窝就越能感觉到学一些东西的紧迫性,不同于学校教给我的套路,我打算自学Hadoop与Linux,希望自己能够不断进取,精进技术,最终能成为一代大神(小神也凑合)。

关于Hadoop

  其实在这之前我对Hadoop算是一无所知吧,只是有所耳闻,对于我们平常认识一件新事物的“三板斧”——他到底是什么、做什么、怎么用,我完全没有概念。谋定而动,胜在不懈,我会认真的对待这只欢乐的小象。

  Hadoop这个名字不是一个缩写,而是一个虚构的名字。该项目的创建者Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”Hadoop的发音是 [h?du:p]。

  那么Hadoop到底是个什么呢?Hadoop是一个由Apache基金会所开发的分布式系统基础架构,百度百科这么说(Hadoop是一个基础架构,我所认识的一些刚接触计算机的小伙伴在看到某个英文单词的时候,第一反应就是这是哪种编程语言,计算机的世界绝对不只是编程语言。)。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

项目起源

  Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。

  Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。

发展历程

  Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop最初只与网页索引有关,迅速发展成为分析大数据的领先平台。

  目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。Cloudera是一家美国的企业软件公司,该公司在2008年开始提供基于Hadoop的软件和服务。GoGrid是一家云计算基础设施公司,在2012年,该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司,同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。

时间: 2025-01-31 10:21:55

一个小白的进击之路——Hadoop开篇的相关文章

一个小白的程序之路(自身经历)

不知不觉已经来了北京半年了,认识程序也有半年多的时间了,一直都感觉这是一个大坑,永远填不满的坑,或许这就是学无止境吧,以前自身是一个比较贪玩的人,不过对于电脑的热爱是一如既往,从小时候就喜欢电子产品,直到现在终于可以肆无忌惮的每天操控着电脑做自己喜欢做的事情了.个人是总C开始学的,因为以前没有好好上学,并且大学选的也不知计算机专业,认识的也是比较晚的,知道有一天我突发奇想,告诉家人我要去学编程,我要写自己的app,然后就来到了北京,参加了某培训机构的培训,不敢说懂得很多,只能说多少了解一小块,下

小白的软件测试之路

从笔记本代工企业跳出来做软件测试到今天为止整三个月了,一个人从手工测试摸索到现在尝试自动化,做一下总结吧. 第一阶段:依照上一个测试人员的惯例在qc中写用例并执行,发现写的非常的糟糕,无体系且混乱.基本只涉及一些功能测试方面,而且书写非常混乱. 第二阶段:开始查找资料,梳理测试流程,将系统测试各方面重新组织规划,并尽量在有新测试对象时使用这个规范测试,并使用到书中讲到的一些测试用例设计的方法. 第三阶段:寻找自动化测试之路(公司产品分为android端和web端,重点先放在web上),这里的自动

零基础Python学习路线,小白的进阶之路!

近几年Python的受欢迎程度可谓是扶摇直上,当然了学习的人也是愈来愈多.一些学习Python的小白在学习初期,总希望能够得到一份Python学习路线图,小编经过多方汇总为大家汇总了一份Python学习路线图.对于一个零基础的想学习python的朋友来说,学习方法很重要, 学习方法不对努力白费 一定要有一个正确的学习线路与方法零基础Python学习路线,小白的进阶之路!零基础Python学习路线,小白的进阶之路!必学知识:[Linux基础][Python基础语法][Python字符串][文件操作

verilog HDL 进击之路

Verilog 进击之路 - 夯实基础第一节之结构化设计 随着数字电路设计的复杂化和专业化,传统的电路设计逐渐没落,Verilog HDL逐渐走入历史舞台.好多人并不是不会Verilog,而是缺乏细致的了解.最近一直在看 A Guide to Digital Deisgn and Synthesis  这本书,感觉许多的疑点得到解决,正好分享出来共勉. 对设计者来讲,最重要的是如何实现设计和优化设计.如下是 A typical design flow. specifications are wr

[转载]从春招到秋招,一个本科生的求职之路。

原文:从春招到秋招,一个本科生的求职之路. 自报家门,北理工软件学院本科生. 主要部分: 1.毕业去向选择 2.春招过程 3.暑期实习 4.秋招辛酸路程 5.一点感悟 1.毕业去向选择问题 从大一开始,就决定毕业找工作,方向是有了,但是三年多过去了,到现在才发现,大学期间并没有为这个方向做出太大的努力,这也成为我一个本科生找工作的很大障碍,实践能力严重不足.我的情况是:我决定工作,但是由于高中的思维,太看重学习成绩,成绩搞的很好,虽然有保研资格,但是又不读研,找工作的时候,好的互联网公司不看成绩

一个小白的html学习

这将是我的第一篇博客,只是想记录一下这段时间自己学习html的过程和感受! 和很多人可能一样,我接触html的时候,也是一点都不熟悉,虽然大学的时候接触了PHP设计,但毕竟是作为一门选修课,教的和学的都不是很多,所以说,自己在这门领域,其实也就是一个小白.因为很明白自己是一个小白的身份进入到这个领域的,所以一开始就告诉自己要付出更多的努力去学好! html5到底是一个什么东西呢?很多人接触的时候都会问这样一句话,其实html我的理解就是一门简单的网页语言,至少说是我这段时间学的是比较基础的东西,

我是一个小白

我是一只小白,心中有所怀揣,虽然现在步履蹒跚,但是丝毫不影响我对JS的满心期待.我是一只小白,复杂难题自然无奈,简单疑问也会塞满我的脑袋,但我依旧努力追寻答案.我是一只小白,心知止步就会淘汰,故或无敌勤奋或无敌慵懒,我会迎来我的精彩!我是一只小白,很多问题偶都不明白,谁来告诉我答案,是我太菜,还是JS的高峰实在难攀,谁来给我指南,明明href可以很简单,为何啰哩吧嗦像个老太太,我是一个小白,想不明白想不明白!

TB级(小白到大牛之路)技术视频资源福利大放送

因此民工哥连夜整理了相关的资源放出,相关详情请点击下面的链接查看TB级(小白到大牛之路)技术视频资源福利大放送 更多内容请关注民工哥公众号 原文地址:http://blog.51cto.com/mingongge/2058991

一个小白的测试环境docker化之路

本文来自网易云社区 作者:叶子 学习docker搭建测试环境断断续续也有三个多月了,希望记录一下这个过程.常言道,总结过去,展望未来嘛~文章浅显,还望各位大神路过轻拍. 按照国际惯例,先说一下背景: 目前我所处的项目组不断扩大和发展,因此质量保障维度也需要不断扩展.然而多种质量保障维度的开展需要多套测试环境的支持,目前项目组里只有一套测试环境,按照传统方法一步步手工搭建测试环境费时费力,有什么方法可以迅速搭建环境呢?当然是近几年大火的docker啦.可是我是docker小白,之前只是简单地看过几