2015第42周三

晚上去操场散步,捡到一个iphone,等失主电话后归还,对方自然很感激,个人心情也很愉悦,东西尤其是手机丢而复得自然惊喜,不是自己的东西物归原主也自然很踏实快乐。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1. 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
  2. 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
  3. 高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
  4. 高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
  5. 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

时间: 2024-10-24 22:06:54

2015第42周三的相关文章

2015第9周三html5学习0

?  之前规划了2015关注的技术方向是html5和node.js,虽然前面也搜集过html5相关的评论介绍性能容,但对如何学习和有哪些可利用要经常的看的资源有明显的界定,刚上网搜索了半个多小时,对结果进行整理,如何循序渐进的用html5做些东西,而不仅仅停留在只会谈一些表面概念的程度: HTML5 包含了以下几个部分:1. 一部分语义化标签:2. 一大批 Browser API,支持系统状态读取(地理位置.陀螺仪.加速度等).数据存取(IndexedDB.LocalStorage 等).浏览器

2015第17周三专注

古训有言:“欲多则心散,心散则志衰,志衰则思不达”.简单理解就是人的欲望和涉及面多了,心思和精力就会分散,这样自己内心的志向就会被遗忘或衰退,而志向和目标不明确就使自己变得糊涂,这样就很难成就一番事业! 要集中精力专注于某一种很有意义或很需要的事,需要几个先决条件: 一.兴趣.可以是先天的,也可以是后天的,为此乐不可支,能舍去其他而专注. 二.激情.不仅是女友,还包括为个人的追求目标等,激情澎湃,渴望获得一笔钱而欲罢不能,也在此列,在那种精力集中度下,什么办法不能想出来. 三.别无选择.只剩下一

2015第42周日

又一周过去了,晚上睡前还是通过随笔来总结下自己.先说今天,参加浙一走东河活动,和从上海过来的同学一起在楼外楼吃饭,然后走西湖,下午去庆春书店,然后再回来,晚上网上注册了两个信用卡,没想到结果都是还要到银行柜台领卡或激活. 过去的一周最大的收获是坚持每天早起,感觉更自控充实:再次开始用RSS订阅的方式获得信息.最大的失误是原来想彻底弄透并改造的爬虫没完全改造使用达到自己满意的程度.周末想的学习股票操作和下阶段操作计划没写清楚.还有那种目标完全的渴望感也还需要再加强.

2015第42周四

1.curl curl是利用URL语法在命令行方式下工作的开源文件传输工具.它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP.被广泛应用在Unix.多种Linux发行版中,并且有DOS和Win32.Win64下的移植版本.使用命令:curl http://curl.haxx.se这是最简单的使用方法.用这个命令获得了http://curl.haxx.se指向的页面,同样,如果这里的URL指向的是一个文件或者一幅图

2015第39周三

今天又忘记在公司写了,回来后又有点不知道写什么的焦虑,说明我需要明确对自己未来重要的事,下个月.今年.三年后我想创造点什么,达到一种怎样的状态:虽不能做到也有心向往之要事第一,要敢于把重要的事并紧急.平时工作中要敢于承担责任但要记住做真正需要自己做的事,战胜困难,让自己更强大. 今天在jquery事件处理上犯了一个弱智的错误,幸亏自己测试时发现了:大概如下: function fA(p1,p2){ $(selector).click(function(){获取到最新的p1.p2值}); } 然后

2015第37周三

晚上加班在回去的路上,再度感觉迷茫,感觉个人比较狭隘,此处省略200字负能量. 今天对减肥理论有了新的认识,也更让自己相信用心呼吸能够减肥,因为脂肪很大一部分是通过呼出的二氧化碳排除体外的.减肥七分靠吃睡,三分靠运动,其中一个关键时提升基础代谢率,而提升基础代谢率的一个方法是做重量训练,比如交替锻炼身体模块肌肉直到有酸胀感,这样好比系统开了很多后台程序,向后台程序耗电一样的消耗身体机器的能量.

2015第30周三Spring常用工具类

文件资源操作 文件资源的操作是应用程序中常见的功能,如当上传一个文件后将其保存在特定目录下,从指定地址加载一个配置文件等等.我们一般使用 JDK 的 I/O 处理类完成这些操作,但对于一般的应用程序来说,JDK 的这些操作类所提供的方法过于底层,直接使用它们进行文件操作不但程序编写复杂而且容易产生错误.相比于 JDK 的 File,Spring 的 Resource 接口(资源概念的描述接口)抽象层面更高且涵盖面更广,Spring 提供了许多方便易用的资源操作工具类,它们大大降低资源操作的复杂度

2015第27周三Java内存模型

自己写的代码,6个月不看也是别人的代码,自己学的知识也同样如此,学完的知识如果不使用或者不常常回顾,那么还不是自己的知识. 要认识java线程安全,必须了解两个主要的点:java的内存模型,java的线程同步机制.特别是内存模型,java的线程同步机制很大程度上都是基于内存模型而设定的. 浅谈java内存模型        不同的平台,内存模型是不一样的,但是jvm的内存模型规范是统一的.其实java的多线程并发问题最终都会反映在java的内存模型上,所谓线程安全无非是要控制多个线程对某个资源的

2015第26周三

在测试时又发现以前代码的很多抗,不是很理解为什么有些人可以那么不负责任,非要到现场出问题了才被迫加班修改…… 平静下来还是必须要学会严格要求自己,宽容对待别人.臣服当下,做最好的自己. “学习如何专注,可以让我们的心坚强.清明而平静,专注可以保护我们的内在智慧,就像蜡烛的火焰受到庇护,不被风吹熄一般. “我们几乎可以用任何事物来练习专注.加强专注的佛教训练包含两个方法:向内和向外.向内法是专注在你自己的身体上,譬如,把身体观想成佛菩萨或骷髅,也可以专注在诸如呼吸之类的身体成分上,或把身体想象成清