Hadoop 学习笔记1

1. Hadoop 最出名的是 MapReduce和 HDFS，不过也有很多其他有用的子项目。

技术栈如下：

Core

一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构）

Avro

一种提供高效、跨语言RPC的数据序列系统，持久化数据存储。

MapReduce

分布式数据处理模式和执行环境，运行于大型商用机集群。

HDFS

分布式文件系统，运行于大型商用机集群。

Pig

一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。

Hbase

一个分布式、列存储数据库。使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）。

ZooKeeper

一个分布式的、高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

Hive

分布式数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（运行时由引擎翻译成MapReduce作业）用以查询数据。

Chukwa

分布式数据收集和分析系统。Chukwa运行HDFS中存储数据的收集器，它使用MapReduce来生成报告。

2.

3.