Google 三大经典论文研读：GFS、BigTable、MapReduce

一、GFS

Google File System就是HDFS的前身

HDFS 参照了GFS的设计理念，大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver\

1.设计目标：

• 多个客户端可以在不需要额外的同步锁定的 情况下，同时对一个文件追加数据

• 高性能的稳定网络带宽远比低延迟重要。目标程序绝大部分要求能够高速率的、大批量的处理数
  据，极少有程序对单一的读写操作有严格的响应时间要求
  

2.架构：

一个 Chunk块为64MB

• Master 节点使用心跳信息周期地和每个 Chunk 服务器通讯，发送指令到各个 Chunk 服务器并接收 Chunk 服务器的状态信息。

• 客户端并不通过 Master 节点读写文件数据。反之，客户端向 Master 节点询问它应该联系的 Chunk 服务器。 客户端将这些元数据信息缓存一段时间，后续的操作将直接和 Chunk 服务器进行数据读写操作。

3.GFS的一致性模型：

尽量采用追加写入而不是覆盖，Checkpoint，自验证的写入操作，自标识的记录

4. 对比HDFS架构：

• master slave model: 只有主人和slave进行主观能动的通信，slave间不会通信。
• master只会决定哪个slave去做读／写工作，然后client会直接和slave去传输。master只会收到request，master不会传输数据。
• 怎么存储数据：block of small file

• 谁负责去将数据拆分成小的blocks？ => HDFS client

二、BigTable

三、MapReduce

原文地址：https://www.cnblogs.com/shawshawwan/p/9204675.html