04Hadoop思想与原理

1.用图与自己的话，简要描述Hadoop起源与发展阶段。

从与谷歌系统的关系，关键时间节点，1.x,2.x与3.x的区别，不同公司发行版本等方面来讲。

（1）Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。（2）2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。——分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。（3） Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。

从狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）

从广义上来说，Hadoop指代大数据的一个生态圈（Hadoop生态圈），包括很多其他的软件。

Hadoop的历史版本0.x系列版本：Hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本1.x版本系列：Hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

3.x版本系列：对HDFS、MapReduce、yarn都有较大的升级，增加了Ozone key-value存储。

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系 

数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表

在HDFS中，名称节点（NameNode）负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog

第二名称节点：是HDFS架构中的一个组成部分，它是用来保存名称节点中对HDFS 元数据信息的备份，并减少名称节点重启的时间。SecondaryNameNode一般是单独运行在一台机器上

3.分别从以下这些方面，梳理清楚HDFS的 结构与运行流程，以图的形式描述。

4.简述HBase与传统数据库的主要区别

5.梳理HBase的结构与运行流程，以用图与自己的话进行简要描述，图中包括以下内容：

管理用户对Table表的增、删、改、查操作；

管理HRegion服务器的负载均衡，调整HRegion分布；

在HRegion分裂后，负责新HRegion的分配；

在HRegion服务器停机后，负责失效HRegion服务器上的HRegion迁移

负责存储和维护分配给自己的Region，处理来自客户端的读写请求，是真正干活的节点

外包Client访问请求，向下层HDFS读写数据，内管HRegionServer的健康状态

不依赖于Master，而是通过Zookeeper来获得Region的位置信息

不直接从Master主服务器上读取数据，而是在获得Region

HDFS是Hadoop分布式文件系统。HBase的数据通常存储在HDFS上。HDFS为HBase提供了高可靠性的底层存储支持。

6.完整描述Hbase表与Region的关系，三级寻址原理。

HBase 中的每个 Region 由三个要素组成，包括 Region 所属的表、第一行和最后一行。其中，第一个 Region 没有首行，最后一个 Region 没有末行。每个 Region 都有一个 RegionlD 来标识它的唯一性，Region 标识符就可以表示成“表名+开始行键+RegionID”。