002_看大纲_hadoop大纲

002_看大纲_hadoop大纲

通过前面一节可以了解一个大概，知道云计算的含义和hadoop的生态体系

知识链接：001_扎马步_初识hadoop 

Hadoop有两大部分：HDFS+MapReduce

其中HDFS实现分布式存储的底层支持，Mapreduce来实现分布式并行计算。

HDFS采用主从结构模型。一个master，若干个slave。对应到集群中由一个NameNode和若干个DataNode组成。其中NameNode作为主服务器管理文件系统的命名空间和客户端对文件的访问。DateNode负责保存数据。为了增加HDFS的安全性，Hadoop采用了备份的方式，默认将同一个文件会保存3份。后面在介绍HDFS时会说明。

MapReduce是一种并行编程模式。可以同时在上千台计算机中运行。MapReduce框架是由一个单独运行在主节点的JobTracker和运行在每个集群从节点的TaskTracker共同组成。主节点负责调度构成一个作业的所有任务。TaskTracker负责执行任务。（一个JobTracker对应N个TaskTracker）

master--NameNode--JobTracker

slave--DataNode--TaskTracker

是不是对应起来很完美

评论

1 楼 annmi_cai 2016-03-11  

好好学习，天天向上！