- 博客(0)
- 资源 (1)
- 收藏
- 关注
Hadoop 入门pdf文档
Hadoop 入门文档
Hadoop 的系统中,会有一台Master,主要负责NameNode 的工作以及JobTracker 的工
作。JobTracker 的主要职责 就是启动、跟踪和调度各个Slave 的任务执行。还会有多台Sl
ave,每一台Slave 通常具有DataNode 的功能并负责TaskTracker 的 工作。TaskTracker
根据应用要求来结合本地数据执行Map 任务以及Reduce 任务。
说到这里,就要提到分布式计算最重要的一个设计点:Moving Computation is Cheaper t
han Moving Data。就是在分布式处理中,移动数据的代价总是高于转移计算的代价。简单
来说就是分而治之的工作,需要将数据也分而存储,本地任务处理本地数据然后归 总,这
样才会保证分布式计算的高效性。
2013-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人