hadoop Mapreduce组件介绍

MapReduce原理

  MapRedcue采用‘分而治之’的思想，对大规模数据集的操作，分发给一个主节点下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。Mapreduce就是任务的分解，与结果的汇总

MapReduce任务机器有两个一个是jobTracker，另一个是TaskTracher，JobTracker用于调度的工作，TaskTracher用于执行工作，一个hadoop集群只有一个JobTracker。

　在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇总起来。

输入--拆分--映射--归并---计算--结果

 

 

转载于:https://www.cnblogs.com/tsxylhs/p/7262011.html

总结

以上是生活随笔为你收集整理的hadoop Mapreduce组件介绍的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。