|
MapReduce在hadoop体系的作用是分布式计算，分而治之的思想。
简单的说整个过程就是Map + Shuffle + Reduce
MapReduce过程中只能有一个Map和一个Reduce，复杂的话可以多个MapReduce串行运行
Map之前到Map
客户端需要将切片信息，jar包和xml配置文件提交到HDFS
Yarn根据切片数量启动相应MapTask(各玩各的)
Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。
每一个键值对调用一次map函数，调用OutputCollector.collect()输出结果。
Map：输入 key（long类型偏移量） value（Text一行字符串）输出 key value
Shuffle
数据先分区，然后进入环形缓存区。
数据达到环形缓存区80%开始溢写（环默认大小100M）。
溢写出的文件区内排序（快排）。
所有同区的不同批次溢写出的小文件合并排序（归并排序）。
可combiner等reduce端拉取
启动相应reduce task
将数据从map端拉取到内存中，内存满了则放入磁盘
reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）
按照相同key分组
Reduce到结束
调用reduce方法
TextOutputFormat输出
MrAppMaster：负责整个程序的过程调度及状态协调。 | 
转播
