MapReduce完整流程_莲芸轩的书房-程序员宅基地_mapreduce读写流程

技术标签: mapreduce  hadoop  MapReduce  

上一篇文章介绍了MapReduce编程模型
这次我们介绍MapReduce完整流程
Map阶段其实主要就是将输入的文件切割成一个个的(K,V)对,主要是******maptask工作机制******
在这里插入图片描述
(1)Read阶段:MapTask通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value。

(2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生一系列新的key/value。

(3)Collect收集阶段:在用户编写map()函数中,当数据处理完成后,一般会调用OutputCollector.collect()输出结果。在该函数内部,它会将生成的key/value分区(调用Partitioner),并写入一个环形内存缓冲区中。

(4)Spill阶段:即“溢写”,当环形缓冲区满80%后,MapReduce会将数据写到本地磁盘上,生成一个临时文件。需要注意的是,将数据写入本地磁盘之前,先要对数据进行一次本地排序,并在必要时对数据进行合并、压缩等操作。

溢写阶段详情:

步骤1:利用快速排序算法对缓存区内的数据进行排序,排序方式是,先按照分区编号Partition进行排序,然后按照key进行排序。这样,经过排序后,数据以分区为单位聚集在一起,且同一分区内所有数据按照key有序。
步骤2:按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out(N表示当前溢写次数)中。如果用户设置了Combiner,则写入文件之前,对每个分区中的数据进行一次聚集操作。
步骤3:将分区数据的元信息写到内存索引数据结构SpillRecord中,其中每个分区的元信息包括,在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB,则将内存索引写到文件output/spillN.out.index中。
(5)合并阶段:当所有数据处理完成后,MapTask对所有临时文件进行一次合并,以确保最终只会生成一个数据文件。
当所有数据处理完后,MapTask会将所有临时文件合并成一个大文件,并保存到文件output/file.out中,同时生成相应的索引文件output/file.out.index。
在进行文件合并过程中,MapTask以分区为单位进行合并。对于某个分区,它将采用多轮递归合并的方式。每轮合并io.sort.factor(默认10)个文件,并将产生的文件重新加入待合并列表中,对文件排序后,重复以上过程,直到最终得到一个大文件。

让每个MapTask最终只生成一个数据文件,可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。
reduce task工作机制
在这里插入图片描述

  1. reduce流程
    (1)Copy阶段:ReduceTask从各个MapTask上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。

(2)Merge阶段:在远程拷贝数据的同时,ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并,以防止内存使用过多或磁盘上文件过多。

(3)Sort阶段:当所有map task的分区数据全部拷贝完,按照MapReduce语义,用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起,Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序,因此,ReduceTask只需对所有数据进行一次归并排序即可。

(4)Reduce阶段:reduce()函数将计算结果写到HDFS上。

  1. 设置ReduceTask并行度(个数)
    ReduceTask的并行度同样影响整个Job的执行并发度和执行效率,但与MapTask的并发数由切片数决定不同,ReduceTask数量的决定是可以直接手动设置:

// 默认值是1,手动设置为4

job.setNumReduceTasks(4);

MapReduce完整流程
在这里插入图片描述
在这里插入图片描述
3. mapreduce简略步骤
第一步:读取文件,解析成为key,value对

第二步:自定义map逻辑接受k1,v1,转换成为新的k2,v2输出;写入环形缓冲区

第三步:分区:写入环形缓冲区的过程,会给每个kv加上分区Partition index。(同一分区的数据,将来会被发送到同一个reduce里面去)

第四步:排序:当缓冲区使用80%,开始溢写文件

先按partition进行排序,相同分区的数据汇聚到一起;
然后,每个分区中的数据,再按key进行排序
第五步:combiner。调优过程,对数据进行map阶段的合并(注意:并非所有mr都适合combine)

第六步:将环形缓冲区的数据进行溢写到本地磁盘小文件

第七步:归并排序,对本地磁盘溢写小文件进行归并排序

第八步:等待reduceTask启动线程来进行拉取数据

第九步:reduceTask启动线程,从各map task拉取属于自己分区的数据

第十步:从mapTask拉取回来的数据继续进行归并排序

第十一步:进行groupingComparator分组操作

第十二步:调用reduce逻辑,写出数据

第十三步:通过outputFormat进行数据输出,写到文件,一个reduceTask对应一个结果文件

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq994467433/article/details/107430750

智能推荐

JS实现图像像素聚类_mylbnc的博客-程序员宅基地

在此次实践中,对于Kmeans聚类算法交互式改变簇数的时候,我发现我的button按钮必须点击两次才行,目前还未找出原因。说明:对于图像的画布显示用Canvas,柱状图、饼图采用的是Echarts模板展示。需要连接python 服务器,管理员cmd进入当前目录,采用python -m http.server 80000方式建立,后直接在浏览器中输入http://localhost:8000即可。<!DOCTYPE html><!--1.此次实践实现图片显示以及图片的聚类柱状图饼形

python中pygame输入换行文字,Pygame:写多行_云东来的博客-程序员宅基地

@Maxime Lorant的回答就是你想要的。假设你有一张名单,上面写着你的名字。在names = ["Name1", "Name2", "Name3"]f = open("names.txt", "a")for i in names:f.write(i + "\n")f.close()如果名称.txt是一个空白文件,现在它的内容应该是:^{pr2}$基本上,换行符在pygame中不起作用-你必...

GNU Radio下QT GUI Tab Widget的使用方法_weixin_30576859的博客-程序员宅基地

期望显示出的效果:即将要显示的图放在各自的标签页中。整体框图:具体设置:QT GUI Tab Widget的设置:其中 ID改为自己想改的,这里我写的是displayGUI Hint所代表的意思为:[行,列,行间距,列间距]GUI hint参数可以用来指定图像的位置,其为[行,列,...

Kafka为什么这么快_kingmax54212008的博客-程序员宅基地_kafka mmap sendfile

传统IO|缓存IO传统IO也就是缓存IO。数据先从磁盘复制到内核空间缓冲区,然后从内核空间缓冲区复制到应用程序的地址空间。这里的内核缓冲区也就是页缓存-PageCache,是虚拟内存空间读操作:操作系统检查内核的缓冲区有没有需要的数据,如果已经缓存了,那么就直接从缓存中返回;否则从磁盘中读取,然后缓存在操作系统的缓存中写操作:将数据从用户空间复制到内核空间的缓存中。这时对用户程序来...

Docker容器引导完整CentOS_Linux????? Mr.Liyz的博客-程序员宅基地

因为现在的环境还在CentOS5下,但新的库只有在CentOS6下才能用。然后用Docker启动完整OS,这样相对于ESX省资源一点点。 目前的环境是宿主机是ubuntu 16.04, 然后容器就 centos5 和 centos6 首先直接从官方下载相关底包dockerpullcentos:5.11dockerpullcentos:6.8 然后直接在底包...

JVM实战:JVM命令行监控工具_Java识堂的博客-程序员宅基地_jvm命令行监控工具

介绍在生产环境中,经常会遇到各种各样奇葩的性能问题,所以掌握最基本的JVM命令行监控工具还是很有必要的名称主要作用jps查看正在运行的Java进程jstack打印线程快照jmap导出堆内存映像文件jstat查看jvm统计信息jinfo实时查看和修改jvm配置参数jhat用于分析heapdump文件jps:查看正在运行的Java进程jps可以列出正在运行的Java进程,并显示虚拟机执行主类(Main Class,main()函数所在的.

随便推点

爬虫(五)“中国大学排名定向爬虫”实例_山顶夕景的博客-程序员宅基地_中国大学排名定向爬虫

0.实例介绍右键点击查看源代码,ctrl+f查找清华大学找到相应数据。查看robots协议:http://www.zuihaodaxue.cn/robots.txt 发现不存在,说明可以爬。1.实例编写import requestsfrom bs4 import BeautifulSoup #只是引入bs4类import bs4 #引入bs4库def getHTML...

Swift—属性观察者-备_weixin_34279184的博客-程序员宅基地

为了监听属性的变化,Swift提供了属性观察者。属性观察者能够监听存储属性的变化,即便变化前后的值相同,它们也能监听到。属性观察者主要有以下两个:willSet:观察者在修改之前调用。didSet:观察者在修改之后立刻调用。属性观察者的语法格式如下:  面向对象类型 类型名 {             ...    ...

使用logstash的input-jdbc插件增量添加数据到es_tiankongyun123的博客-程序员宅基地

前提:安装好es和kibana。我这边用的都是6.5.3版本。安装logstash1、wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.3.zipunzip logstash-6.5.3.zip。2、解压,进入安装目录,进入bin目录,执行./logstash -e 'input { stdin { } } output { stdout {} }’。3、bin/logstash-plugin install l

「Medical Image Analysis」 Note on Deep Learning in Medical Image Registration_小锋子Shawn的博客-程序员宅基地

QQ Group: 428014259Tencent E-mail:[email protected]://blog.csdn.net/dgyuanshaofeng/article/details/88357344[1] Deep Learning in Medical Image Registration: A Survey [paper]

Unity3D游戏开发之《愤怒的小鸟》弹弓实现的技能培训_weixin_33991727的博客-程序员宅基地

下面我们开始今天的Unity3D游戏开发技能培训。 我们学习Unity3D培训目标:让U3D初学者可以更快速的掌握U3D技术,自行制作修改素材,可以独立完成2D、3D小规模游戏及网页游戏开发。 今天我们来做一个高端大气上档次的东西。我相信大家都玩过一款叫做《愤怒的小鸟》的游戏,这款游戏之所以能够受到玩家的喜爱,是因为这是一款物理游戏,在游戏中处处充满了物理。我们熟...

2017年第六届数学中国数学建模国际赛(小美赛)比赛心得_weixin_34279061的博客-程序员宅基地

本次建模比赛记录着我第一次写第一次写英文论文的经历先放下我这次比赛的题目吧!相信很多人看到这么长的题目,估计会望而却步吧,那我就来讲讲我这次比赛的经历吧!Day1: 早上八点,队友把题目发出来放在讨论组里,我稍微看了下题目,A题的题目是关于飓风和全球变暖这个话题的,题意大概是构建一个合理的模型,测量全球变暖的程度和全球飓风活动的强度,并估计它们之间的关系,这题题目很...

推荐文章

热门文章

相关标签