mapreduce体系结构及各组件▨功能

1、mapreduce体系结构及各组件功能

目前开源hadoop只包含hdfs,mr,和yarn，yarn是hadoop2新增组件。 hdfs是hadoop分布式文件系统，主要采用多备份存储文件，可以对接hive和hbase等产品并存储对应数据。

mapreduce是大数据处理并行框架，用户可以编写自己的程序调用mr框架并行的处理大数据，在调用过程中可以调整m和♙r的数目。不过总的来说编程相对复杂，因此诞生了hive. yarn作为新生控件，主要管理hadoop各个模块运行过程中的任务调度，目前主要有公平调度与容量调度两种模型. 如果需要其他组件，需要单独下载安装。

2、利用mapreduce进行数据清洗需要注

一般来说我们在使用mapreduce进行数据清洗的时候，只是用map端，因为数据的清洗一般

不会涉及到聚合的问题，所以我们经常是设置reduce的个数为0

      map端在接收到数据后，

1、把处理过后的数据会送往 环形缓冲区 ，然后在环形缓冲区内，对数据进行分区（注意：

这里的分区是类似一个打标签的操作，标明是哪个reduce的分区）、分区内排序；

   2、 在环形缓冲区达到阈值80%的时候，会开始溢写，形成多个小文件，最后合并这些小

文件，map端的shuffle结束

  3、  接着，map通知appmaster，appmaster去通知reduce任务，来拉去属于自己分区内的数据，

对自己分区内的数据合并，排序

   4、 对相同的key进行分组

   然后reduce端结束，最后将数据写入output

3、如何制定一份可实施的2018年大数据学习

我也是一个大数据新入门者，学习大数据先要明确自己的发展方向，如做大数据开发还是data science？如果是前者，主要是围绕着hadoop生态展开学习。可以先从hdfs、mapreduce和yarn学起。然后是核心组件如hbase、kafka、zookeeper等，紧接着就是各种计算框架spark、storm等。如果data science方向，主要关注计算框架并多去kaggle做些项目。当然，最☺重要的一点是，学习的同时多写博客，能够写出来让别人看得明明白白的才是真的学会了。

4、请问大数据应用技术都要学什么

首先，做大数据要有Java语言和Linux操作系统两项基础，在大♢数据开发上，这两项是学习大数据应用技术的重要基石。

这里不谈具体的课程，只说现在市场主流选用的几代大数据处理框架，对这几代框架技术有相应程度的掌握，基本上找工作也不愁了。

Hadoop

Hadoop是大数据处理第一代框架，至今也仍然占据重要的市场地位，Hadoop必学。

Hadoop核心组件，HDFS、MapReduce和YARN，整个Hadoop生态圈发展至今已有超过20个组件框架，都需要有所了解和掌握。

Spark

Spark是用来弥补基于Hadoop的MapReduce引擎，在处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别喜欢它。

Storm

Storm是开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流。Apache Storm采用Clojure开发。Storm有很多应用场景，包括实时数据分析、联机学习、持续计算、分布式RPC、ETL等。

Flink

Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。

5、大数据专业如何学习，感觉很迷茫

大数据大家一定都不陌生，现在这个词几乎是红遍了大江南北，不管是男女老幼几乎都听说过大数据。大数据作为一个火爆的行业，很多人都想从事这方面相关的工作，所以大家就开始加入了学习大数据的行列。

目前，市面上不仅是学习大数据的人数在增加，随之而来的是大数据培训机构数量的迅速上升。因为很多人认为这是一门难学的技术，只有经过培训才能够很好的学习到相关技术，最终完成就业的目的。其实，也并不都是这样的，学习大数据的方法有很多，只有找到适合自己的就能够达到目的。

那么，大数据初学者应该怎么学？

1、如果是零基础的初学者，对于大数据不是很了解，也♗没有任何基础的话，学习能力弱，自律性差的建议选择大数据培训学习更有效；

2、有一定的基础的学员，虽然对于大数据不是很了解，但有其它方面的编程开发经验，可以尝试去选择自学的去学习，如☂果后期感觉需要大数据培训的话再去报名学习；

3、就是要去了解大数据行业的相关工作都需要掌握哪些内容，然后根据了解的内容去选择需要学习的大数据课程。

大数据学习路线图：