1、用mapreduce怎么处理数据倾斜问题

调优参数

set hive.map.aggr=true；

set hive.groupby.skewindata=true;

hive.map.aggr=true：在map中会做部分聚集操作，效率更高但需要更多的内存。

hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。

2、为什么大数据具备洞察力决策力

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

3、数据分析团队如何帮助企业转型

楼主好，本人作为数据分析团队核心成员之一，结合之前的一些经验积累谈谈数据分析团队如何发挥自己的价值，提高业务与公司的产出。

让数据更易搜易得

一般来说，在计算机、手机、互联网、智能硬件等技术非常普及的情况下，需要分析的数据量往往很大。作为数据分析技术团队，凭借技术优势，让业务人员或者其他企业成员能够更接近数据，自然更有利于☻充分发挥数据的价值。

举一个例子，我们的业务数据存在hdfs上，产品与运营人员肯定不会基于map reduce框架去查询数据，作为技术团队，我们在hdfs上搭建hive框架，只需要简单的SQL语句就可以看到数据，并进行统计分析，很多有价值的数据都是产品等通过hive挖掘出来的。

数据分析技术加持业务

作为数据分析团队，必须要掌握一些数据分析方法，除了一些基础的数据统计分析之外，还应了解跟进数据分析的先进技术方法，比如这两年非常流行的一些机器学习算法，本质上也是寻求数据规律的技术。通过这些技术结合业务去做一些事情，往往能有超出业务人员预期的成果，因为他们对这些技术的理解与应用能力没有技术团队有优势。

加强业务知识

数据分析仅仅是工具，只有依赖于业务场景才能落地。数据分析团队往往比较偏重于技术而忽略业务能力，但根据之前的一些经验，那些深入了解业务的数据分析人员往往更能为业务与企业提供更好的服务。同时，要做好业务与数据分析技术之间的衔接与协调，也必须要✡了解业务才行。

大家觉得呢？欢迎各位评论、点赞哈~

4、mapreduce的工作原理简单介绍

MapReduce是一种分布式计算框架 ，以◙一种可靠的，具有容错能力的并行地处理上TB级别的海量数据集。主要用于搜索领域，解决海量数据的计算问题。

MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 扩展资料

　　MapReduce框架由Map和Reduce组成。

　　Map()负责把一个大的block块进行切片并计算。

　　Reduce() 负责把Map()切片的数据进行汇总、计算。

　　MapReduce原语：“相同”key的.键值对为一组调用一次Reduce方法，方法内迭代这组数据进行计算。

　　要点是：

　　MapReduce将输入的数据进行逻♨辑切片，一片对应一个Map任务；

　　Map以并行的处理切片；

　　框架对Map输🔥出进行排序，然后发给Reduce；

　　MapReduce的输入输出数据处于同一个文件系统（HDFS）；

　　框架负责任务调度、任务监控、失败任务的重新执行；

　　框架会对键和值进行序列化，因此键和值需要实现writable接口，框架会对键排序，因此必须实现writableComparable接口。

5、现在大数据的行情怎么样

靠概念的已经经过了一轮又一轮淘汰，没有可行的模式比较难。