mongodb的多表关联哪웃种处理方式最优

1、mongodb的多表关联哪种处理最优

需求是这样的，一个游戏后台系统，需要对每天产生的日志文件进行分析。

游戏日志有用户注册、用户登录等。使用mapreduce将用户注册信息统计到一个集合user_register，将用户登录信息去重后放到另一个集合user_login，现在需要根据用户名关联这个两个集合统计出一些数据。但查了很多资料没有发现mongodb在这方面有很好的解决办法，也想过使用mapreduce来解决，但根据这段时间我使用mapreduce的心得，感觉mapreduce只能处理一个集合，不能同时处理两个集合。目前我想出的一个解决方案就是把这两个集合中的数据都读出来，然后使用程序代码处理。这种虽然能暂时解决问题，但肯定不是最优▧的。所以就冒昧给您发了这条信息，看您能不能给一些合理的建议或方法，先在此谢过！！

2、mapreduce包括那几个函数

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式√编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
瑭锦TANJURD总结在Google，MapReduce用在非常广泛的应用程序中，包括“分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类，机器学习，基于统计的机器翻译…”值得注意的是，MapReduce实现以后，它被用来重新生成Google的整个索引，并取代老的ad hoc程序去更新索引。

3、mapreduce发展史

MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google公司设计MapReduce的初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理。Google公司发明了MapReduce之后首先用其重新改写了其搜索引擎中的Web文档索引处理系统。但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其广泛应用于很多大规模数据处理问题。Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。

2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统和MapReduce的论文，公布了Google的GFS和MapReduce的基本原理和主要设计思想。

4、mapreduce的计算框架分为哪三个

MapReduce包含四个组成部分，分别为Client，JobTracker，TaskTracker，Task

1. client客户端

每一个Job都会在用户端通过Client类将应用程序以及配置信息Configuration打包成Jar文件上传到HDFS，并把路径提交到JobTracker的master服务，然后由master创建每一个Task（即MapTask和ReduceTask），将它们分发到各个TaskTracker服务中去执行。

2. JobTracker

JobTracker负责资源监控和作业调度。JobTracker监控所有的TaskTracker与Job的健康状态，一旦发现失败，就将相应的任务转移到其他节点；同时JobTracker会跟踪任务的执行进度，资源使用量等信息，并将这些信息告诉任务调度器，而调度器会在资源出现空闲时，选择合适的任务使用这些资源。在Hadoop中，任务调度器是一个可插拔的模块，用于可以根据自己的需要设计相应的调度器。

3TaskTracker

TaskTracker是运行在多个节点上的slave服务。TaskTracker主动与JobTracker通❣信（与DataNode和NameNode相似，通过心跳来实现），会周期性地将本节点上资源使用情况和任务的运行进度汇报给JobTracker，同时执行JobTracker发送过来的命令并执行相应的操作（如启动新任务，杀死任务等）。TaskTracker使用"slot"等量划分本节点上的资源量。"slot"代表计算资源(cpu，内存等)。一个Task获取到一个slot之后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为MapSlot和ReduceSlot两种，分别提供MapTask和ReduceTask使用。TaskTracker通过slot数目（可配置参数）限定Task的并发度。

4Task：

Task分为MapTask和ReduceTask两种，均由TaskTracker启动。HDFS以固定大小的block为基本单位存储数据，而对于MapReduce而言，其处理单位是split。split是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全有用户自己决定。但需要注意的是，split的多少决定了MapTask的数目，因为每一个split只会交给一个MapTask处理。

5、hadoop mapreduce分别是干

hadoop是一种架构，用来搭建分布式平台使用 mapreduce是一种编程模型，是一种编程方法，抽象■理论来的

1、hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括zookeeper,hive,hbase等。

2、MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以❖通过mapreduce很容易在hadoop平台上进行分布式的计算编程。