hive执行作业时☢reduce任务个数设
hive执行作业时reduce任务个数设
reducer个数的设定➳极大影响执行效率❀
1. hive.exec.reducers.bytes.per.reducer（默认为1000^3）
2. hive.exec.reducers.max（默认为999） 计算reducer数♙的公式很简单： N=min(参数2，总输入数据量/参数1) 通常情况下，有必要手动指定reducer个数。考虑到map阶段的输出数据量通常会比输入有大幅减少，因❤此即使不设定reducer个数，重设参数2还是必要♝的。依据Hadoop的经验，可以将参数2设定为0.95(集群中TaskTracker个数)。
正确的reduce任务的 个数应该是 0.95或者1.75 ×（节点数 ×mapred.tasktracker.tasks.maximum参数值）
原创文章，作者：Ame，如若转载，请注明出处：https://www.lbseo.cn/13807.html