Hadoop概念及其用法专家讲解

本节和大家继续学习Hadoop，Hadoop是一个分布式系统基础架构，由Apache基金会开发。它有什么奥秘呢，就让我们一起来继续关注Hadoop吧。

条款6：多个大输入的Job建议使用串行执行，多个小输入的Job建议使用并行执行。

Hadoop的任务处理分为map阶段以及reduce阶段，当集群的taskslots足够支持多个任务同时执行时，建议使用多任务并行执行，反之，建议使用串行执行，且当一个Job开始执行reducetask

时，可以开始执行下一个Job的maptask。

以下是我们在50台退役机器上分别并行和串行运行2个100G，200G，300G的任务的测试结果：

条款7：reducer的个数应该略小于集群中全部reduceslot的个数。

maptask的个数由输入文件大小决定，所以选择合适的reducer的个数对充分利用Hadoop集群的性能有重要的意义。

Hadoop中每个task均对应于tasktracker中的一个slot，系统中mapperslots总数与reducerslots总数的计算公式如下：

mapperslots总数=集群节点数×mapred.tasktracker.map.tasks.maximum

reducerslots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum

设置reducer的个数比集群中全部的reducerslot略少可以使得全部的reducetask可以同时进行，而且可以容忍一些reducetask失败。

条款8：多个简单串行的Job优于一个复杂的Job。将复杂的任务分割成多个简单的任务，这是典型的分治的思想。这样不仅可以使得程序变得更简单，职责更单一，而且多个串行的任务还可以

在上一个任务的正在执行reduce任务的时候，利用空闲的map资源来执行下一个任务。

4.Key-Value权衡
Map-Reduce算法的核心过程如下：

map(k1,v1)-->list(k2,v2)

reduce(k2,list(v2))-->list(v2)

即通过用户定义的map函数将输入转换为一组对，而后通过用户定义的reduce函数将>计算出***的结果。

如何选择合适的map和reduce函数才能充分利用Hadoop平台的计算能力呢？换句话说，如何选择上式中合适的K2和V2呢？

条款9：maptask或reducetask的大小应该适中，以一个task运行2-3分钟为宜，且task不能超出计算节点的运算能力。

虽然Hadoop平台帮助我们将数据分割成为小任务来执行，但我们也应当意识到，每个task都是在一个计算节点运行的，若一个task对机器资源（CPU、内存、磁盘空间等）的需求超出了计算

节点的能力的话，任务将会失败。而如果task过小的话，虽然计算节点能够快速的完成task的执行，但过多的task的管理开销，以及中间结果频繁的网络传输将占据任务执行的绝大部分时间，

这样同样会严重影响性能。建议的task大小***是以能够运行2-3分钟为宜。

条款10：map产生的中间结果不宜过大。

输入数据经过用户定义的map函数后生成的对是Map-Reduce模型的中间计算结果。

Maptask将计算的中间结果保存在本地磁盘，而后通过Reducetask拉去所有当前任务所需的中间结果，并将中间结果按Key排序。显然若map产生的中间结果过大，网络传输时间以及中间结

果排序将占据大部分的Job执行时间。本节关于Hadoop的介绍到此结束。

【编辑推荐】

1. 实例讲解Hadoop用法
2. 专家指导 如何进行Hadoop分布式集群配置
3. Hadoop集群与Hadoop性能优化
4. HadoopHBase实现配置简单的单机环境
5. 深入剖析Hadoop HBase

本文题目：Hadoop概念及其用法专家讲解
网址分享：http://www.shufengxianlan.com/qtweb/news30/376630.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联