企业如◎何使用云计算协助业务成长

1、企业如何使用云计算协助业务成长

首先，随着互联网、移动互联网的发展，数据量有了井喷式的增长，用户的每一次购买，每一次选择，每一次点击都被记录，被收集。互联网，将传统的基于线下的无法被收集记录的数据，统统都记录到了数据库当中，而这些数据毫无疑问是海量的，为了存储这些海量的数据，技术界提出了大数据这样的概念。当然大数据这个词汇是什么时候产生的这里不做追究了。这里讲的大数据，是当下☠所说的大数据时代，是一个更偏向于技术层面的词汇。正是为了要存储这些海量的数据，搜索巨头Google带头开发了一系列的可用于大数据存储与分析的数据库工具，最出名，当下最成功的莫属于apache hadoop体系了。开始这些企业与组织将收集到的数据做冷热分离，从传统数据库中剥离出来，分块存储在了hadoop等大数据工具之中，而hadoop基于mapreduce.的核心算法，可以在成千上万的节点中对数据进行处理然后聚合。然后用这些数据做离线的分析、计算来指导商业决策。 再后来随着技术的进一步发展，离线数据处理逐渐的满足不了快速的商业变化，所以基于实时的流计算工具开始显露头角，代表的当属spark, storm等计算工具。而目前大数据的火热也正是因为整个大数据计算平台的成熟。讲到这里或许大家或多或少的了解了大数据的概念，并对其应用有了初步的认识。

说完了大数据，那接下来要讲讲云计算了，其实云计算跟大数据、人工智能并不是割裂开的技术，恰恰相反它们之间有非常紧密的联系。当下云计算不可谓不是一种另一个火热的方向，当然虽然这个方向很火热，但对普通玩家来说其实没什么机会了。我们言归正题，具体来讲讲什么是云计算，以及云计算能干嘛，能给我们带来什么价值。云计算笼统来说，我认为是基础设施的统一化，资源化管理，当然这样的目的无非就是那两个永恒的话题: 效率、成本。正如我们前面说到的海量数据的存储需要大数据工具，而这些大数据工具的底层就是硬盘、是内存。而这些硬件资源正是云计算领域里面管理的。目前云计算主要分为三层1. Iaas 硬件即服务 2.Paas 平台即服务 3.Saas 其中Iaas层主要是硬件资源的管理，比如硬盘的管理、内存的管理、网络设备的管理等等。为代表的当属AWS、阿里云 。他们带来的最直接的收益就是随着硬件资源的统一化、标准化、自动化、甚至于说即将到来的智能化管理，会很大程度的提高资源利用率，节约成本。以前我们部署服务或许还要从IBM买台服务器，然后找上海XX机房安装、配置等等一系列反锁的体力劳动。而现在我们只需要打开阿里云APP点几下手指，就能获得一个服务器，改变之大，确实不可同日而语。Paas层更多的想必是软件开发相关人员在用，其实paas层做的事情就是在Iaas层的基础上，对计算资源比如内存，硬盘等进行了进一步的隔离与拆分。比如在8M的内存上，有4M跑的是python服务，剩下4M跑的是java而这两者之间不相互影响，这就是Paas层在做的事情。目前业界吵的最火的，当属容器生态。代表的有docker、 k8s等等。 最后Saas层就是我们用户最接近的层面了，Saas层具体含义是软件即服务。也就是们日常用的各类软件，我这里列出来最具有代表性的两个: 、钉钉。当然的野心与生态是超出Saas层的，这里也不非要讲个青红皂白。大家理解就好。 此外，基于云计算还衍生出了很多新的概念与产品比如Daas 设计即服务等等。

无论是前面说的云计算、还是大数据，其实都可以归纳到资源里面，云计算是一种建立在软硬件基础上的计算资源，大数据是☺长期积累起来的数据资源，在人工智能到来之前，这两种资源其实就已经发挥其作用了，很多传统大公司也有自己的数据分析、决策部门。但这之前这种价值是有限的，是在一定程度上可以被预估的。相信搞人工智能的同学都知道，其实在深度学习算法之前有一些传统的机器学习算法也表现很强势，典型的如SVM(支持向量机) 、决策树 、K-means等等，这些算法以前也广泛应用与数据分析与商业决策，但是都没有获得如今的热度与追捧。直到深度学习算法逐渐成熟，表现强势，在很多领域都超过了传统的算法模型之后，这一轮░的人工智能才正真被学术界与商业界所认可，逐渐走上革命的舞台，也正在潜移默化的改变着我们的生活。从目前的趋势来看，人工智能已经是一趟出发的列车了，而为这辆列车提供动力的不仅仅是各大软硬件厂商，最关键的是各国政府，很多国家都已经将人工智能的发展拉入到国家的发展战略里面，以我过为代表提出的全面数字化转型、智能制造2025等等战略里面，我们都可以清晰的看到人工智能在国家战略层面的重要意义。 回过头来在深入到人工智能的技术层面，目前的人工智能算法主要以机器学习算法与深度学习算法为主。在不同的领域，基于不同的数据集，这两种算法训练出来的模型也各有所优劣。但不管是机器学习还是深度学习的训练，其实有两个很关键的因素1. 计算资源2.数据资源。 是的，没错，这两者正是我们前面讲到的云计算与大数据。云计算软硬件为基础，为人工智能算法提供了基础的计算资源，目前表现最好的就属于基于英伟达的GPU的计算平台。当然光有计算资源还不够，还需要海量的特征化数据。而这正就是经过加工、清洗过的大数据资源。另外，此处强调一点，那就是对于没处理过的，脏数据比较的数据集，想要得到好的训练结果，可能性是比较小的。 在半年前我做过一比喻将云计算比作为供养灵魂的躯壳，将大数据比喻为灵魂的养料，而人工智能就是一个个鲜活的四处畅游的灵魂。这些灵魂每一个都有自己独立的思想，擅长某一个细分的领域与方向。

不管是云计算、大数据、还是人工智能，在一个企业的数字化转型中其实都是迫切需要引进的先进技术，不管是从国家战略层面来讲，还是从科趋势革命的角度来讲，这都是我们都需要了解的知识，因为它将会影响我们所有人。当然，能够利用这些关键技术，完成数字化、智能化转型的企业，重量获得更大的利润，获得更广阔的发展空间！

2、mapreduce的map函数作用

从磁盘读入数据 –> map函数 –> combine结果（非必需的过程）–> 结果写回磁盘。

map阶段中，当输出数据达到一定的值（阈值）时，会从内存写到磁盘；若小于阈值，则会缓存起来，可以减小磁盘IO开销。所以，可以通过设置适当的阈值大小，来优化性能。

3、mapreduce的技术特征

1、MapReduce 易于编程

它简✏单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。

2、良好的扩展性

当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

3、高容错性

MapReduce设计的初衷就是使程序能够部署在廉价的机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。

4、适合PB级以上海量数据的离线处理

可以实现上千❀台服务器集群并发工作，提供数据处理能力。

4、job是mapreduce的组件吗

在Hadoop MapReduce中，Job（作业）是MapReduce的一个组件。

MapReduce架构主要由以下几个组件组成：Client、JobTracker、TaskTracker和Task。MapReduce程序通过Client提交到JobTracker端，同时用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用Job（作业）表示MapReduce程序，一个MapReduce程序可对应若干个作业，每个作业会被分解成若干个Map/Reduce Task（任务）。JobTracker主要负责资源监控和作业调度，监控所有TaskTracker与作业的健康状况，一旦发现失败情况后，其会将相应的任务转移到其他节点。

5、mapreduce的运行模式

本地运行模式

1.mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

2.而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上

3.怎样实现本地运行？程序不要带集群配置文件

本质是程序的conf中是否有mapreduce.framework.name=local及yarn.resourcemanager.hostname参数

4.本地模式非常便于进行业务逻辑的debug，只要在eclipse/idea中打断点即可。

集群运行模式

1.将mapreduce程序交给yarn集群，分发到很多的节点上并发执行

2.处理的数据和输出结果应该位于hdfs文件系统

3.提交集群的实现步骤

将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动

hadoop jar HDFSClientDemo-1.0-SNAPSHOT.jar com.caimh.mr.WordCountDriver

4.执行程序&日志