Hadoop采用MapReduce分布式计算框架，将数据切片计算来处理大量的离线数据数据。并根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。Hadoop处理的数据必须是已存放在HDFS上或者类似HBase的数据库中。常用于离线的复杂的大数据处理。

大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

 

1.解决问题的层面不一样

首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组

 

Hadoop的适用场景：                          

1）海量数据的离线分析处理

2）大规模Web信息搜索

3）数据密集型并行计算成集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

 

Spark的适用场景：

1）多次操作特定数据集的应用场。Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。

2）粗粒度更新状态的应用。由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。

因此Spark的适用面是很广泛的。

 

2.两者可合可分

Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。

相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的。

 

所以，当前大数据时代，掌握Hadoop和Spark是绝对必要的。

 

Hadoop采用MapReduce分布式计算框架，将数据切片计算来处理大量的离线数据数据。并根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中。常用于离线的复杂的大数据处理。

Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组

Hadoop的适用场景：                           

1）海量数据的离线分析处理

2）大规模Web信息搜索

3）数据密集型并行计算成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

【授课内容】Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

免费讲座时间: 10月8日、22日(周六)1pm ; 10月9日、23日(周日)1pm

20年中国及华尔街投资经验, 9FA 加拿大有限公司总裁,中国对冲基金协会(CHPCN)发起人, 对稳定赢利的基金投资和交易方法有多年的研究和测试, 形成了一套可学习可应用的基金投资和交易模式。译著过《波浪理论》受投资者热捧, 最新著作为《神秘的对冲基金》。由于他在金融投资方面博大精深的理论和实战经验, 并愿毫无保留和学员分享,令学员即使零基础都有巨大投资回报，被誉为“终生受益的投资好老师”。