简体中文 | English 您好,欢迎访问深圳市誉一高科技有限公司官方网站...
深圳市誉一高科技有限公司
新闻中心

地址:

深圳市南山区珠光北路明亮科技园2栋122

深圳市福田区都会100大厦3C070

电话:0755-82994191

手机:13798295525

新闻详情
首页 > 行业新闻 > 新闻详情

大数据集群Hadoop与Spark比较

发布时间:2019-02-27 10:06:01 最后更新:2019-02-28 17:35:59 浏览次数:435


直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。

比如说,Spark没有文件管理功能,因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。

Spark确实速度很快(最多比Hadoop MapReduce快100倍)。Spark还可以执行批量处理,然而它真正擅长的是处理流工作负载、交互式查询和机器学习。

Spark有自己的页面,因为虽然它可以通过YARN(另一种资源协调者)在Hadoop集群中运行,但是它也有一种独立模式。它可以作为 Hadoop模块来运行,也可以作为独立解决方案来运行。

MapReduce和Spark的主要区别在于,MapReduce使用持久存储,而Spark使用弹性分布式数据集(RDDS)。

文章来源:https://www.cnblogs.com/charlesblc/p/6206198.html

相关新闻
在线客服 高先生
客服电话
  • 13798295525