dkfr.net
当前位置:首页 >> 学习SpArk一定要先学HADoop吗? >>

学习SpArk一定要先学HADoop吗?

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。 Spark的算子很多,写程序来看比Hadoop MapReduce要灵活很多,...

不一定,但是最好了解一下hadoop最核心的hdfs和mapreduce的思想。

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。 Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。

当然,起码hadoop框架内的mapreduce(分布式计算模块)和HDFS(分布式文件存储系统)你要学习,MR能够帮助你深入理解分布式的计算思维,HDFS则是大数据领域内最为常用,最为常见的文件存储系统,Spark也同样要依托于HDFS进行很多的计算,另外还...

hadoop是大数据生态圈的基础,虽然mapreduce基本废了,但是大数据的存储基本都是基于hdfs的,所以,hadoop还是要学的

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进天津众 维UI设计

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷...

这个问题让我想起来之前看到的一篇关于spark和hadoop区别的文章,从二者的区别上基本可以分析为spark为何要在hadoop基础上搭建。看一下下面的几点: 1、目的:首先需要明确一点,hadoophe spark 这二者都是大数据框架,即便如此二者各自存在的目...

不需要,你学习使用Git的时候也没让你会用SVN,甚至学习的比有SVN基础的更快!

一般都是要学的,像spark其实它只是替代了hadoop生态系统中的mapreduce功能,hadoop的其他的部分,spark都没有替代,所以要学hadoop;而storm是实时计算框架,比如说业务需要记录用户的足迹等信息,你肯定得需要一个存储的方式吧,最有可能的就...

网站首页 | 网站地图
All rights reserved Powered by www.dkfr.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com