dkfr.net
当前位置:首页 >> 学习SpArk一定要先学HADoop吗? >>

学习SpArk一定要先学HADoop吗?

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。 Spark的算子很多,写程序来看比Hadoop MapReduce要灵活很多,...

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。 Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。

不一定,但是最好了解一下hadoop最核心的hdfs和mapreduce的思想。

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进天津众 维UI设计

当然,起码hadoop框架内的mapreduce(分布式计算模块)和HDFS(分布式文件存储系统)你要学习,MR能够帮助你深入理解分布式的计算思维,HDFS则是大数据领域内最为常用,最为常见的文件存储系统,Spark也同样要依托于HDFS进行很多的计算,另外还...

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷...

不需要,你学习使用Git的时候也没让你会用SVN,甚至学习的比有SVN基础的更快!

不需要,Hadoop有hdfs,mapreduce,yarn三部分,spark相当于mapreduce是分布式计算框架,mapreduce需要自己编写map和reduce很麻烦,所以有了spark,不用自己编写。

建议先学 hadoop , 弄明白hadoop是干什么的。 说到底整个架构就是 N 台电脑组成群集,在上面安装 hadoop,hadoop 其实就是一个分布式的文件系统,数据就分布在这N台电脑中。 一旦需要进行庞大的数据查询或者运算,那么这 N 台电脑就可以同时工...

Spark与Hadoop一样,是一种开源的集群计算环境,但在特定工作负载情况下比Hadoop更高效。Spark采用基于内存的分布式数据集,优化了迭代式的工作负载以及交互式查询。Spark采用Scala语言实现,使用Scala作为应用框架。与Hadoop不同的是,Spark和S...

网站首页 | 网站地图
All rights reserved Powered by www.dkfr.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com