dkfr.net
相关文档
当前位置:首页 >> 学习SpArk一定要先学HADoop吗? >>

学习SpArk一定要先学HADoop吗?

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。 Spark的算子很多,写程序来看比Hadoop MapReduce要灵活很多,...

hdfs一定要, 然后mapreduce的思想, 主要是学习分布式的思想。

当然,起码hadoop框架内的mapreduce(分布式计算模块)和HDFS(分布式文件存储系统)你要学习,MR能够帮助你深入理解分布式的计算思维,HDFS则是大数据领域内最为常用,最为常见的文件存储系统,Spark也同样要依托于HDFS进行很多的计算,另外还...

hadoop是大数据生态圈的基础,虽然mapreduce基本废了,但是大数据的存储基本都是基于hdfs的,所以,hadoop还是要学的

一般都是要先装hadoop的,如果你只是玩Spark On Standalon的话,就不需要,如果你想玩Spark On Yarn或者是需要去hdfs取数据的话,就应该先装hadoop。

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。 Spark的算子很多,写程序来看比HadoopMapReduce要灵活很多

Spark的安装分为几种模式,其中一种是本地运行模式,只需要在单节点上解压即可运行,这种模式不需要依赖Hadoop 环境。 运行 spark-shell 本地模式运行spark-shell非常简单,只要运行以下命令即可,假设当前目录是$SPARK_HOME $ MASTER=local $ b...

不需要,Hadoop有hdfs,mapreduce,yarn三部分,spark相当于mapreduce是分布式计算框架,mapreduce需要自己编写map和reduce很麻烦,所以有了spark,不用自己编写。

在企业中,hadoop和spark都会用的,spark出来时间较短,以前在hadoop平台上的应用还没有完全迁移过来。它们能够集成在YARN之上,在同一个集群上运行这两个框架。spark只是个计算框架,存储还是要依靠hadoop中的hdfs或hbase或其它文件系统。可以...

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷...

网站首页 | 网站地图
All rights reserved Powered by www.dkfr.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com