摘要：入门学习资源入门系列实验课程。二理论导读大数据技术生态介绍写的很好的一篇大数据技术生态圈介绍文章，层次条理分明，内容详尽。
Spark入门学习资源：Spark入门系列实验课程。
一、Spark简介：Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代的MapReduce算法场景中，可以获得更好的性能提升。例如一次排序测试中，对100TB数据进行排序，Spark比Hadoop快三倍，并且只需要十分之一的机器。Spark集群目前最大的可以达到8000节点，处理的数据达到PB级别，在互联网企业中应用非常广泛。
二、Spark理论导读 2.1 大数据技术生态介绍写的很好的一篇大数据技术生态圈介绍文章，层次条理分明，内容详尽。推荐必读。
2.2 谁在使用Spark？这个页面列举了部分使用Spark的公司和组织，有使用场景的介绍，可做简单了解。
2.3 Spark与Hadoop对比这篇介绍是我看到过最详尽的，讲到很多Spark基本原理和对比Hadoop的优势，推荐必读。
三、Spark入门实践教程有很多想要学习Spark的小伙伴都在自学，实验楼最近整理了一系列的spark入门教程，并提供线上配套的练习环境，希望对Spark学习者有所帮助~
Spark线上实验环境：
Spark生态圈（图来自这里)：
下面依照上图，对Spark入门系列课程做介绍。
3.1 Spark 讲堂之 SQL 入门Spark SQL 是一个分布式查询引擎，在这个教程里你可以学习到 Spark SQL 的基础知识和常用 API 用法，了解常用的数学和统计函数。最后将通过一个分析股票价格与石油价格关系的实例进一步学习如何利用 Spark SQL 分析数据。
3.2 Spark 讲堂之 Streaming 入门Spark Streaming 适用于实时处理流式数据。该教程带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。
附带一张Streaming图：
3.3 Spark 讲堂之 MLlib 入门这个教程你可以了解到 Spark 的 MLlib 库相关知识，掌握 MLlib 的几个基本数据类型，并且可以动手练习如何通过机器学习中的一些算法来推荐电影。
3.4 Spark 讲堂之 GraphX 入门GraphX是Spark用于解决图和并行图计算问题的新组件。GraphX通过RDD的扩展，在其中引入了一个新的图抽象，即顶点和边带有特性的有向多重图，提供了一些基本运算符和优化了的Pregel API，来支持图计算。
3.5 Spark 讲堂之 GraphX 图算法GraphX包含了一些用于简化图分析任务的的图计算算法。你可以通过图操作符来直接调用其中的方法。这个教程中讲解这些算法的含义，以及如何实现它们。
3.6 Spark 讲堂之 SparkR 入门SparkR是一个提供轻量级前端的R包，集成了Spark的分布式计算和存储等特性。这个教程将以较为轻松的方式带你学习如何在SparkR中创建和操作DataFrame，如何应用SQL查询和机器学习算法等。
3.7 Spark 讲堂之 DataFrame 入门DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式更加易用、计算性能更好。这个教程通过一个简单的数据集分析任务，讲解DataFrame的由来、构建方式以及一些常用操作。
3.8 Spark 讲堂之 DataFrame 详解这个教程通过更加深入的讲解，使用真实的数据集，并结合实际问题分析过程作为引导，旨在让Spark学习者掌握DataFrame的高级操作技巧，如创建DataFrame的两种方式、UDF等。
3.9 Sqoop 数据迁移工具Sqoop 是大数据环境中重要的是数据转换工具，这个教程对Sqoop 的安装配置进行了详细的讲解，并列举了Sqoop 在数据迁移过程中基本操作指令。
以上9个教程比较适合有一定的Spark基础的人学习。
3.10 Spark 大数据动手实验这个教程是一个系统性的教程，总共15个小节，带你亲身体验Spark大数据分析的魅力，课程中可以实践：
Spark，Scala，Python，Spark Streaming，SparkSQL，MLlib，GraphX，IndexedRDD，SparkR，Tachyon，KeystoneML，BlinkDB等技术点，无疑是学习Spark最快的上手教程！
这个教程较为系统，非常适合零基础的人进行学习。
希望以上10个教程可以帮助想入门Spark的人技术更上一层楼。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/8242.html
摘要：资源获取方式根据下面的索引，大家可以选择自己需要的资源，然后在松哥公众号牧码小子后台回复对应的口令，就可以获取到资源的百度云盘下载地址。公众号二维码如下另外本文会定期更新，松哥有新资源的时候会及时分享给大家，欢迎各位小伙伴保持关注。 没有一条路是容易的，特别是转行计算机这条路。 松哥接触过很多转行做开发的小伙伴，我了解到很多转行人的不容易，记得松哥大二时刚刚决定转行计算机，完全不知道这...
摘要：值得一提的是每篇文章都是我用心整理的，编者一贯坚持使用通俗形象的语言给我的读者朋友们讲解机器学习深度学习的各个知识点。今天，红色石头特此将以前所有的原创文章整理出来，组成一个比较合理完整的机器学习深度学习的学习路线图，希望能够帮助到大家。 一年多来，公众号【AI有道】已经发布了 140+ 的原创文章了。内容涉及林轩田机器学习课程笔记、吴恩达 deeplearning.ai 课程笔记、机...
摘要：分布式高并发微服务问阿里京东蚂蚁等大厂面试真题解析道跳槽涨薪必备精选面试题最新版大厂面试真题集点击这里免费领取点击这里免费领取 估计很多Java程序员平时主要的工作就是一些Web系统的业务开发，对于服务端IO程序以及网络通信编程做得并不多，但是对于高级或者资深程序员来说，IO通信以及服务端编...
摘要：今天给大家带来三万粉丝三大语言学习路线和资源整理，收藏就对了。还有对数组面向对象和异常处理等。语言学习路线一基础阶段技能树掌握脚本界面编程能力数据库基本爬虫多线程多进程开发能力，可以胜任基本的开发工作。 大家好，我是辣条。 今天给大家带来三万粉丝三大语言学习路线和资源整理，收藏就对了。 目录...
摘要：数据科学任务主要是数据分析领域，数据科学家要负责分析数据并建模，具备统计预测建模机器学习等方面的经验，以及一定的使用或语言进行编程的能力。监控运行时性能指标信息。 Spark Spark 背景 什么是 Spark 官网：http://spark.apache.org Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，20...
阅读 437·2021-11-25 09:43
阅读 1454·2021-11-18 10:02
阅读 904·2021-10-15 09:39
阅读 1720·2021-10-12 10:18
阅读 1899·2021-09-22 15:43
阅读 559·2021-09-22 15:10
阅读 1958·2019-08-30 15:53
阅读 787·2019-08-30 13:00
