{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

如何从零开始、系统地学习大数据?

moven_jmoven_j 回答0 收藏1
收藏问题

8条回答

NSFish

NSFish

回答于2022-06-28 15:30

随着大数据技术开始逐渐落地应用,未来不仅IT互联网领域的从业者需要掌握大数据技术,传统行业从业者也需要掌握一定的大数据技术,尤其是管理类岗位,掌握大数据技术对于提升自身的资源整合能力,以及扩展自身的能力边界,都有比较积极的意义。

从我近些年带大数据方向研究生的情况来看,早期选择大数据方向的同学,往往都来自于数学、统计学和计算机大类专业的同学,近两年管理学专业的同学也开始选择大数据方向了,这是一个明显的变化。

大数据是一个典型的交叉学科领域,而且大数据的技术体系非常庞大,这导致学习大数据的切入点也非常多,所以不同知识基础和专业背景的同学,可以根据自身的发展规划来制定入门规划。

大数据技术与场景的结合非常紧密,不同的生产场景往往需要采用不同的大数据技术,所以一定不能脱离应用场景来学习大数据技术,这会导致很多问题。

对于在读的大学生来说,可以结合自身的专业特点来选择学习路径,如果未来要从事大数据开发岗位,那么可以从编程语言开始学起,然后学习数据库、大数据平台等知识,接着通过实习岗位,或者参加老师的实验室,来构建实践场景。

对于要从事数据分析类岗位的同学来说,可以从统计学知识开始学起,然后学习机器学习,这也是目前进行大数据分析的两种主要分析方式。当然了,数据分析同样不能离开生产场景来学习,不同的行业背景对于数据价值化的方式也有不同的要求。

对于职场人来说,最好能够结合自己的行业背景来学习大数据技术,对于很多从事管理类岗位的职场人来说,学习大数据可以从报表(Excel)开始学起,然后进一步学习BI相关知识。

学习大数据分析,一定离不开统计学、机器学习相关知识,即使工具再强大,包括一些低代码平台的运用,往往也需要掌握一定的编程知识。

总之,学习大数据技术一定要重视最新技术的发展,同时要重视给自己开辟出更多的交流和实践渠道。

评论0 赞同0
  •  加载中...
wupengyu

wupengyu

回答于2022-06-28 15:30

阶段一JavaSE基础核心

1深入理解Java面向对象思想

2掌握开发中常用基础API

3熟练使用集合框架、IO流、异常

4能够基于JDK8开发

5熟练使用MySQL,掌握SQL语法



阶段二Hadoop生态体系架构

1Linux系统的安装和操作

2熟练掌握Shell脚本语法

3Idea、Maven等开发工具的使用

4Hadoop组成、安装、架构和源码深度解析,以及API的熟练使用

5Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优

6Zookeeper的内部原理、选举机制以及大数据生态体系下的应用

7Flume的架构原理、组件自定义、监控搭建,熟练使用Flume开发
实战需求

8Azkaban的安装部署,熟练使用进行工作流的调度执行

9Kafka的安装部署以及框架原理,重点掌握Kafka的分区分配策略、
一致性保证等,熟练掌握低级API、高级API的使用

10统筹Hadoop生态下的Hadoop、Flume 、Zookeeper、Kafka、Sqoop
等诸多框架,搭建数据采集系统,熟练掌握框架结构和企业级调优手段



阶段三Spark生态体系架构

1Scala语言的基础入门、数据结构讲解、面向对象、函数式编程、模式匹
配、高级类型、隐式转换等重点内容的掌握使用

2Spark的入门安装部署、Spark Core部分的基本API使用熟练、编程进
阶、自定义累加器和广播变量的使用和原理掌握、SparkSQL的编程掌握
和如何自定义函数、SparkSreaming的应用解析、Spark的内核源码详解
(包括部署、启动、任务划分调度、内存管理等)、Spark的企业级调优
策略。

3HBase的部署使用、原理架构讲解与企业级优化

4最新的大型离线数仓项目,对电商常见及疑难指标的熟练掌握,完全自主
搭建整个数仓架构

5Redis的入门、基本配置讲解、jedis的熟练掌握

6熟练掌握实时分析项目的架构及需求处理思路



阶段四Flink生态体系架构

1熟练掌握Flink的基本架构以及流式数据处理思想,熟练使用Flink多种
Soure、Sink处理数据,熟练使用基本API、Window API 、状态函数、
Flink SQL、Flink CEP复杂事件处理等

2使用Flink搭建实时数仓项目,熟练使用Flink框架分析计算各种指标

3开发工具Git&Git Hub的熟练使用

4ElasticSearch的入门安装部署及使用



阶段五项目实战阶段

1熟练掌握在线教育从0到1搭建大数据处理系统,了解大数据从业人员的
真实工作流程

2以在线教育为背景,搭建实时数仓处理系统,独立完成项目搭建和需求实现

3采用ucloud云平台全套大数据产品重构电商项目,熟悉离线数仓、实时指标的
ucloud云解决方案。

4可选掌握推荐和机器学习项目,熟悉并使用系统过滤算法以及基于内容的
推荐算法等

5可选掌握用户画像项目,使用数字化标签描述用户个性特征、勾画目标用户


学编程没有什么捷径,就是要多看别人的代码,多敲自己的代码。多思考为什么要这样,培养编程思维。

每天有效学习时长要有6个小时这样,1-2小时的笔记时间,敲代码的时长2-3小时。

编程一定要代码量上去!!!

因为很多都是一学就会,一敲就废。

俗话说,键盘敲烂月薪过万;键盘落灰狗屎一堆。

建议按着学习路线去学习,基本这种都是针对企业的招聘来安排的课程。

你要针对性的去学习,不要一口吃个大胖子,学习是个循循渐进地过程。

B站全网最全大数据学习路线:

https://www.bilibili.com/read/cv5213600?spm_id_from=333.788.b_636f6d6d656e74.7

评论0 赞同0
  •  加载中...
izhuhaodev

izhuhaodev

回答于2022-06-28 15:30

如何从零开始、系统地学习大数据?最重要的是哪种方向选择,大数据相关的方向还是有很多的,方向不一样学习的东西就不一样。简单举例以大数据开发和大数据分析来说明。

大数据开发方向

如果选择大数据开发方向,那最重要的就是软件的开发。而这基本就是程序员所需要系统学习的知识。作为程序员那最起码应该掌握一门开发语言,一般从这里着手最能够引起兴趣。比如选择Java、C#.Net、Php、Python等等其中一门从最基础开始学,边学边实践,慢慢能写出一些程序后就能体会到里面的乐趣。当然还有学习大数据开发相关的环境,比如Hadoop、数据库等知识。


但要长期从事软件开发做好项目,最好还是要系统性的学习,基本就可以参照大学软件工程的学习计划进行系统学习。比如主要专业课程:程序设计语言、数据结构、操作系统、编译技术、软件工程概论、统一建模语言、软件体系结构、软件需求、软件项目管理、数据库与实现计算、计算机安全等等。当然一般在职的人可能没有这么多时间来学习这些比较理论性的,可以选择必要的几门学习,个人认为这几科目:数据结构、软件工程、软件项目管理等是比较实用的,当然有时间的话尽量多选学有好处。


大数据分析

选择大数据分析方向,则理论性知识需要更扎实,当然也得要掌握一些工具。对于数据分析来说,很重要的就是数学知识、统计学、概率知识等等。如果要系统性的学习,可以参照数据科学与大数据技术专业课程,比如:C(Java、Python)程序设计、数据结构、大数据算法、人工智能、应用统计、大数据机器学习、数据建模、大数据分析与处理、大数据管理等等。


当然有些大数据分析师培训机构的课程也可以参考,这些是比较注重实用性,而系统性不太足。比如掌握的实用知识较多:除了前端知识、还有Python、Echarts、D3、Power BI、SmartBI、SAP、Tableau、R语言分析、建模分析等等,学习后就可以上手做。

大数据相关的知识非常繁多且杂,要系统学习的话最好就是找一个方向进行。


图片来自于网络,如有侵权请联系作者删除,更多分享请上部关注【东风高扬】。

评论0 赞同0
  •  加载中...
xiguadada

xiguadada

回答于2022-06-28 15:30

感谢邀请,如果说从零开始系统的学习大数据,那我们必然是先学基础的东西。

其实,我个人建议,楼主如果想学习的话,完全可以去报一个系统的班,在班里有老师带着你,一来是节省时间,二来可以学习到等多的东西。

你也可以看看我写的文章,我将从下面的顺序依次简单的介绍大数据。

第一阶段:JAVA基础

模块(1):Java编程基础

Java基本语法、面向对象、IO、集合、多线程、Socket编程、基础综合实战等;

模块(2):数据库

MySQL数据库、JDBC、存储过程和SQL查询增强等;

模块(3):JAVA基础编程实战

数据分析综合实战案例

第二阶段:Java Web阶段

模块(1):Mybatis

Mybatis快速入门、Mybatis的架构介绍、Mybatis实现增删改查、SqlMapConfig的使用、动态sql、关联映射

模块(2):SpringMVC

SpringMVC快速入门、参数绑定、RequestMapping注解、ResponseBody注解、静态资源映射、拦截器

模块(3):Spring

Spring快速入门、Spring的IOC、Spring注解、Spring的AOP、整合Mybaties和SpringMVC

模块(4):SpringBoot

SpringBoot快速入门、SpringBoot核心、SpringBoot的Web开发

模块(5):数据可视化Echarts

Echarts的基本使用、创建饼状图、柱状图、折线图、整合SpringBoot

第三阶段:大数据分布式离线计算技术体系

模块(1):Linux操作系统

Linux系统简介、Linux系统服务器集群安装部署、Linux常用命令操作、Linux系统管理、

Linux Shell编程等;

模块(2):大数据HADOOP技术栈

Hadoop生态体系简介、HDFS、MapReduce、Yarn、

Hive、Sqoop、Flume、Azkaban、HBase、

第四阶段:大数据分布式内存实时计算技术体系

模块(1):大数据Spark生态系统

Scala函数式编程

Spark生态体系、SparkCore、SparkSQL、Kafka、SparkStreaming、SparkMLlib、GraphX

模块(2):NoSQL数据库

MongoDB、Redis

模块(3):大数据ElasticSearch生态系统

Lucene和ElasticSearch等;

第五阶段:大数据实战项目


这就是我对这个问题的看法,有帮助到大家的话,关注支持一下下~~

感谢坚持关注的朋友~

世界很大,幸好有你~

欢迎在评论区留下你的问题或困惑,我将每天与你分享我的观点和心得。

聚焦最新科技咨讯,探寻未来智能领域,我是Mario女陶。

评论0 赞同0
  •  加载中...
luqiuwen

luqiuwen

回答于2022-06-28 15:30

最好的学习是在公司去实践,然而没基础是进不去公司的,所以进公司之前可以拿一段时间去系统学习,我是自学后进入公司的,半年前,我还是一名.net程序员,每天做不完的业务系统,不会java,不会linux,不懂分布式......后来从朋友那里获得全套学习视频,其实就是他们花钱去培训的视频,然后一有空就看视频学习,自己装一个linux虚拟机,跟着视频搭环境,写代码,开始的时候,我觉得里面的思想、架构真的很厉害,所以学得很勤,而后面要学的组件越来越多,不免会感到枯燥,甚至是痛苦,但这个时候千万不要放弃。我的视频是三十多天的课程,而后面很多课程是跳过去的,因为要上班,所以断断续续学习了半年才看完,而真正学习的时间大概两个月,每天花三个小时左右,期间我朋友经常问我准备什么时候去找大数据开发工作,我都说我没准备好,其实是没有信心,我看完大部分视频后,觉得那些组件已经会使用并且知道其基本原理,然后又看了很多面试题,觉得差不多了,开始投简历,面试的时候你不能说你是刚自学的,也不能说你没这方面的经验,面了几家公司,感觉什么问题都答上了一些,但是什么都答得不好,当时的想法是,面试也是学习,一个月面试不上就两个月,而幸运的是,第一家公司给了我offer,当时真的很惊喜,这么久的努力终于有了回报,到公司上班后,自己私底下还有继续学习,理论加实践,我感觉我每一天都在进步!希望我的经历对你有用。

评论0 赞同0
  •  加载中...
Allen

Allen

回答于2022-06-28 15:30

感谢邀请。

目前大数据使用越来越普遍。从某种意义上来说,IT开发已经从过去单纯的用户提供信息向以大数据为支撑的为用户提供各种个性化智能服务系统转变。

如何从零开始、系统学习,话题比较宽泛,如果真的系统学习后再去工作那么可能公司的招聘要求会更高,建议可以边工作边学习。

学习大数据都需要掌握哪些知识呢?

1、Python语言数据抓取,这个没有什么可说的,没有数据抓取,没有数据源,后边的都无从谈起;

2、Hadoop,storm,nosql数据抓取后需要对数据进行统计,进行计算,进行存储,这几个要掌握的,同时各种关系型数据也还是要了解的。

3、数据抓过来了,也处理了,做为对业务的支撑要把数据提供给系统来使用,各种消息队列中间件也需要了解一些。

4、大数据的处理更多的是服务端的,一般都是使用linux操作系统,操作系统的命令要掌握,大数据需要系统资源,一些的运维知识也需要掌握。

总之,除了常提的Hadoop,storm等常说的大数据软件外,其它相关的知识也很重要,就算不精通也需要掌握常用的知识。

评论0 赞同0
  •  加载中...
starsfun

starsfun

回答于2022-06-28 15:30

学习大数据可以有以下几个步骤:

1、选择一个具体方向

大数据已经初步形成了一个产业链,在数据采集、数据存储、数据安全、数据分析、数据呈现、数据应用等有大量的岗位,不同的岗位需要具备不同的知识结构,所以首先要选择一个适合自己的方向。

2、学习编程等基础知识

大数据的基础知识是数学、统计学和计算机,可以从编程语言开始学起,Python、Java、Scala、R、Go等语言在大数据领域都有一定的应用场景,可以选择一门学习。大数据开发方向建议选择Java、Scala,数据分析方向建议学习Python、R。

3、学习大数据平台知识

入门学习Hadoop或者Spark,Hadoop平台经过多年的发展已经形成了较为完成的应用生态,相关的成熟案例也比较多,产品插件也越来越丰富。

一句话,首先要搞清楚大数据产业链的情况,接下来要明确大数据技术栈也就是相关技术体系,最后定下学习目标和应用方向,结合自己的兴趣或工作需求,找一个点猛扎进去,掌握这个点的相关技术。

大数据时代各种技术日新月异,想要保持竞争力就必须得不断地学习。写这些文章的目的是希望能帮到一些人了解学习大数据相关知识 。加米谷大数据,大数据人才培养机构,喜欢看的同学可以关注下,每天花一点时间学习,长期积累总是会有收获的。

评论0 赞同0
  •  加载中...
KavenFan

KavenFan

回答于2022-06-28 15:30

大数据的内容非常的散乱 基本你只能先学一些架构的基本知识和建模的基础 然后进入一家大数据公司 这样别人带着你做才能真正成长 完全想自己修炼好再去公司不太现实 毕竟大数据的架构成本很高 而且只有进入公司你才能真正接触到海量的数据

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<