{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

大数据开发、大数据分析、大数据运维主要工作各是什么?哪个好?

zhangxiangliangzhangxiangliang 回答0 收藏1
收藏问题

9条回答

KitorinZero

KitorinZero

回答于2022-06-28 15:30

作为一名软件开发工程师,我现在从事的就是大数据方向,结合我个人的经验,这三个岗位具体哪个好,要看你从什么角度去看他。如果你现在是一名Java开发工程师,想转型到大数据领域,那么大数据开发工程师会更适合你。如果你不喜欢开发,同时比较喜欢分析数据中的价值,希望从事商业智能分析相关工作,那么大数据分析会更适合你。如果你不是很喜欢写代码,同时对大数据分析也不是很感兴趣,而自己在Linux系统和脚本编写方面有一定基础,那么大数据运维可能会更适合你。

大数据开发岗位在进行细分,还会有大数据平台开发、大数据组件开发、数据研发(ETL)。这几个方位主要工作内容各有差异,侧重点不同。大数据平台开发,顾名思义,开发数据平台给其他开发同学使用,大数据平台底层是大数据组件,上层则是业务开发同学,你开发的平台提供用户使用大数据组件的能力。大数据平台一般使用Java语言开发,会使用到 Spring 、Spring Boot快速开发出后端供前段进行使用。数据库一般会使用Mysql,同时也会使用到Mybats,Dubbo接口等等。

大数据组件开发,主要工作更偏向于组件底层开发,你需要结合公司业务特征,定制化的在公司所使用的大数据组件上开发新功能、优化、以及BUG修复等。大数据组件开发同学需要对使用的组件底层原理要有很深的了解,同时也对其源码要有一定的研究,这样,你才能够放心大胆在上面进行开发而不会影响到线上业务的运行。

大数据分析也就是BI同学,平时主要会从业务数据或者ETL同学处理好的数据,去分析数据中潜藏的价值,帮助业务同学去运营。有时候业务同学也会找你临时取数,当然大数据分析同学要有一定的PPT制作能力,因为有时候你从数据中得到一个结论,需要使用PPT向老板或者其他同学通过PPT来讲述你的观点。BI同学,同时在数据可视化要有一定的想法,因为BI同学是有用数据的最大使用方。

大数据运维同学则是主要运维集群机器的稳定性,保证它们不能出现任何故障,平时也会接收到很多机器报警信息。当公司申购到新的机器时,大数据运维同学要能够帮助开发同学配置相关的开发环境,部署大数据组件集群。当大数据组件集群突然变得不稳定时,有报警信息时,大数据运维同学需要能够快速定位问题和解决问题。大数据运维同学掌管着大数据组件集群的资源,当机器资源不够时,运维同学需要申请采购或者临时调配其他部门的资源,比如大促时机器资源紧张问题。大数据运维同学平时需要对Linux系统、Shell脚本的编写、Python等要有一定的理解研究。

总结

总体来说,大数据开发、大数据分析、大数据运维这三个岗位需要从具体的视角去看他,对于不同兴趣和不同基础的同学来说,找到适合自己和个人职业规划的岗位才是最重要的。每个岗位的工作内容都不尽相同,大数据开发偏向于代码开发,大数据分析侧重数据分析,大数据运维偏向公司机器的稳定性运维,最后,希望你能够找到适合自己的岗位。

我是Lake,专注大数据技术、互联网科技见解、程序员经验分享,如果我的问答对你有帮助的话,希望你能够点赞转发或者关注我,你的一个小小的鼓励,就是我持续分享的动力,非常感谢。
评论0 赞同0
  •  加载中...
894974231

894974231

回答于2022-06-28 15:30

您好我是 数据僧。

首先,工作本身没有好坏之分,只有门槛高低之别。大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉,就只剩下,开发,分析,运维。当然还有其它的工作,例如运营,产品,讲师,测试等。 加上了大数据,只是我们的工作内容,或者说是工作方式发生了变化。


大数据是传统行业,传统技术逐步发展的产物。但是并没有打破我们在传统行业的工作模式,和我们的一些基础知识的储备。革新的只有处理技术,工作手段。在这里我们更详细的说说大数据开发、大数据分析、大数据运维 的工作内容,已经门槛,不做好坏评价。


非大数据 开发,分析,运维干什么呢?

开发日常工作是干什么了 ? 围绕着产品经理,进行产品开发,升级,迭代。加班熬夜,赶进度。每日的工作就是编码,和产品沟通或者撕X,和测试沟通或者斯X,最终确保产品上线,保证产品正常使用,以及后续迭代升级。

分析日常工作是什么了?数据整理,制作报表,最后就是报告,会议,阐述结论,最后就是说服对方接受观点,的确很多时候,分析出来的结论,对方无法接受。

运维日常工作是什么了?最核心的就是监控,机器是否正常运转,资源是否够用,产品应用是否都正常,开发相关的工具,保证异常能够及时发现。


在介绍大数据相关的工作前我们先了解下大数据的处理流程

我们在看看hadoop的大数据生态圈。当然大数据生态圈不是在只有hadoop。

大数据开发的主要工作

开发数据收集工具,数据清洗和整理,开发数据应用;当然这些不是一个人去完成,都会落在各个团队中去完成。

完整这些工作需要哪些技能?从这些技能我们也能看出来大数据开发的主要工作,就是这些工具打交道。一门开发语言(java/python/c#/scala 等),大数据下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只会其中的2到三项基本找份工作没有问题,如何进阶在这不详细讨论。我们来看图吧。

大数据分析的主要工作

有大表哥,专门做各种报表。取数机器人,提取各种数据。当然也有做数据分类,特征提取等数据挖掘,机器学习等高等玩家。

这里一并概括了,大数据分析的主要工作是:基于现有的数据进行数据分析得出一个结论,最后进行商业决策。当然现实不是这样的。大多数人成了大表哥,取数机器人,高端玩家也不列外,挖出来的东西,在没有找到落地场景前,都是一坨一坨的。这里都只是调侃。

大数据分析需要哪些技能呢?我们不管具体的工作内容,看看我们每天要面对那些工具,工具是我们每天要接触的东西。 Excel,SPSS,SQL,数据库,R,Python 等。当然我们不用都会。

我们还是看图吧,看看数据分析师的能力体系:

在看看每个阶段需要的技能,分析师和开发的区别在于,核心在于处理数据和清洗数据,达到自己可用的状态。开发是收集数据和整理数据,让数据变得统一。


大数据运维的工作

对大数据集群进行监控和维护升级,保障集群正常运行,从而保证 数据收集服务能正常运行,保证集群资源够用,监控集群资源消耗情况。

他们是职业背锅侠,也是一群默默无闻的伙伴。无论开发,还是分析,还是其它的岗位,都有在人前显摆的时候,我们的运维永远只能在人后做好保障。

我们来看看运维的能力体系吧:


以上是我对这个问题的理解,有些调侃,但都想表达和传递一种正能量,每个行业,每个岗位都有其特定的属性和特点,既然选择了,就只顾风雨兼程,管它花开花落,最终中能到达理想的彼岸。

关注数据僧,我们一起讨论,大家都喜欢什么样的工作,欢迎大家留言。(图片来自网络,侵删。)

评论0 赞同0
  •  加载中...
ralap

ralap

回答于2022-06-28 15:30

大数据开发

主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,与大数据可视化分析工程师相互配合,从数据中挖掘出价值,为企业业务发展提供支持。

大数据分析

进行行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测;

主要工作有四类:

1、从0到1搭建数据分析体系;

2、数据分析工具化,产品化;

3、支撑领导、部门决策的专题分析及业务方向探索;

4、数据规范制定及提升数据质量等基础工作。

大数据运维

运营维护,Linux操作系统、应用系统的维护、监控、调优、故障排除,关注开源社区动态,追踪前沿技术和应用等;

一般来讲国内的互联网运维负责软件测试交付后的发布和管理,将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。

相关:

大数据分析师到底在干嘛?

https://www.toutiao.com/i6549321396005110275/

加米谷:大数据分析,到底要分析些什么?

https://www.toutiao.com/i6577599840014828045/

大数据学习:数据分析师的完整工作流程与知识结构体系

https://www.toutiao.com/i6584961126356746760/

评论0 赞同0
  •  加载中...
edagarli

edagarli

回答于2022-06-28 15:30

这三个角色在我们公司分别对应着三个部门,承担的职责也各有不同,还算理解得比较透彻,简单谈一谈。

大数据开发

主要基于大数据平台开展批量作业、实时接口等大数据应用的开发和测试工作,对能力的要求是熟悉Spark、Flink等大数据框架,熟悉SQL,熟悉软件开发测试规范,能够根据业务需要完成业务逻辑的编写。

大数据分析

利用大数据平台、机器学习建模平台、BI平台等开展生产数据的分析和数据建模工作,挖掘数据中存在的业务价值,主要交付物是业务分析报告、各类名单、业务模型等。对能力的要求是:具备数据分析的思维,熟悉SQL,熟悉机器学习建模逻辑,熟悉Python/SAS等开发工具,具备一定的文字能力。

大数据运维

开展大数据平台的日常运维工作,包括批量作业、接口的上线和运行监控,平台的硬件资源监控,用户和平台资源的分配,平台和作业问题的分析和处置,数据的迁移,平台的扩容,业务数据查询提取变更等,一句话就是保障平台及数据的可用。对能力的要求是:熟悉Hadoop组件,熟悉Linux,熟悉SQL。

三者关系与区别

从上面的介绍可以看出,这三者的区别是很明显的,要求也各有不同。

实务中,这三个角色是密切相关的,大数据开发人员完成应用开发,大数据运维人员基于开发人员的脚本进行投产并保障作业的稳定运行,大数据开发人员基于开发和运维人员构建的逻辑和数据开展数据分析。

哪个好呢

大数据分析人员与业务接触最频繁,有独立的思维能力和发挥的空间,相对来说工作比较有创造性,成果可直接面对公司高层,比较有意思,容易出彩,也容易转向业务。

大数据开发人员往往是按照业务需求或系统需要完成功能性的开发,也能够与业务进行接触,不是太死板,但创造性和自主性相对弱一些,不过往往技术能力比大数据分析人员强,可以说技术业务双赢。

大数据运维人员的主要合作伙伴就是平台和设备,工作相对纯粹,有章可循,有利于技术沉淀,缺点是与业务接触较少,压力大,工作强度大,往往成为幕后英雄。

都是一个战壕里的兄弟,革命分工不同,理解不同,都很好,看各自选择,我就不排序了。


我是会说科技,关注我,一起聊聊数据、科技、IT、安全、金融那些琐事。

评论0 赞同0
  •  加载中...
yvonne

yvonne

回答于2022-06-28 15:30

在大数据领域大概有四个大的工作方向,除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外,还有大数据平台架构与研发,除了以上四个大的工作方向之外,还有一个工作方向是大数据技术推广和培训,这部分工作目前也有不少人在从事。

大数据平台架构与研发主要的工作内容是研发底层的大数据平台,这部分工作的难度较高,从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平台为基础进行研发,这样能够节省大量的时间,也更容易做出市场接受度比较高的大数据平台(商用较多)。

大数据平台应用开发是目前一个就业的热门方向,一方面是大数据开发的场景众多,另一方面是难度并不高,能够接纳的从业人数也非常多。大数据开发主要是满足企业在大数据平台上的应用开发,与场景有密切的关系。大数据开发是在大数据平台基础之上的开发,充分利用大数据平台提供的功能来满足企业的实际需求。

大数据分析是大数据应用的一个重点,甚至可以说是大数据的核心内容。大数据分析是基于大数据平台提供的功能进行具体的数据分析,数据分析与场景有密切的关系,比如出行大数据分析、营销大数据分析、金融大数据分析等等。目前采用机器学习的方式进行大数据分析是一个趋势,机器学习的步骤包括数据收集、算法设计、训练算法、验证算法和使用算法,所以算法在数据分析中起到了重要的作用,做数据分析工作要有一定的算法基础。

大数据运维主要从事大数据平台的软硬件集成和运维工作,主要的工作内容是完成大数据平台的部署和调试等相关工作,这部分工作岗位也比较多,企业往往需要有一个专门的运维团队来保障大数据平台的平稳运行。相对来说,这部分工作的难度小一些,但是需要掌握的内容也比较多,包括网络、服务器等软硬件知识。

大数据是我的主要研究方向之一,目前我也在带大数据方向的研究生,我会陆续在头条写一些关于大数据方面的文章,感兴趣的朋友可以关注我的头条号,相信一定会有所收获。

如果有大数据方面的问题,也可以咨询我,谢谢!

评论0 赞同0
  •  加载中...
sewerganger

sewerganger

回答于2022-06-28 15:30

我直接来排个序吧:大数据开发>大数据分析>大数据运维,薪资也是这样。

其实,你不必纠结,直接把大数据3个字去掉,开发、分析、运维,谁好谁差,一目了然。

大数据开发,我最新的视频里讲到了,其实就是数据库,数据仓库,报表系统这些,写好sql和java就行,并不是所有人都得去弄hadoop、storm、flink、spark这些的,就像我视频里说的,做好报表,做好sql,多熟悉业务,比什么都强。


来看看岗位描述吧:

围绕大数据系平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。

深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如:Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。


感兴趣的可以去看看我的最新视频,里面讲的很清楚。


大数据分析,和数据分析类似,但是多存在于互联网和IT行业,会用的工具有python、tableau、finebi这些。

大数据运维,可能是里面比较差的职业了,别觉得我真实,这就是事实,运维,在哪里都是不受重用的,甚至有的运维就是修网线的。


这份薪资明显过高。

评论0 赞同0
  •  加载中...
OnlyLing

OnlyLing

回答于2022-06-28 15:30

主要的工作是为了给人民、社会、大自然、地球服务。好与坏因对象而有不一,就好比当下年轻人玩的一款“王者荣耀”,玩家都说好,而没碰过的就觉得这是一款烂游戏,因为身边的人都把大部分时间花在它身上了!

评论0 赞同0
  •  加载中...
Cristic

Cristic

回答于2022-06-28 15:30

数据分析师需要的技能大致有这些:Excel、SQL、统计学及SPSS、Python/R等。建议从Excel开始,因为Excel是使用最多,也是最强大的数据分析工具,入门简单,因为大部分人都接触过Excel。

评论0 赞同0
  •  加载中...
Ajian

Ajian

回答于2022-06-28 15:30

大数据运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。

一个互联网产品的生成一般经历的过程是:产品经理(product manager,非技术部)需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。一般来讲国内的互联网运维负责软件测试交付后的发布和管理,其核心目标是将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。

评论0 赞同0
  •  加载中...

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<