拉勾数据岗位和热门编程语言现状分析

atinosun 发布于2019-07-31 11:02 / 589人阅读

摘要：另外数学成为了一个关键词，编程语言主要是等，运营也出现在词云中说明数据分析师也需要有运营能力。

功能点 爬取数据

所有公司数据，名称简写，城市，行业，职位数量，人数范围，标签，介绍，融资阶段，平均工资

github2016年度最受欢迎编程语言相应年数薪水，城市，学历要求，公司融资阶段，公司行业

大数据行业五大岗位相应年数薪水，城市，学历要求，公司融资阶段，公司行业，岗位要求

编程语言分析

编程语言在不同城市(top10)的需求量

编程语言在不同行业(top10)的需求量

编程语言在不同融资阶段的需求量

编程语言相应工作年限薪水平均值

大数据岗位分析

五个岗位的职位需求关键词词云

五个岗位在不同城市(top10)的需求量

五个岗位在不同行业(top10)的需求量

五个岗位在不同融资阶段的需求量

五个岗位相应工作年限薪水平均值

数据可视化

Bokeh

Echarts

开发工作

编写数据采集所用语言：python

针对拉勾网反爬虫的应对措施：

加http头伪装成浏览器；

找临界值更换IP；

限制爬取频率；

设置代理池。

使用多线程爬虫：提高效率

制作词云：jieba中文分词，自定义词典，wordcloud生成图片

分析结果可视化：bokeh，echarts

数据岗位分析结果

数据岗位不同城市需求增长趋势
2016.02数据

2017.05数据

可以看到TOP5城市依然未变，南京武汉的数据岗位增加明显，数量上而言，总体翻倍

数据分析岗位增长趋势
数据分析相关专业作为新兴行业在近一年来的发展势头迅猛，2016年10月之前的招聘信息十分稀少，但在短短四个月的时间内增长至一千多个。(2016.10-2017.1)
2017.02数据

2017.05数据

数据岗位工资水平两年内变化
2015年数据岗位相应工作年限平均工资

2017.05数据岗位相应工作年限平均工资数据

可以看出，两年内数据岗位的工资明显提高，起薪近乎涨了一倍，各个年限增长趋势也很明显。

数据挖掘工资趋势
2015.12数据

2017.05数据

总体都比两年前对应年薪高，并且高薪比例明显提高

数据岗位和普通开发不同年限工资对比
普通开发岗位工资水平

数据岗位工资水平

3-5年和5-10年的工资水平没有明显增长，也许说明重复的劳动不能代表技术的增长

数据岗位和普通开发岗位要求学历对比

可以看出，数据岗位对学历的要求较普通开发高，硕士的比例增加，并出现了博士的需求。

词云结果实例
数据架构师岗位要求词云

可以看出对架构师而言，“开发”还是最重要的，“架构设计”毫无疑问成为关键词，另外管理能力也有所要求
数据分析师岗位要求词云

可以看到数据分析师也需要掌握数据挖掘的技能。另外数学成为了一个关键词，编程语言主要是“SQL”,“SAS”等，运营也出现在词云中说明数据分析师也需要有运营能力。
数据挖掘岗位要求词云

可以看到算法成为了一大关键词，说明数据挖掘对算法的要求还是挺高的，另外“计算机”和“数学”成为了需求最多的两个专业，编程语言方面“SQL”,“ JAVA”,“ R”都有要求。
数据可视化岗位要求词云

可以看到前端成为了一个关键词，另外可视化相应的工具如“ECHARTS”等也出现在词云中，交互和开发同时出现，这在其他岗位是没有的，说明可视化还是需要视觉效果

2016github10大热门编程语言现状分析

职位需求量

所在行业

Python岗位所在行业

scala岗位所在公司行业

可以看出Python的应用更广，而Scala主要是数据服务行业需要。原因是Python除了可以用来做web开发，在科学计算等方面的表现也很出色。

岗位城市分布(示例java)
Java岗位城市分布

可以看出Java的总体需求还是北上广深杭比较多，而杭州数量多的可能也许是因为坐落在此的阿里巴巴内部使用Java较多

岗位所在公司融资阶段(示例PHP)

对PHP需求最多的是初创型公司，可能因为PHP可以做到快速开发并且在中小规模公司比较适用。

多维度分析

普通开发不同城市不同工作年限平均工资

可以看出，北京的整体工资水平最高，高薪主要集中在北上广深杭，其中，杭州的工资水平也较高，可能因为杭州是阿里巴巴网易等大型互联网公司总部所在地。

不同融资阶段公司工作年限不同平均工资

可以看到1-3年和3-5年工资差距并不明显，D轮及以上公司给的工资整体水平都比其他融资阶段高

分析结论

数据岗位集中在北上广深，需求量呈爆炸式增长。

数据岗位算法、学历要求更高，对业务敏锐，薪资更高。

门槛高的岗位需求量更少(Scala), 门槛低应用广(Python)

互联网行业对人才的要求越来越高（算法、数学、业务）

私有云 idc机房托管数据分析岗位数据科学现状分析大数据现状分析大数据分析现状

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44535.html

为什么这么多应届生要进入互联网行业？

摘要：互联网行业薪资普遍高于其他行业拉勾网数据显示，年以来，互联网行业的年度平均薪资稳步增长，年度薪资较年同比增长，开年薪资同比去年增长。智联招聘的一组数据显示，20...

AZmake 2021-10-11 10:58 评论0 收藏0
node.js 爬取招聘信息分析各职业钱途（爬虫+动态IP代理+数据可视化分析）

摘要：成功爬取了拉钩网上多个招聘岗位的具体信息后，数据可视化并得出分析结果如下从整体看，北上广深杭这五个城市前端工程师招聘岗位，北京是遥遥领先，是深圳的两倍，是广州的三倍，其次到上海，深圳，杭州，广州居末。前前言本文首发于 github blog 不想看爬虫过程只想看职位钱途数据分析请看这里：前端招聘岗位分析C++招聘岗位分析JAVA招聘岗位分析PHP招聘岗位分析Python招聘岗位分析...

546669204 2019-08-22 15:57 评论0 收藏0
Pyhton爬虫实战 - 抓取BOSS直聘职位描述和数据清洗

摘要：然后准备再去抓下拉勾网的招聘数据，这也是个相对优秀的专业招聘网站了，数据也相当多，想当初找实习找正式工作，都是在这两个上找的，其他的网站几乎都没看。原文地址：http://www.jtahstu.com/blog/s... Pyhton爬虫实战 - 抓取BOSS直聘职位描述和数据清洗零、致谢感谢BOSS直聘相对权威的招聘信息，使本人有了这次比较有意思的研究之旅。由于爬虫持续...

zhkai 2019-07-30 15:08 评论0 收藏0
Pyhton爬虫实战 - 抓取BOSS直聘职位描述和数据清洗

摘要：然后准备再去抓下拉勾网的招聘数据，这也是个相对优秀的专业招聘网站了，数据也相当多，想当初找实习找正式工作，都是在这两个上找的，其他的网站几乎都没看。原文地址：http://www.jtahstu.com/blog/s... Pyhton爬虫实战 - 抓取BOSS直聘职位描述和数据清洗零、致谢感谢BOSS直聘相对权威的招聘信息，使本人有了这次比较有意思的研究之旅。由于爬虫持续...

Ocean 2019-06-28 14:28 评论0 收藏0
数据开源 - Boss直聘、拉勾网岗位和招聘信息数据

摘要：数据开源直聘拉勾网岗位和招聘信息数据可视化工具数据都是用导出来的，如果用不了，可以先试试这个软件。数据开源 - Boss直聘、拉勾网岗位和招聘信息数据 OS：MacBook Pro , macOS High Sierra 10.13.2Database：MongoDB v3.4.7Mongo可视化工具：MongoBooster v4.1.3 数据都是用MongoBooster导出来的...

zhaofeihao 2019-08-16 10:58 评论0 收藏0