分享些各大编程语言的职位统计信息

2017-09-01 15:51:45 +08:00
 CallMeHoney

Hi, all~

在闲暇时间里写了个爬虫,爬取拉勾网的数据,目前爬到了将近 5.4W 条公司的数据,近 10W 条职位的数据。

简单地做了个 web 页面展示关于各编程语言的职位详情,可以看到的信息有:

工作年限要求分布、

薪水分布、

各城市职位占比、

学历要求情况、

职位数量的变化情况、

招聘这些职位的公司的融资情况分布,

可访问 http://www.jobinfo.cc:8000/ 查看这些信息。

源码的地址: https://github.com/GuozhuHe/webspider

爬取到的数据已经放到百度云上了( https://pan.baidu.com/s/1gfIi5gv), 密码在项目的 readme 文件可以看到,诸位可自取~~

最后的最后,如果感觉还不错,不妨给个 star 哦 ~ yeap

_(:з」∠)_

4980 次点击
所在节点    程序员
33 条回复
hololens
2017-09-01 16:04:01 +08:00
楼主是知乎员工么,楼主能说一下学习爬虫的途径么。
CallMeHoney
2017-09-01 16:21:40 +08:00
买了本爬虫的书,了解些基础知识后就直接开始写项目了,遇到不会的问题就 google 解决。
a87150
2017-09-01 16:25:07 +08:00
echar.js 是啥? echarts ?
silencefent
2017-09-01 16:29:45 +08:00
数据还是看不出价值...比如搜 js 和搜客服,出来的数据都差不多
LeoNG
2017-09-01 16:33:35 +08:00
不知道是我电脑辣鸡还是什么,网页打开会卡一下。

Chrome. iMac 13.
wen4434
2017-09-01 16:38:33 +08:00
有语言就更好了
geekyoung
2017-09-01 16:53:11 +08:00
在搜索框给个提示也许会更好,另外如搜索 自然语言处理 或 nlp 数据不一样,作者搜索这个地方是怎么处理的?
CallMeHoney
2017-09-01 17:12:11 +08:00
@a87150 不注意写错了 (°Д°) ~~已经改过来了
CallMeHoney
2017-09-01 17:14:37 +08:00
@silencefent 通常职位的数据差别不会很大,就算差个百分之十几从图像看起来也不会相差很大。我也发现了这个问题,在考虑更好更直观的方式呈现。
CallMeHoney
2017-09-01 17:16:13 +08:00
@geekyoung 其实搜索这里取巧了,在抓取的时候会存储职位的关键词信息,搜索时查询的是关键词。
CallMeHoney
2017-09-01 17:18:54 +08:00
@LeoNG 真的吗,可能加载 JS 时卡了。。 _:(´ཀ`」 ∠):_
xiaosheng
2017-09-01 17:18:57 +08:00
@CallMeHoney 求书名...
geekyoung
2017-09-01 17:24:06 +08:00
@CallMeHoney 恩 了解了
geekyoung
2017-09-01 17:24:52 +08:00
@xiaosheng 不必具体某书,重点是你要去敲啊
CallMeHoney
2017-09-01 17:32:38 +08:00
@xiaosheng 书的确不重要 很多问题时在实际中才能遇到的
书是《 Python 网络数据采集》 比较薄 容易看完(当初也是因为这个原因才选的这本书) _(:з」∠)_
Clarencep
2017-09-01 17:45:45 +08:00
话说 Python 的职位好少,远不及 Java PHP
huangfs
2017-09-01 19:04:48 +08:00
http://www.jobinfo.cc:8000/?keyword=nlp 0727 貌似没数据了。
qianguozheng
2017-09-01 19:33:41 +08:00
这年头那么多人些 python 爬虫练手阿
justff
2017-09-01 23:10:31 +08:00
你们这个学校。。你哪年毕业
xiaotianhu
2017-09-01 23:29:20 +08:00
看起来 中老年人还是应该搞 java

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/387474

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX