如何成为一名爬虫工程师？ （顺带招人）

[scriptB0y]

Hi，本人目前的工作就是 V 友介绍的，入职之后非常喜欢现在这家公司。

帮 HR 发一下招聘信息，在下文（贴到 V2EX 需要改格式我就直接放链接了）《如何成为一名爬虫工程师》中的最后有 jd。通过这篇博文你也能对我们公司有个大体了解（博文是入门篇，我比较菜，这篇文章只能代表一个应届生的水平不代表公司水平）

https://www.kawabangga.com/posts/2277

有什么问题可以在这里或博客评论问我，我知道的话尽量回答。

地点上海

公司简介： 玻森中文语义开放平台提供使用简单、功能强大、性能可靠的中文自然语言分析云服务。

互联网时代信息无处不在，我们日常所接触的大量信息例如微博、社交媒体网站的帖子、消费者点评、新闻、销售人员的拜访记录以及可以转换成文本的语音内容，这些都是常见的非结构化数据来源。
根据 2011 年 IDC 的调查，非结构化数据将占未来十年所创造数据的 90%。作为一个尚未得到充分开发的信息源，非结构化数据分析可以揭示之前很难或无法确定的重要相互关系。
非结构化数据分析能够揭示潜藏在文本当中的趋势和关联，为商业决策、研究行业趋势和热点内容分析提供有力支持。
玻森团队致力于打造最出色的中文语义分析技术，通过自主研发的中文分词、句法分析、语义联想和实体识别技术，结合海量行业语料的不断积累，为企业和广大开发者提供简单、强大、可靠的中文语义分析云端 API。

后端工程师 招聘人数：2 薪资面议

岗位职责
1. 分布式网页抓取平台的研发、完善和运维，每天支持数千万级的网页采集、清洗和分析；
2. 产品后端 API 的开发，实现高性能、高可用及可扩展的后端代码；
3. 线上分布式环境的自动化运维、监控、性能调优。
职位要求
1. 扎实的算法与数据结构功底，对新的知识和技术有强烈热情；
2. 具有较强的分析和解决问题的能力；
3. 拥有良好的编程习惯；
4. 熟悉至少一门高级编程语言（例如 Python/C++/JAVA ）并有实际开发的经验。

此招聘依然有效。

[Betsy]

楼主的文章写的很棒，其实我有个很小白的问题。就是关于使用“ JavaScript 脚本动态获取网站数据”这一块有点疑惑。我在爬取 新榜 这个网站指定公众号的热门文章的时候，发现其值是通过 post 方式获取的。它同时上传了 4 个值，前两个值是不变的，后两个值貌似是随机生成的。看了你的文章之后，我觉得那俩随机数应该是通过 JavaScript 生成的，然后我想问的是，如何找到它用的是哪个 JavaScript 脚本？这样我想我就应该能获取到随机数生成规则了吧！？

[scriptB0y]

@Betsy 可以设置断点跟踪进去

https://developers.google.com/web/tools/chrome-devtools/javascript/?hl=zh-cn

不过一般即使是客户端生成的也很难破解，实在不行可以开浏览器抓

[evanshh]

非计算机专业毕业的，在向爬虫方向学习但是觉得自己编程基础比较薄弱，是不是对应聘影响很大呢？比如贵公司的招聘，专业是不是死门槛？

[scriptB0y]

@evanshh 专业问题不是很大，不用心虚。我们 NLP 有个大神好像是化学专业的。

计算机专业课上讲的东西很烂的，基本上还是和高中讲的应试教育那一套。不仅讲的烂还打击人的学习兴趣，自己看书有趣多了。对我来说大学自学学到的东西大约占 90%

[Betsy]

@scriptB0y 感觉似乎找到了 js 中生成随机数的方法，但因为不懂 JavaScript 语法，有点懵逼。话说开浏览器怎么抓？那两个值每刷新一次网页就会变一次，感觉不能复制出来再使用啊！

[sangmong]

get 和 post 真的没啥区别么...

[forestyuan]

很好奇爬虫工程师的待遇如何

[scriptB0y]

@sangmong 除了语义，没有

[scriptB0y]

@forestyuan 可以来聊聊，我认为待遇不错。不然我就不会入职不久就来拉人了。

领导 nice，五险一金，免费零食，节日福利。

[scriptB0y]

@Betsy 额，开浏览器是爬虫的无界面浏览器那种，那样爬虫会使用浏览器执行 js 代码。和真实用户看到的网页一样。

[yeless]

Python + Selenium + PhantomJS

[WoodenRobot]

使用无界面浏览器做爬虫推荐一下 Splinter。已经集成 Firefox 和 Chrome 的 Headless 模式。

[JackZong]

天猫商品销量可否有办法爬到？

[Betsy]

@scriptB0y 是指 Selenium + PhantomJS 这种组合吗？这种的话，我已经实现了，效率堪忧啊...

[scriptB0y]

@Betsy 效率确实是问题。不过按照你的描述，没办法破解就只好这样了。

[Betsy]

@scriptB0y 感觉 js 文件本身没有混淆，我再去研究研究下 js 文件中关于生成随机数这部分代码。谢谢你啦，祝你尽快招到合适的人选。

[YuuuZeee]

用过你们公司的 API，感觉挺棒的，比 BAT 的不相上下

[sangmong]

@scriptB0y 随便百度一下都有很多区别吧...https://www.zhihu.com/question/28586791

[scriptB0y]

@sangmong 可能因为你用的是百度？

不如举例说说百度到哪些区别……

[sangmong]

@scriptB0y 知乎的域名不认识?

[scriptB0y]

@sangmong 认识啊 我打开一看这个答案不是符合我的说法的吗，所以才问你百度到了哪些不同

[scriptB0y]

@YuuuZeee 谢谢好像 V2EX 的标签也是玻森数据的

[sangmong]

@scriptB0y 所以你家服务器上的数据 get 就能修改吧

[p2pCoder]

@Betsy 一般来说，除了 支付宝，淘宝 ，京东这些大型公司的登陆参数加密太复杂的，其他的都能弄，首先需要一定 js 基础，能在浏览器进行 断点跟踪，找到相应的 fuction 就行了，然后换语言重写，或者用 python 的 js 相关库执行就行。

[p2pCoder]

@scriptB0y 说实话，商业公司域名不是 https，真的很影响第一映像

[scriptB0y]

@sangmong 参考 #8 楼，这属于语义。

[scriptB0y]

@p2pCoder

我们的域名应该都是 https 的啊，内部的 sentry 都是 https 的。

https://bosonnlp.com/
https://www.riskstorm.com

[wisej]

应届毕业生收么

[Betsy]

@p2pCoder 目前个人的确不会 JavaScript，看来得去恶补下这部分才行。谢啦。

[p2pCoder]

@scriptB0y 可能配置有问题，我第一次从百度进去不是 https

[scriptB0y]

@wisej 收 （我就是）

[scriptB0y]

@p2pCoder 嗯没有开 301 跳转。不过百度好坑，google 都是有先进 https 结果的

[weakish]

现在推广都一推二了啊~ location, salary 这 JD ...

[torment5524]

话说现在 30 多了，08 年在软件公司工作，12 年进了个国企，干了 5 年干不下去了。平时都是给朋友做些简单软件，前阵子刚用 java 给朋友做过一个 jd 的自动登陆下单，进公司还有希望么。。现在想跳出来，不知道该去哪

[scriptB0y]

@torment5524 可以来我们公司聊聊

[evanshh]

@scriptB0y 稳！

[palx]

感谢分享，看这篇博文突然对爬虫工程师很感兴趣

[7gong]

@scriptB0y 有付费订制需求，但贵公司不接受...捉急

[leeyiw]

帖子这么火，搭车招聘爬虫防护工程师，C/C++，有意私聊，base 杭州

[gouchaoer]

@leeyiw 你们业务用 c 艹写的？自己造轮子会死的很惨的

[scriptB0y]

@7gong 额 这个我也帮不上忙，可以联系我们销售……

[macg0406]

做某块类似于爬虫工作时遇到自定义字形、自定义编码的问题，发现网页上面也可以，@font-face + WOFF，不遵循现有编码，也会给爬虫带来不小的麻烦。不过现在还没见到有人这样用。

[scriptB0y]

@macg0406 是个思路。不过防爬虫就得考虑 SEO 误伤的问题。这个思路估计对 SEO 误伤的概率很大吧。

[macg0406]

@scriptB0y 可以像指定字体一样指定内容是否用自定义编码，如果希望被搜索到，就用正常编码，不希望被爬的，就用自定义编码。

[79lawyer]

招实习生吗大佬

[scriptB0y]

@xuqiccr 招，发简历吧。

[blackMountain]

招前端吗大佬

[scriptB0y]

@blackMountain 暂时不招前端 :doge: