[上海] [米哈游] 爬虫工程师

[addenvex]

加微 base64: enk0NjAxNjAyMzE=

细聊

岗位要求：
1 、2 年及以上爬虫、反爬虫研发经验；
2 、精通 python 开发，熟悉使用 scrapy 、selenuim 等常用开源爬虫框架；
3 、熟悉 HTTP 协议、HTML 、DOM，并有一定的 JavaScript 能力；
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架；
5 、熟练使用 splash 、浏览器内核等工具解析动态页面；
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景；
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列；
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段；
9 、熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
10 、有过爬取主流社区网站经验；
11 、熟悉解决去重、分类、垃圾过滤等问题更佳；
12 、熟练使用 Mysql，熟悉 Nosql 数据库等，有大数据开发相关经验更佳；
13 、本科或以上学历，计算机相关专业。