高级 Python 开发工程师(爬虫向)
岗位职责:
1.负责大规模数据的抓取、包括调度、消费、解析、去重;
2.设计抓取系统,设计流程与架构(稳定性及性能兼备),负责抓取后端的接口开发及优化。
任职要求:
1.全日制本科,2 年以上爬虫或服务端开发经验;
2.熟练掌握 Python 语言,熟悉操作系统基础、linux 环境,熟练掌握 http/tcp 相关实践知识,有后端接口开发经验;
3.熟悉各种消息队列、数据库、服务器如 redis, rabbitMQ, mysql, mongodb ;熟悉后端开发框架如 flask, django, tornado 等;
4.有爬虫相关经验,熟悉爬虫的架构与流程,对怎样搭建可扩展可配置自由通用的爬虫系统有自己的理解;熟悉第三方爬虫库如 scrapy, pyspider 等,或者自己实现过;
5.有异步并行开发经验,理解进、线、协程在 python 中的应用及内部实现(比如 tornado ioloop );
6.对于新模块和新架构有不错的学习能力,有创新的思维和略带完美主义的自我要求。
加分项:
大规模分布式爬虫系统架构与设计经验;
有微信公文抓取、微信机器人、微博抓取等实际项目经验;
有 golang 语言相关开发经验;
工作地址
上海 - 黄浦区 - 打浦桥 - 蒙自路 169 号 制造局 1 号楼 307 楼
联系方式: 邮箱: zhoulin@wallstreetcn.com 求转发求推荐~~~
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.