• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
nini0804
V2EX  ›  酷工作

招聘-远程<爬虫工程师>

  •  
  •   nini0804 · Dec 23, 2024 · 1789 views
    This topic created in 577 days ago, the information mentioned may be changed or developed.
    岗位职责:
    1.负责爬虫系统的核心技术研究、架构设计、系统规划
    2.负责爬虫核心算法的策略优化,提升网页抓取的效率和质量
    3.研究各种网页、微信、app 接口,实现多通道抓取
    4.反爬策略的设计及优化
    5.负责业务需求分析、系统设计、开发计划的制定与跟进
    6.负责爬虫系统研发过程跟进、代码 review 、质量控制
    任职要求:
    7.根据项目需求攻破网站 APP 端防御系统后并爬取数据
    1.负责开发网页数据的自动化爬取脚本程序及自动化解析脚本程序,清洗、分类已解析的互联网数据
    2.负责自动化数据解析系统的部分模块开发,参与核心爬虫系统架构设计、数据库设计
    分析爬虫系统的技术缺陷,对策略架构作出合理地调整和改进
    3.2 年以上相关工作经验且精通 Python 语言,熟悉网路架构、爬虫程式原理,有开发爬虫框架及自动上传的经验优先
    4.熟悉多线程、网路编成,精通网页抓取原理及技术,能从结构化和非结构化的数据中获取信息
    5.熟练使用 MySQL 数据库,掌握 Redis 、MongoDB 、Hive 等常用 NoSQL"

    联系方式:telegram:@bobi608
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1528 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:39 · PVG 00:39 · LAX 09:39 · JFK 12:39
    ♥ Do have faith in what you're doing.