• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cxy1234
V2EX  ›  程序员

数据采集遇到困难了

  •  
  •   cxy1234 · May 24, 2020 · 3809 views
    This topic created in 2178 days ago, the information mentioned may be changed or developed.

    目标网站是,后台返回接口,前端渲染。现在需要爬取 渲染后的样式及数据,除了用 selenium 还有啥其他办法么?

    jugelizi
        1
    jugelizi  
       May 24, 2020
    node
    patx
        2
    patx  
       May 24, 2020 via Android
    无头浏览器 puppeteer
    Hansah
        3
    Hansah  
       May 24, 2020 via Android
    火车浏览器
    gz911122
        4
    gz911122  
       May 24, 2020
    webview
    yrj
        5
    yrj  
       May 24, 2020 via iPad
    要么渲染 js 要么根据数据自己渲染成指定样式结构
    qinfensky
        6
    qinfensky  
       May 24, 2020
    superagent + cheerio
    wzwwzw
        7
    wzwwzw  
       May 24, 2020
    Splash.
    ericls
        8
    ericls  
       May 25, 2020
    puppeteer +1

    如果是 python 可以用 request-html
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3269 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 00:20 · PVG 08:20 · LAX 17:20 · JFK 20:20
    ♥ Do have faith in what you're doing.