V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Sponsored by
LinkedIn
2000 个不用坐班的远程好工作在召唤你 · 弹性上班不打卡,工作和生活都能拥有
2000 个不用坐班的全球远程工作,帮助 V2EX 的小伙伴开启全新的工作方式。
Promoted by LinkedIn
roiding
V2EX  ›  Node.js

有大哥用 nodejs 写过爬虫嘛

  •  
  •   roiding · 108 天前 · 2539 次点击
    这是一个创建于 108 天前的主题,其中的信息可能已经有所发展或是发生改变。
    很简单的一个事,我就是想访问 opensea ,把 html 拉下来。但是试着用 needle 和 axios 请求都会被 cloudflare 打回来,各种 header 我都加过了。
    但是神奇的就是 postman 请求永远都是成功的,你说一直不行把 我用 needle 又请求成功一次,像请问下大哥们有人遇到过这个嘛,要怎么解决
    winnerczwx
        1
    winnerczwx  
       108 天前
    ShayneWang
        2
    ShayneWang  
       108 天前
    puppeteer
    duan602728596
        3
    duan602728596  
       108 天前
    import fs from 'node:fs/promises';
    import got from 'got';
    import needle from 'needle';

    const res = await got('https://opensea.io/', {
    responseType: 'text'
    });

    await fs.writeFile('1.html', res.body);

    needle.get('https://opensea.io/', function(error, res) {
    if (!error && res.statusCode === 200)
    fs.writeFile('2.html', res.body);
    });

    测了下没问题,应该没有反爬。有可能是网络问题,毕竟服务器在境外。
    roiding
        4
    roiding  
    OP
       96 天前
    @duan602728596 手动给你点个赞
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1065 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 274ms · UTC 22:10 · PVG 06:10 · LAX 15:10 · JFK 18:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.