V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hobbyliu
V2EX  ›  问与答

关于并发爬虫的问题

  •  
  •   hobbyliu · 2018-09-03 19:06:36 +08:00 · 1206 次点击
    这是一个创建于 2033 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近写了一个小爬虫,设置 200 进程。 不知道为啥经常出现

    cURL error 28: Resolving timed out after 2511 milliseconds (see http://curl.haxx.se/libcurl/c/libcurl-errors.html) 而且概率很大。 我服务器 内存 cup 足够,带宽测速 speedtest-cli 下行 100M 上行 10M。

    怀疑是 dns 但是跟换后依旧不行。

    求大神指教。

    2 条回复    2018-09-04 10:20:39 +08:00
    dengtongcai
        1
    dengtongcai  
       2018-09-04 00:04:31 +08:00 via Android
    对方带宽不够?
    hobbyliu
        2
    hobbyliu  
    OP
       2018-09-04 10:20:39 +08:00
    @dengtongcai 不应该啊,据说这网站能同时在线 300 万人,而且本地单个进程当时能请求成功
    查了下说是 dns 问题,打算绑定于强制 对方 ip 域名试试。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2535 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:58 · PVG 23:58 · LAX 08:58 · JFK 11:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.