首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

关于并发爬虫的问题

  •  
  •   hobbyliu · 2018-09-03 19:06:36 +08:00 · 663 次点击
    这是一个创建于 437 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近写了一个小爬虫,设置 200 进程。 不知道为啥经常出现

    cURL error 28: Resolving timed out after 2511 milliseconds (see http://curl.haxx.se/libcurl/c/libcurl-errors.html) 而且概率很大。 我服务器 内存 cup 足够,带宽测速 speedtest-cli 下行 100M 上行 10M。

    怀疑是 dns 但是跟换后依旧不行。

    求大神指教。

    2 回复  |  直到 2018-09-04 10:20:39 +08:00
        1
    dengtongcai   2018-09-04 00:04:31 +08:00 via Android
    对方带宽不够?
        2
    hobbyliu   2018-09-04 10:20:39 +08:00
    @dengtongcai 不应该啊,据说这网站能同时在线 300 万人,而且本地单个进程当时能请求成功
    查了下说是 dns 问题,打算绑定于强制 对方 ip 域名试试。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4167 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 02:00 · PVG 10:00 · LAX 18:00 · JFK 21:00
    ♥ Do have faith in what you're doing.