关于并发爬虫的问题

[hobbyliu]

最近写了一个小爬虫，设置 200 进程。 不知道为啥经常出现

cURL error 28: Resolving timed out after 2511 milliseconds (see http://curl.haxx.se/libcurl/c/libcurl-errors.html) 而且概率很大。 我服务器 内存 cup 足够，带宽测速 speedtest-cli 下行 100M 上行 10M。

怀疑是 dns 但是跟换后依旧不行。

求大神指教。

[dengtongcai]

对方带宽不够？

[hobbyliu]

@dengtongcai 不应该啊，据说这网站能同时在线 300 万人，而且本地单个进程当时能请求成功
查了下说是 dns 问题，打算绑定于强制 对方 ip 域名试试。