aa233322aaa 最近的时间轴更新 aa233322aaa 最近的时间轴更新 |
aa233322aaaV2EX 第 109242 号会员，加入于 2015-04-05 14:36:43 +08:00 |
| 关于网络爬虫 中遇到的一些问题 Java • aa233322aaa • 2015-04-09 16:59:13 PM • 最后回复来自 aa233322aaa | 7 |
aa233322aaa 最近回复了
2015-04-09 16:59:13 +08:00 回复了 aa233322aaa 创建的主题 › Java › 关于网络爬虫 中遇到的一些问题 |
@anexplore 谢谢，我再去试试
2015-04-09 09:47:56 +08:00 回复了 aa233322aaa 创建的主题 › Java › 关于网络爬虫 中遇到的一些问题 |
@anexplore 谢谢你的解答，我还有些疑问。。。我要怎么知道这个站点的其他IP？通过浏览器访问看连接详情吗？还有假设我4S一次访问的频率 ，那一天也有2W次的量，这种数量一般不会是人为点击的吧。。那些反爬虫严格一点的网站不会封吗？如果加大访问间隔 是不是需要用多台服务器 开多线程来保证量？
2015-04-08 16:37:26 +08:00 回复了 aa233322aaa 创建的主题 › Java › 关于网络爬虫 中遇到的一些问题 |
@anexplore 我还有点疑问，1.代理IP的的有效时间，一般代理IP的有效时间不是很短吗？2.同一个IP爬取一个站点，在一定时间内要是数量过多的话 不是会被封吗？
Select Language