云爬虫 与 爬虫软件的认真探讨

[GrahamCloud]

今年是造数云爬虫快速测试的一年

如今爬虫方面的同行很多，例如 import.io 等等。V 站也看到了非常好的作品，比如 hicrawler 等等。

学到很多。

这个帖子希望和大家一起探讨，各种爬虫的应用场景以及利弊等等。

[gamecreating]

自己定制爬虫 靠谱点 你这个只能给小白用...

[GrahamCloud]

@gamecreating 大型定制爬虫我们也做，但是很多同类网站要自己一个一个写确实不如 用我们网站（恩！）

[charli]

“造数的采集节点遍布全国 7 个机房上百万个 IP ”
真有怎么多 ip 么

[GrahamCloud]

@charli 这倒是真的，看得好细致啊

[gimp]

测试了一个网站，体验比几个月前好了不少

[GrahamCloud]

@gimp 感谢关注，想讨论各种爬虫用起来的感受。

[malusama]

我就觉得好贵啊……

[kangsgo]

爬虫失败，失败原因:链接超时

[LokiSharp]

1 块钱 50 个页面太贵了吧

[jwenwang]

造数很好，就是还不能模拟登陆状态，有些网站不登陆情况下没法爬

[GrahamCloud]

@malusama
@LokiSharp 价格也是一个要认真探讨的地方，目前可以给大家赠一些。

[GrahamCloud]

@kangsgo 求问具体情况

[kangsgo]

@GrahamCloud 好像是源网址不稳定，哎呀，最近老范这种错误，真是抱歉呀

[kchum]

试用了下，感觉还有很大进步空间
要不然简单的爬虫真可以，另外 api 也是一个问题

[GrahamCloud]

@kchum 平时爬什么网站啊

[qwe321]

@charli 有的，类似于 www.qgvps.com 这种提供了大量地区的拨号 VPS，可以自己搭建代理 IP

[GrahamCloud]

@qwe321 老铁 666

[BiggerLonger]

可以解決 wp protected iframe 的問題嗎

[acoder2013]

不支持 api?

[fuxkcsdn]

@qwe321 感谢分享，之前在淘宝上联系过几个卖家，都只有 win 系统