如何批量抓取谷歌搜索每项结果的链接页面

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2874 天前的主题，其中的信息可能已经有所发展或是发生改变。

不是谷歌的结果页面，是结果页面里每个链接点进去的第一个页面抓取， page only 或者文本都行。

请问如何实现，谢谢！

5 条回复 • 2016-06-29 09:02:03 +08:00

knightdf

2016-06-28 22:24:19 +08:00

提取链接跟进抓取啊

klklklkl

2016-06-28 23:16:15 +08:00

@knightdf
谢谢，我用 GScraper 抓去了链接，请问有什么简便的方法在 win7 下批量根据抓取的链接下载页面？

ho121

2016-06-28 23:23:43 +08:00 via Android

太频繁会输验证码的

suduo1987

2016-06-29 08:54:41 +08:00

按照你的频率 ,可以考虑 google apps script

knightdf

2016-06-29 09:02:03 +08:00

@klklklkl 把链接再丢到任务队列里去